白鲸 数据分析 模型dataops
xxl-job定时调度任务Java代码分析
用xxl-job做后台任务管理, 主要是快速解决定时任务的HA问题, 项目代码量不大, 功能精简, 没有特殊依赖. 因为产品中用到了这个项目, 上午花了点时间研究了一下运行机制. 把看到的记一下. ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
【深入浅出Spring原理及实战】「源码原理实战」从底层角度去分析研究PropertySourcesPlaceholderConfigurer的原理及实战注入机制
主要有一下xml文件占位符解析和Java的属性@Value的占位符解析配置这两种场景进行分析和实现解析，如下面两种案例。 ......
【深入浅出SpringCloud原理及实战】「SpringCloud-Alibaba系列」微服务模式搭建系统基础架构实战指南及版本规划踩坑分析
Spring Boot 应用程序在服务注册与发现方面提供和 Nacos 的无缝集成。 通过一些简单的注解，您可以快速来注册一个服务，并使用经过双十一考验的 Nacos 组件来作为大规模分布式系统的服务注册中心。 ......
【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？
我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。
该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？ ......
深度剖析 | 【JVM深层系列】[HotSpotVM研究系列] JVM调优的"标准参数"的各种陷阱和坑点分析（攻克盲点及混淆点）「 1 」
相信大多数人的理解是Major GC只针对老年代，Full GC会先触发一次Minor GC，不知对否？我参考了R大的分析和介绍，总结了一下相关的说明和分析结论。 ......
详解redis网络IO模型
前言 "redis是单线程的" 这句话我们耳熟能详。但它有一定的前提，redis整个服务不可能只用到一个线程完成所有工作，它还有持久化、key过期删除、集群管理等其它模块，redis会通过fork子进程或开启额外的线程去处理。所谓的单线程是指从网络连接(accept) -> 读取请求内容(read) ......
详解视频中动作识别模型与代码实践
摘要：本案例将为大家介绍视频动作识别领域的经典模型并进行代码实践。 本文分享自华为云社区《视频动作识别》，作者：HWCloudAI。实验目标 通过本案例的学习： 掌握 C3D 模型训练和模型推理、I3D 模型推理的方法； 注意事项 本案例推荐使用TensorFlow-1.13.1，需使用 GPU 运 ......
实时采集MySQL数据之轻量工具Maxwell实操
一个用于企业应用支持实时增量采集和全量采集MySQL数据开源框架Maxwell，功能强于Canal，比Flink CDC更易用。本篇先了解其定义和原理，然后通过安装和环境准备，了解其启动的两种方式，最后实操演示几个maxwell在企业中常用的场景示例。 ......
可视化编排的数据集成和分发开源框架Nifi轻松入门-上
如何你正在为数据采集做技术选型，今天介绍一款功能极其强大性能也高且采用可视化编排的数据集成框架nifi可以列入选型范畴，是数仓开发的强大工具之一，只要使用后就能体会到其丰富的处理器和扩展性。先了解其特性、核心概念和架构，也支持分布式集群，了解常见处理器分类，最后通过源码安装并使用两个简单的处理器演示... ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
架构设计（二）：数据库复制
架构设计（二）：数据库复制 作者：Grey 原文地址： 博客园：架构设计（二）：数据库复制 CSDN：架构设计（二）：数据库复制 在架构设计（一）：从单服务器模式到负载均衡设计中提到了数据库类型的选择， 针对大数据量，高可用的场景，数据库复制是一种比较好的方式，其中多个数据库实例之间可以是主/从关系 ......
一次TiDB GC阻塞引发的性能问题分析
背景 前不久从项目一线同学得到某集群的告警信息，某个时间段 TiDB duration 突然异常升高，持续时间6小时左右，需要定位到具体原因。 分析过程 第一招，初步判断 由于项目条件苛刻，历经苦难才拿到监控，在此之前只能靠现场同学的口述排查，oncall人太难了。。 既然是duration升高，那 ......
记一次 .NET 某工控MES程序 崩溃分析
一：背景 1.讲故事 前几天有位朋友找到我，说他的程序出现了偶发性崩溃，已经抓到了dump文件，Windows事件日志显示的崩溃点在 clr.dll 中，让我帮忙看下是怎么回事，那到底怎么回事呢? 上 WinDbg 说话。 二：WinDbg 分析 1. 崩溃点在哪里 如果是托管代码引发的崩溃，在线程 ......
MongoDB - 数据模型的设计模式
在实际开发中，大多数性能问题都可以追溯到糟糕的模型设计。官方也提供分享过文档模型设计的进阶技巧，这里简单翻译记录一下。 ......
Redis的数据复制
本篇文章介绍了Redis的数据复制1. 完整重同步、2. 部分重同步、3. 命令传播、4. 心跳检测、5. 介绍 偏移量 & 积压缓冲区 & 运行ID ......
使用PyLint分析评估代码质量
什么是PyLint PyLint是一款用于评估Python代码质量的分析工具，它诞生于2003年，其最初十年的主要作者和维护者是Sylvain Thénault。PyLint可以用来检查代码是否错误、是否符合编码规范（它默认使用的编码规范是PEP 8），在分析代码后PyLint将会输出一段信息，内容 ......
Redis的数据持久化
介绍 Redis 的数据持久化方案 Redis 的数据持久化主要有两大机制，AOF 日志和 RDB 快照。 AOF 持久化是通过保存 Redis 服务器所执行的写命令来记录数据库状态。 RDB 持久化是通过保存数据库中的键值对来记录数据库状态。 根据服务器是否启用了 AOF 持久化功能， 服务器载入 ......
图解B树及C#实现（2）数据的读取及遍历
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历（本文） 数据的删除 前一篇文章为大家介绍了 B树 的基本概念及其插入算法。本文将基于前一篇的内容，为大家介绍插入到 B树 中的数据该怎么读取及遍历， 本文的代码基于前一篇文章的代码，已经实现的功能可能会被省略，只介绍新增的功能。 在本文 ......
基于.NetCore开发博客项目 StarBlog - (24) 统一接口数据返回格式
前言 开发接口，是给客户端（Web前端、App）用的，前面说的RESTFul，是接口的规范，有了统一的接口风格，客户端开发人员在访问后端功能的时候能更快找到需要的接口，能写出可维护性更高的代码。 而接口的数据返回格式也是接口规范的重要一环，不然一个接口返回JSON，一个返回纯字符串，客户端对接到数据 ......
（数据科学学习手札147）Python GIS利器shapely全新2.0版本一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，我写过很多篇介绍geopandas相关技术的文章，而geopandas之所以如此高效易用，成为Python GIS生态中的翘楚，离 ......
小技巧 EntityFrameworkCore 实现 CodeFirst 通过模型生成数据库表时自动携带模型及字段注释信息
今天分享自己在项目中用到的一个小技巧，就是使用 EntityFrameworkCore 时我们在通过代码去 Update-Database 生成数据库时如何自动将代码模型上的注释和字段上的注释携带到数据库中，方便后续在数据库直接查看各个表和各个字段的含义。 实现效果如下： 可以看到我们每张表都有明确 ......
系统建设-数据迁移
随着业务发展，我们的系统可能面临着改造升级。改造过程中往往避免不了数据模型的变动，这时候需要将老表老模型迁移到新表新模型，并且还要保证历史数据的迁移以及映射。 这就带来了一个问题，老表老模型如何迁移到新表新模型，以下是常用的两种方案 | 方案 | 是否支持回切 | 优点 | 缺点 | | | | | ......
微服务组件-----Spring Cloud Alibaba 注册中心Nacos的CP架构Raft协议分析
前言 本篇幅是继 注册中心Nacos源码分析 的下半部分。 意义 【1】虽说大部分我们采用注册中心的时候考虑的都是AP架构，为什么呢？因为性能相对于CP架构来说更高，需要等待的时间更少【相对于CP架构，采用的是二段提交，AP架构是直接落盘数据，然后进行数据扩散，来达到最终一致，所以客户端收到响应会更 ......
SpringBoot源码学习2——SpringBoot x Mybatis 原理解析（如何整合，事务如何交由spring管理，mybatis如何进行数据库操作）
阅读本文需要spring源码知识，和springboot相关源码知识 对于springboot 整合mybatis，以及mybatis源码关系不密切的知识，本文将简单带过 系列文章目录和关于我 涉及到spring ioc原理，可移步学习：Spring源码学习笔记12——总结篇IOC，Bean的生命周 ......
看完这篇，还不懂JAVA内存模型(JMM)算我输
欢迎关注专栏【JAVA并发】 前言 开篇一个例子，我看看都有谁会？如果不会的，或者不知道原理的，还是老老实实看完这篇文章吧。 @Slf4j(topic = "c.VolatileTest") public class VolatileTest { static boolean run = true; ......
大数据时代，数据仓库究竟是干嘛的？
前言 无论你是否专门从事大数据开发，作为一个开发人员，应该都听说过数据仓库的概念，那你知道为什么会出现数据仓库？数据仓库究竟是干嘛的吗？有什么价值和意义呢？那么本文就带到入门，揭开数据仓库的面纱。 数据仓库的由来 数据仓库为何而来，主要解决什么问题的？ 先下结论：为了分析数据而来，分析结果为企业决策 ......
深度学习炼丹-数据增强
在工业界，数据预处理步骤对模型精度的提高的发挥着重要作用。对于机器学习任务来说，广泛的数据预处理一般有四个阶段（视觉任务一般只需 Data Transformation）: 数据清洗(Data Cleaning)、数据整合(Data Integration)、数据转换(Data Transforma... ......