爬虫 数据分析 状况 身体
高并发环境下生成序列编码重复问题分析
一、背景 有个业务系统（订单系统），通过后台日志和监控观察，系统偶尔会出现重复唯一索引问题，例如：后台日志片段 Duplicate entry 'service_no' for key 'idx_service_no' .... 也就是说写入数据与数据库已有数据发生重复。 下面我们分析一下问题出现在 ......
生产环境Java应用服务内存泄漏分析与解决
有个生产环境CRM业务应用服务，情况有些奇怪，监控数据显示内存异常。内存使用率99.%多。通过生产监控看板发现，CRM内存超配或内存泄漏的现象，下面分析一下这个问题过程记录。 1、服务器硬件配置部署情况 生产服务器采用阿里云ECS机器，配置是2HZ、8GB，单个应用服务独占，CRM应用独立部署，即单 ......
自动化测试如何管理测试数据
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/67fb1f11.html 前言 你好，我是测试蔡坨坨。 在之前的自动化测试框架相关文章中，无论是接口自动化还是UI自动化，都谈及data模块和config模块，也就是测试数据和配置文件。 PS：自动化测试框架可参考往期文章 ......
RabbitMQ真实生产故障问题还原与分析
RabbitMQ生产故障问题分析 由某一次真实生产环境rabbitMQ故障引发血案，下面复盘问题发生原因以及问题解决方法。 1、 问题引发 由某个服务BI-collector-xx队列出现阻塞，影响很整个rabbitMQ集群服务不可用，多个应用MQ生产者服务出现假死状态，系统影响面较广，业务影响很大 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
SpringMVC基础源码分析（一）
实现Controller的三种方式分析 每种实现的方式对应的HanderAdapter都不同。 实现Controller接口 该接口对应的HanderAdapter为SimpleControllerHandlerAdapter。 使用案列： public class LeController imp ......
obs推流核心流程分析
前置步骤和录屏是一样的，见我的上一篇文章 https://www.cnblogs.com/billin/p/17219558.html bool obs_output_actual_start(obs_output_t *output)在上文的这个函数中，如果是启用推流直播，函数指针会转到这里 // ......
关于EasyExcel的数据导入和单sheet和多sheet导出
读写Excel基本代码 直接复制不一定能用 实体类 @ExcelIgnore 在导出操作中不会被导出 @ExcelProperty 在导入过程中 可以根据导入模板自动匹配字段， 在导出过程中可用于设置导出的标题名字 @Getter @Setter public class Material{ @Ex ......
Apache HttpClient使用和源码分析
在上文中分析了 HttpURLConnection的用法，功能还是比较简单的，没有什么封装 接下来看看Apache HttpClient是如何封装httpClient的 使用的版本 <dependency> <groupId>org.apache.httpcomponents.client5</gr ......
Redis的介绍安装以及启动与使用、数据类型、Redis管道、Django使用Redis
一、介绍Redis 1. 详细介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push ......
如何通过C++ 将数据写入 Excel 工作表
直观的界面、出色的计算功能和图表工具，使Excel成为最流行的个人计算机数据处理软件。在独立的数据包含的信息量太少，而过多的数据又难以理清头绪时，制作成表格是数据管理的最有效手段之一。这样不仅可以方便整理数据，还可以方便我们查找和应用数据。后期我们还可以对具有相似表格框架，相同性质的数据进行合并汇总... ......
容灾备份 | 看我使用Powershell操作FTP进行数据文件自动上传备份
在运维过程中会将服务器上数据文件备份在共享磁盘或者FTP服务器中，此处由于作者环境是在Windows系统上，且在业务上需要同步文件到FTP服务器中，遂有了此文，帮助各位看友了解，如何在Windows上使用Powershell脚本将数据备份文件自动上传的FTP服务器上? ......
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
描述：在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
在K8S集群中或者Docker环境中，我们可以非常方便的针对 ... ......
MongoRepository查询数据常用语法
安装 查看mongo可用版本 docker search mongo 安装指定版本的mogo或者拉取最新版本的镜像 docker pull mongo:latest 或者官网下载安装包 https://www.mongodb.com/try/download/community-kubernetes ......
MySQL查看数据库性能常用命令和实战教学
MySQL查看数据库性能常用命令 # 列出MySQL服务器运行各种状态值 show global status; # 查询MySQL服务器配置信息语句 show variables; # 慢查询 show variables like '%slow%'; # MySQL服务器最大连接数 show v ......
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
配运基础数据缓存瘦身实践
在基础数据的常规能力当中，数据的存取是最基础也是最重要的能力，为了整体提高数据的读取能力，缓存技术在基础数据的场景中得到了广泛的使用，下面会重点展示一下配运组近期针对数据缓存做的瘦身实践。 ......
通过源码分析RocketMQ主从复制原理
RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，具有高性能、高可靠、高实时、分布式特点。本篇文章通关源码分析深入地介绍了RocketMQ主从复制原理。 ......
SpringCloud微服务实战——搭建企业级开发框架（四十九）：数据字典注解的设计与实现
数据字典是系统中基本的必不可少的功能，在多种多样的系统中，数据字典表的设计都大同小异。但是使用方式确是多种多样，设计好一套易用的数据字典功能模块，可以使开发事半功倍。 常用的数据字典使用方式： 直接在SQL语句中LEFT JOIN （当然是不推荐这样用的） 查询出原始数据，然后再根据原始数据需要的字 ......
SpringCloud微服务实战——搭建企业级开发框架（五十）：集成移动端推送功能的系统通知公告数据库设计
系统的通知公告功能似乎是很容易被忽略的功能模块，在传统的软件系统中，一般OA类软件系统不可或缺，而在应用软件系统中此功能或有或无，在现在大多数的互联网软件系统中，此功能又必不可缺。所以，在框架设计时，我们需要考虑业务系统是否需要此功能模块，然后将此功能作为扩展插件，在需要时开启，在不需要时配置关闭即 ......
8.3现有计算机应用的一些分析2
分离的计算 学生在小学、中学学习数学时，数学完整的活动都是由纸笔媒介系统支持。数学知识印刷在课本上。解题时，问题陈述在纸上，算式可以列示在纸上，解题计算的过程也在纸上操作进行。在解题者的理解中，知识与算法，内容与过程也都是统一的，不存在需要额外的知识从这一部分过渡到另一部分。在工程技术实践中，所遇到 ......
OpenMP task construct 实现原理以及源码分析
在本篇文章当中主要给大家介绍在 OpenMP 当中 task 的实现原理，以及他调用的相关的库函数的具体实现。在本篇文章当中最重要的就是理解整个 OpenMP 的运行机制。 ......
网易数帆数据治理体系、工具、流程、制度与管理概述
导读 本文将介绍网易数帆在数据治理方面的一些总结和思考。文章将围绕以下三点展开： 1. 数据治理解决了什么问题 2. 数据治理体系 3. 浅谈数据治理的实现 01数据治理解决了什么问题 首先看一下数据治理解决了什么问题，可以总结为六个方面： 1. 数据开发与数据治理脱节 在许多企业中存在这样一个现象 ......
Hbase学习二：Hbase数据特点和架构特点
转载请注明出处： 1.Hbase数据特点 大：一个表可以有上亿行，上百万列。 面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。 稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表 ......
echarts使用dataset数据集创建单轴散点图
dataset创建单轴散点图 由于使用echarts作图时，我很喜欢用dataset作为数据源，但是官方案例中，又没有给出相关示例，于是，在翻阅官方文档相关案例之后，结合官方文档使用dataset的示例，成功使用dataset绘制单轴散点图！ 配置项 //配置项 const option = { t ......
网页js版音频数字信号处理：H5录音+特定频率信号的特征分析和识别提取
音频数字信号处理 Audio DSP (Digital Signal Processing) 是一个复杂又专业的话题，本文介绍的是如何从音频中实时分析和识别出特定频率信号的一种方法，对应的代码为可运行在浏览器中的html5网页版（可移植）；可用于识别环境中特定频率的声音、或噪声、乐器弹奏的音调。 在 ......
SpringBoot多数据源以及事务处理
背景 在高并发的项目中，单数据库已无法承载大数据量的访问，因此需要使用多个数据库进行对数据的读写分离，此外就是在微服化的今天，我们在项目中可能采用各种不同存储，因此也需要连接不同的数据库，居于这样的背景，这里简单分享实现的思路以及实现方案。 如何实现 多数据源实现思路有两种，一种是通过配置多个Sql ......
C#NPOI操作Excel，实现Excel数据导入导出（支持多个sheet）
首先在项目中引用NPOI,通过管理NuGet程序包，搜索NPOI，选择版本2.3.0（支持.NET Framework 4.0）根据自己项目选择适当版本。 1.NpoiExcelHelper.cs Npoi操作Excel类 using System.Data; using System.IO; us ......
（原创）多线程并发：AQS源码分析（1）——独占锁的实现原理
谈到java中的并发，我们就避不开线程之间的同步和协作问题，谈到线程同步和协作我们就不能不谈谈jdk中提供的AbstractQueuedSynchronizer(翻译过来就是抽象的队列同步器)机制； (一)、AQS中的state和Node含义： AQS中提供了一个int volatile state ......