高性能 数据处理 文件 数据
Redis - 基础数据类型
学会使用 Redis 的一个重要内容就是 Redis 的数据类型，对于开发人员而言，学会 Redis 基础数据类型的使用即可应用到程序开发当中。 ......
（数据科学学习手札150）基于dask对geopandas进行并行加速
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，geopandas作为我们非常熟悉的Python GIS利器，兼顾着高性能和易用性，特别是在其0.12.0版本开始使用全新的sha ......
Prometheus性能调优-什么是高基数问题以及如何解决?
背景 近期发现自己实验用的 Prometheus 性能出现瓶颈, 经常会出现如下告警: PrometheusMissingRuleEvaluations PrometheusRuleFailures 之后慢慢排查发现是由于 Prometheus 的某些 series 的高基数(High Cardin ......
BootstrapBlazor + FreeSql ORM 实战 Table 表格组件维护多表数据 - OneToOne
OneToOne 垂直扩展表字段是很常见的方法, 主表存商品资料, 分表存每个客户对应商品的备注和个性化的价格等等, 本文使用Blazor一步步实现这个简单的需求. ......
发布新版博客备份功能：生成 sqlite 数据库文件，vscode 插件可查看
大家好，最近我们重新开发了园子的博客备份功能，今天发布第一个预览版，欢迎大家试用。园子的 vscode 插件也集成了博客备份功能，不仅可以查看通过博客后台下载的备份文件，而且可以直接在 vscode 插件中直接操作博客备份的创建、下载、查看。 ......
js直接操作数据库会怎么样
这几天刷脉脉的时候看到一个话题初看觉得可笑，再看陷入沉思，最后还是决定花点时间想清楚，写下来。 确实没见人这么干过，为什么呢？ 技术限制 被技术限制了？据我所知目前没有面向js的数据库驱动，但反观现在的技术大潮，写一个面向js的数据库驱动应该也不是什么难事。安全限制被安全性限制了？js在网站中的分量 ......
处理尚不存在的 DOM 节点
探索 MutationObserver API 与传统轮询等待最终被创建的节点方法相比的优劣。 有时候，您需要操作尚未存在的 DOM 的某个部分。 出现这种需求的原因有很多，但你最常看到的是在处理第三方脚本时，这些脚本会异步地将标记注入页面。举个例子，我最近需要在用户关闭Google reCAPTC ......
如何获取obs视频帧的二进制数据
前面几篇文章梳理了obs的录屏和推流流程，几条纵线整理下来，算是基本理清了obs的工作流程。
现在回到第一个目标：捕捉桌面的帧数据，用rendertarget显示并输出到UE5材质。
那么，帧数据到底存放在哪里？如何读取？ ......
基于 RocketMQ Connect 构建数据流转处理平台
为什么在“双11”抢红包活动及大型数据系统中总是出现 RocketMQ 的身影？ RocketMQ Connect在RocketMQ 生态中扮演什么角色？本文为大家解答上述疑问。同时，介绍 OceanBase 与 RocketMQ 如何集成以及能帮助大家解决哪些问题。 ......
使用python自动监控程序运行过程数据
工作中会遇到需要监控程序运行过程数据的情况，比如定时执行监控的cmd并记录执行结果，本文提供一种实现方式，便于后续排查问题。 ......
在echaerts中渲染50万条数据的优化方案
背景：项目需求中要在页面上渲染大约50万条左右的波形数据图表 那么如何解决渲染中的卡顿呢？ 肯定是要从服务端和前端一起优化这是毋庸置疑的。 1.服务端： 服务端耗时最多的一定是在数据库的筛选数据的行为上，本次需求中数据的筛选是根据物理量的类型和时间来进行的。 为了提速，应当取消掉其他的筛选条件，并且 ......
如何实现云数据治理中的数据安全？
云计算被定义为计算资源的共享池，已经在不同的应用领域广泛部署和使用。在云计算中，数据治理在提高整体性能和确保数据安全方面发挥着至关重要的作用。本研究从管理和技术应用两方面探讨如何实现云数据治理中的数据 ......
【LeetCode贪心#09】用最少数量的箭引爆气球，无重叠区间，合并区间（涉及区间重叠情况判断与处理）
用最少数量的箭引爆气球 力扣题目链接(opens new window) 在二维空间中有许多球形的气球。对于每个气球，提供的输入是水平方向上，气球直径的开始和结束坐标。由于它是水平的，所以纵坐标并不重要，因此只要知道开始和结束的横坐标就足够了。开始坐标总是小于结束坐标。 一支弓箭可以沿着 x 轴从不 ......
Redis中 HyperLogLog数据类型使用总结
转载请注明出处： 目录 1. HyperLogLog 的原理 2.使用步骤 3.实现请求ip去重的浏览量使用示例 4.Jedis客户端使用 5.Redission使用依赖 6.HyperLogLog 提供了哪些特性和方法 7.使用场景总结 1. HyperLogLog 的原理 Redis Hyper ......
数据库自动收缩造成的阻塞
背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞，导致系统卡慢严重，信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云，看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据，可以看到会话标识33是阻塞的源头，造成了大量的语句被阻塞，而且阻塞已经持续了很长的时间。 ......
设计一款可扩展和基于windows系统的一键处理表格小工具思路
原创总结/朱季谦 设计一款可扩展和基于windows系统的一键处理表格小工具思路 日常开发当中，业务人员经常会遇到一些重复性整理表格的事情，这时候，就可以通过一些方式进行自动化程序处理，提高工作（摸鱼）效率。 例如，业务人员有这样需要，日常需要手工整理以下原始xlsx表格数据，这些数据格式都是固定死 ......
前端性能优化——启用文本压缩
前端性能优化——启用文本压缩 一、发现性能问题 1、通过 Google Chrome 打开需要进行性能优化的站点 2、打开 Chrome 开发者工具 Lighthouse 面板： 3、在 Lighthouse 面板中根据自己的需求自定义分析项和分析配置，点击”分析网页加载情况“对页面进行性能等方面的 ......
前端性能优化——采用高效的缓存策略提供静态资源
前端性能优化——采用高效的缓存策略提供静态资源 一、发现性能问题 通过 Chrome 开发者工具的 Lighthouse 工具对目标站点的某个页面进行分析，其生成的报告如图所示： 由分析报告可知，该目标站点存在多项待优化的性能问题，如减少未使用的 JavaScript 和采用高效的缓存策略提供静态资 ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
MySql生成ER【StarUML】文件
1. 背景 要画ER图，一个个打费时费力，StarUML文件打开是json。那么就有可能自动生成。 2. 效果 把表结构生成好，自己只要维护关系即可。 3. 代码 import lombok.Data; import java.io.FileWriter; import java.io.IOExce ......
FAQ docker运行tomcat提示找不到文件
docker运行tomcat提示找不到文件 问题描述 docker课程中，老师是用tomcat镜像来演示docker的一些操作 但同样的操作有的同学是ok的，有的同学就会遇到如下错误 核心信息 Exited(1) Cannot find /usr/local/tomcat/bin/setclassp ......
面试官：请说一下如何优化结构体的性能？
使用内存对齐机制优化结构体性能，妙啊！
可以简单理解为：将对齐系数小的字段，尽可能放在一起，尽量减少空白填充。
掌握了内存对齐机制后，结构体Struct的优化，调整下字段顺序，效果立竿见影。内存对齐其实就是典型的空间换时间的方式，来达到优化的目的。牢记对齐原则，对实际场景进行分析，减少空白填充。 ......
.netcore全局异常处理
一、背景 某天，应用程序进程无缘无故退出，也就是我们通常说的崩溃。通常情况下，windows事件会记录一条消息。但是有时候，我们发现这样的信息，对于查找问题，还是远远不够的，因为它说RunTime报错。这时，我就想能不能自己捕获全局未处理的异常。之所以有这样的想法，因为之前在客户端程序中写过。这次我 ......
Java处理正则匹配卡死（正则回溯问题）
正则匹配卡死怎么来的？ 背景 背景：这次问题的背景是项目上遇到了，在使用正则对数据进行提取时，发现提取不到，日志解析不成功，造成kafka消息有积压 项目现场问题 项目中某一个微服务再处理正则时，发现在处理部分日志时候，线程会卡死，线程卡死，因此kafka中的消息定会积压，后面的日志即不会处理。关键 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
性能的极致,Rust的加持,Zed-Dev编辑器快速搭建Python3.10开发环境
快就一个字，甚至比以快著称于世的Sublime 4编辑器都快，这就是Zed.dev编辑器。其底层由 Rust 编写，比基于Electron技术微软开源的编辑器VSCode快一倍有余，性能上无出其右，同时支持多人编辑代码。 安装和配置Zed.dev Zed.dev编辑器还在灰度测试阶段，暂时只释出了M ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
Mybatis数据库驱动
Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
前端性能精进之浏览器（三）——图像
HTTP Archive 在 2022 年关于多媒体的报告中指出，目前大概有 99.9% 的网站或多或少都会包含点图像。 并且高达 70% 的移动页面和 80% 的桌面页面的 LCP 指标会受图像的影响。 通过这些数据可知，图像在网页中占据着举足轻重的地位，优化图像，对于网页性能可以达到立竿见影的效 ......