摆渡 业务 数据 系统
在echaerts中渲染50万条数据的优化方案
背景：项目需求中要在页面上渲染大约50万条左右的波形数据图表 那么如何解决渲染中的卡顿呢？ 肯定是要从服务端和前端一起优化这是毋庸置疑的。 1.服务端： 服务端耗时最多的一定是在数据库的筛选数据的行为上，本次需求中数据的筛选是根据物理量的类型和时间来进行的。 为了提速，应当取消掉其他的筛选条件，并且 ......
如何实现云数据治理中的数据安全？
云计算被定义为计算资源的共享池，已经在不同的应用领域广泛部署和使用。在云计算中，数据治理在提高整体性能和确保数据安全方面发挥着至关重要的作用。本研究从管理和技术应用两方面探讨如何实现云数据治理中的数据 ......
Redis中 HyperLogLog数据类型使用总结
转载请注明出处： 目录 1. HyperLogLog 的原理 2.使用步骤 3.实现请求ip去重的浏览量使用示例 4.Jedis客户端使用 5.Redission使用依赖 6.HyperLogLog 提供了哪些特性和方法 7.使用场景总结 1. HyperLogLog 的原理 Redis Hyper ......
设计一款可扩展和基于windows系统的一键处理表格小工具思路
原创总结/朱季谦 设计一款可扩展和基于windows系统的一键处理表格小工具思路 日常开发当中，业务人员经常会遇到一些重复性整理表格的事情，这时候，就可以通过一些方式进行自动化程序处理，提高工作（摸鱼）效率。 例如，业务人员有这样需要，日常需要手工整理以下原始xlsx表格数据，这些数据格式都是固定死 ......
数据库自动收缩造成的阻塞
背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞，导致系统卡慢严重，信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云，看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据，可以看到会话标识33是阻塞的源头，造成了大量的语句被阻塞，而且阻塞已经持续了很长的时间。 ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
ASP.NET Core - 配置系统之配置添加
2. 配置添加 配置系统可以读取到配置文件中的信息，那必然有某个地方可以将配置文件添加到配置系统中。之前的文章中讲到 ASP.NET Core 入口文件中，builder(WebApplicationBuilder 对象) 中有一个 Configuration 属性，这里就是我们扩展添加额外的配置的 ......
ASP.NET Core - 选项系统之选项配置
1. 选项 前面讲完了.NET Core 下的配置系统，我们可以通过 IConfiguration 服务从各种来源的配置中读取到配置信息，但是每次要用的时候都通过 Iconfiguration 读取配置文件会比较不方便，而且效率低。.NET Core 体系下提供了一个选项系统，该功能用于实现以强类型 ......
ASP.NET Core - 配置系统之配置提供程序
3. 配置提供程序 上面提到，通过 IConfigurationBuilder 的实现类对象，我们可以自由地往配置系统中添加不同的配置提供程序，从而获取不同来源的配置信息。.NET Core 中，微软提供了以下这些内置的配置提供程序： 文件配置提供程序 环境变量配置提供程序 命令行配置提供程序 Az ......
ASP.NET Core - 配置系统之自定义配置提供程序
#4. 自定义配置提供程序 在 .NET Core 配置系统中封装一个配置提供程序关键在于提供相应的 IconfigurationSource 实现和 IConfigurationProvider 接口实现，这两个接口在上一章 ASP.NET Core - 配置系统之配置提供程序 中也有提到了。 I ......
ASP.NET Core - 配置系统之配置读取
一个应用要运行起来，往往需要读取很多的预设好的配置信息，根据约定好的信息或方式执行一定的行为。 配置的本质就是软件运行的参数，在一个软件实现中需要的参数非常多，如果我们以 Hard Code(硬编码)的方式写在应用代码中，这样配置就会很乱，而且后续也不容易修改。乱而多，而且不容易修改，这就需要一个统 ......
顺应潮流,解放双手,让ChatGPT不废话直接帮忙编写可融入业务可运行的程序代码(Python3.10实现)
众所周知，ChatGPT可以帮助研发人员编写或者Debug程序代码，但是在执行过程中，ChatGPT会将程序代码的一些相关文字解释和代码段混合着返回，如此，研发人员还需要自己进行编辑和粘贴操作，效率上差强人意，本次我们试图将ChatGPT直接嵌入到代码业务中，让ChatGPT生成可以直接运行的代码。 ......
vivo全球商城：库存系统架构设计与实践
作者：vivo官网商城开发团队 - Xu Yi、Yan Chao 本文是vivo商城系列文章，主要介绍vivo商城库存系统发展历程、架构设计思路以及应对业务场景的实践。 一、业务背景 库存系统是电商商品管理的核心系统，本文主要介绍vivo商城库存中心发展历程、架构设计思路及应对各种业务场景的实践。 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
.NET应用系统的国际化-多语言词条服务
上篇文章我们介绍了 VUE+.NET应用系统的国际化-整体设计思路 系统国际化改造整体设计思路如下： 提供一个工具，识别前后端代码中的中文，形成多语言词条，按语言、界面、模块统一管理多有的多语言词条 提供一个翻译服务，批量翻译多语言词条 提供一个词条服务，支持后端代码在运行时根据用户登录的语言，动态 ......
推荐系统[八]算法实践总结V2：排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
0.前言 「排序学习（Learning to Rank，LTR）」，也称「机器排序学习（Machine-learned Ranking，MLR)」 ，就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后，如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
.NET应用系统的国际化-整体设计思路
近期产品要支持国际化多语言，主要涉及前端界面国际化以及后端提示信息、异常信息的国际化多语言支持。 目前我们的开发技术栈：前端VUE、后端.NET。面向前端界面和后端服务，分别涉及对应的国际化多语言支持方案。 一、前端界面国际化多语言支持 前端VUE界面的源码如下： 上述代码中，我们将需要多语言支持的 ......
Mybatis数据库驱动
Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
常用的"小脚本"-json数据处理
小背景： 我们公司项目中的小脚本是一些工具类，比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意，方法名的命名，因为方法名，在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url（接口的形式-一般数 ......
【数据结构与算法学习】散列表（Hash Table，哈希表）
实现语言：C++ 1. 散列表 散列表，英文名称为Hash Table，又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法，查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址，建立了关键字和存储地址之间的一种直接映射关系 ......
掌握4C原则，设计高效的系统架构
hi，我是熵减，见字如面。 在软件开发中，设计一个好的架构是非常重要的，好架构能够影响整个系统的质量和可维护性。 而要设计出好架构，就需要遵循一些设计原则。 其中，架构设计的4C原则是一种常用的架构设计基础原则，4C原则强调架构设计的清晰性、简洁性、一致性和可改性。 这些原则可以帮助我们评估和优化架 ......
一文带你吃透操作系统
文章字数大约1.9万字，阅读大概需要65分钟，建议收藏后慢慢阅读！！！ 1. 进程、线程管理 进程和线程基础知识 进程：进程是系统进行资源分配和调度的一个独立单位，是系统中的并发执行的单位。 线程：线程是进程的一个实体，也是 CPU 调度和分派的基本单位，它是比进程更小的能独立运行的基本单位，有时又 ......
c/c++指针从浅入深介绍——基于数据内存分配的理解（上）
c/c++指针从浅入深介绍——基于数据内存分配的理解（上） 本文是对自我学习的一个总结以及回顾，文章内容主要是针对代码中的数据在内存中的存储情况以及存储中数值的变化来对指针进行介绍，是对指针以及数据在内存中数值是如何变化的，为什么需要使用到指针，为什么有时候使用指针很容易会报错，怎么去使用指针才能让 ......
【django-vue】封装logger 封装全局异常 封装response 数据库配置 用户表继承AbstractUser配置
上节回顾 这是一个django-Vue前后端分离的项目（视频网站） # 1 企业软件类型 -商城类 -公司内部： -业务 -RBAC权限管理 # 2 软件开发流程 -你的工作流程 # 3 pip换源 ：国内镜像 -命令行中 -pycharm中 # 4 虚拟环境： -每个项目有自己的环境 -虚拟环境： ......
simpleini库的介绍和使用（面向业务编程-格式处理）
simpleini库的介绍和使用（面向业务编程-格式处理） 介绍 simpleini是一个跨平台的ini格式处理库，提供了一些简单的API来读取和写入ini风格的配置文件。它支持ASCII、MBCS和Unicode格式的数据文件。它被明确设计为可移植到任何平台，并已在Windows, WinCE和L ......
pugixml XML格式处理库的介绍和使用（面向业务编程-格式处理）
pugixml XML格式处理库的介绍和使用（面向业务编程-格式处理） 介绍 pugixml是一个轻量级的C++ XML处理库。它的特点: 类似dom的界面，具有丰富的遍历/修改功能 非常快速的非验证XML解析器 它从XML文件/缓冲区构造DOM树用于复杂数据驱动 支持树查询的XPath 1.0 实 ......
AIR32F103(十) 在无系统环境和FreeRTOS环境集成LVGL
LVGL是嵌入式设备中常用的图形显示库, 这篇基于 256K Flash 的 AIR32F103CCT6 和 SPI接口的 ST7735 128x160 LCD屏, 介绍 LVGL 在无系统环境和FreeRTO环境, 带DMA和不带DMA方式的集成步骤 ......