结构设计 结构 数据库 数据
基于WebSocket的实时消息传递设计
概述 web管理系统中可以对业务数据执行新增和删除，现在需要当业务数据发生新增或删除操作后，尽可能实时的反应到WPF客户端上面。 web管理系统用VUE编写，后端服务为SpringBoot，WPF客户端基于.Netframework4.8编写。 整体架构 sequenceDiagram title: ......
微机原理与系统设计笔记1 | 绪论与数制表示
打算整理汇编语言与接口微机这方面的学习记录。 参考资料 西电《微机原理与系统设计》周佳社 西交《微机原理与接口技术》 课本《汇编语言与接口技术》王让定 小甲鱼《汇编语言》 1. 介绍 2022年春学习了MIPS视角下的计算机体系结构与组成原理，同年夏自学了操作系统（科普级别的了解），汇编语言是学习操 ......
跳跃表数据结构与算法分析
目前市面上充斥着大量关于跳跃表结构与Redis的源码解析，但是经过长期观察后发现大都只是在停留在代码的表面，而没有系统性地介绍跳跃表的由来以及各种常量的由来。作为一种概率数据结构，理解各种常量的由来可以更好地进行变化并应用到高性能功能开发中。本文没有重复地以对现有优秀实现进行代码分析，而是通过对跳跃... ......
TiDB 底层存储结构 LSM 树原理介绍
随着数据量的增大，传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库，我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。 ......
浅谈服务接口的高可用设计
作为一个后端研发人员，开发服务接口是我正常不过的工作了，这些接口不管是面向前端HTTP或者是供其他服务RPC远程调用的，都绕不开一个共同的话题就是“高可用”，接口开发往往看似简单，但保证高可用这块实现起来却不并没有想想的那么容易，接下来我们就看一下，一个高可用的接口是该考虑哪些内容，同时文中有不足的... ......
【C++ 数据结构：链表】二刷LeetCode707设计链表
【C++链表】 使用c++重新写一遍LeetCode707设计链表 目的是熟悉c++中链表的操作 知识点 C++链表节点的实现 在c++中，一般通过结构体来定义链表的节点，也需要写构造函数（使用初始化列表） 如： struct ListNode{ int val; ListNode* next; / ......
python数据分析与可视化【思维导图】
python数据分析与可视化常用库 numpy+matplotlib+pandas 思维导图 图中难免有错误，后期随着学习与应用的深入，会不断修改更新。 当前版本号：1.0 numpy介绍 NumPy 是什么？ NumPy是使用Python进行科学计算的基础软件包。除其他外，它包括： 功能强大的N维 ......
OpenMP 原子指令设计与实现
在本篇文章当中主要是深入剖析了 OpenMP 当中各种原子指令的实现原理以及分析了他们对应的汇编程序，OpenMP 在处理 #pragma omp atomic 的时候如果能够使用原子指令完成需求那就直接使用原子指令，否则的话就使用 CAS cmpxchg 指令和 while 循环完成对应的需求。 ......
使用SQL4Automation让CodeSYS连接数据库
摘要：本文旨在说明面向CodeSYS的数据库连接方案SQL4Automation的使用方法。 1.SQL4Automation简介 1.1.什么是SQL4Automation SQL4Automation是一套工业用途的软件解决方案，它主要的功能就是为PLC和机器人控制提供数据库连接，它支持很多类型 ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
Redis set数据类型命令使用及应用场景使用总结
转载请注明出处： 目录 1.sadd 集合添加元素 2.srem移除元素 3.smembers 获取key的所有元素 4.scard 获取key的个数 5.sismember 判断member元素是否存在集合key中 6.srandmember key count 从集合key中随机选出count个 ......
Redis 中ZSET数据类型命令使用及对应场景总结
转载请注明出处： 目录 1.zadd添加元素 2.zrem 从有序集合key中删除元素 3.zscore 返回有序集合key中元素member的分值 4.zincrby 为有序集合key中元素增加分值 5.zcard获取有序集合key中元素总个数 6.zrange 正序获取分值范围内的元素 7.zr ......
electron + go 如何从sqlite获取数据
我现在的数据在sqlite中，保存在mac本地的一个文件中。用了electron+vue搭建了一个客户端。 我大概希望是这样的逻辑，先加载本地db文件，然后再获取数据。 这里就有一个问题，我怎么获取sqlite中的数据呢？从哪里加载呢？ 思考 electron的进程分为master Process ......
C++进阶（位图+布隆过滤器的概念和实现+海量数据处理）
位图 概念 位图： 所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。 适用场景： 如果我们需要对大量的数据进行处理，判断该数据在不在，比如40亿个整形数据，如果我们用unordered_set来存放这些数据，大约需要占用16G的内存，显然这是 ......
使用插件式开发称重仪表驱动，RS232串口对接各类地磅秤数据实现ERP管理
在ERP系统中，采集一线的生产数据是重要工作之一，而称重计量是企业的核心资产数据，人工计重费时费力，还容易出错，重量数据是否正确，直接影响企业的采购或销售额。基于此，由系统对接电子秤实现自动抓取数据是企业管理的第一步。 电子秤，一般由重量传感器、砝码、底座、仪表等组成。仪表与传感器相连，仪表一般具有 ......
大数据 - DWS层 业务实现
统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV（DAU）可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
周而复始,往复循环,递归、尾递归算法与无限极层级结构的探究和使用(Golang1.18)
所有人都听过这样一个歌谣：从前有座山，山里有座庙，庙里有个和尚在讲故事：从前有座山。。。。，虽然这个歌谣并没有一个递归边界条件跳出循环，但无疑地，这是递归算法最朴素的落地实现，本次我们使用Golang1.18回溯递归与迭代算法的落地场景应用。 递归思想与实现 递归思想并非是鲜为人知的高级概念，只不过 ......
为什么NoSQL数据库这么受欢迎？
大数据时代，NoSQL数据库是企业构建数据能力的核心工具之一。近期，在2022腾讯全球数字生态大会NoSQL数据库专场上，腾讯云发布了多项NoSQL产品能力升级，并重点讲解了其背后的自研技术要点及实现细节，分享了腾讯云NoSQL为广大企业提供的高可靠、高效率、低成本的企业级特性及行业解决方案。 开场 ......
红袖添香,绝代妖娆,Ruby语言基础入门教程之Ruby3基础数据类型(data types)EP02
Ruby是强类型动态语言，即Ruby中一旦某一个对象被定义类型，如果不通过强制转换操作，那么它永远就是该数据类型，并且只有在Ruby解释器运行时才会检测对象数据类型，它的一切皆为对象（包括 nil 值对象），可以通过调用内置class属性来获取该对象的具体数据类型。对于 Ruby 而言，所有类型都继 ......
万万没想到，go的数据库操作，也能像php一样溜了
Hi,各位go的小伙伴。很多人都是从php转过来的吧，不知道你们有没有发现，go界的orm并没有像php的orm一样好用。这篇文章里，我们认真的讨论下这个问题，并且会在后面提出解决方案。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
上一篇文章中我们聊了Caffeine的同步、异步的数据回源方式。本篇文章我们再一起研讨下经Caffeine改良过的异步数据驱逐处理实现，以及Caffeine支持的多种不同的数据淘汰驱逐机制和对应的实际使用。 ......
一篇文章带你了解设计模式原理——UML图和软件设计原则
一篇文章带你了解设计模式原理——UML图和软件设计原则 我们在学习过程中可能并不会关心设计模式，但一旦牵扯到项目和面试，设计模式就成了我们的短板 这篇文章并不会讲到二十三种设计模式，但是会讲解设计模式的设计原则以及设计依据和最明显的图形表示 或许我们只有先去了解设计模式的来源才能真正理解设计模式吧 ......
Netty-架构设计及入门程序-3
一、原生 NIO 存在的问题 1、NIO 的类库和 API 繁杂，使用麻烦：需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。2、需要具备其他的额外技能：要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor ......
结构化日志组件 Serilog
什么是结构化日志 我们记录日志惯常使用 log4j2、NLog 等日志组件，这些组件提供了输出到多种终端的能力，但是大部分时候我们选择将日志输出到操作系统的文件系统中，为什么呢？至少有一部分原因是记录的每条日志为字符串格式，且按时间由远往进顺序记录，打开文件可以直接人肉检索；如果这些日志记录到其它终 ......
如何轻松做数据治理？开源技术栈告诉你答案
搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的 DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。 ......
react 高效高质量搭建后台系统 系列 —— 请求数据
其他章节请看： react 高效高质量搭建后台系统 系列 请求数据 后续要做登录模块（主页），需要先和后端约定JSON数据格式，将 axios 进行封装，实现本地的数据模拟 mockjs。 Tip：spug 中后端返回 json 通常有 data 和 error两个 key。就像这样：{data: ......
手把手教你玩转 Excel 数据透视表
1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据，以帮助用户发现关键数据，并做出有关企业中 ......
ArcObjects SDK 021 开发框架搭建-FrameWork包设计
1、框架引擎部分 引擎模块其实就是之前我们说的App-Command-Tool模块，通过这个模块，把系统的主干框架搭建起来。 其中大部分出现在菜单以及工具条上的按钮都会继承这个框架定义ICommand和ITool。整个系统也是通过整合一些列Comand和Tool的方式，把整个系统搭建出来，这点也可以 ......
ArcObjects SDK 022 开发框架搭建-FrameWorkUI包设计
1、CommandUIs部分 这部分主要是定义承载Command和Tool的具体UI。如下图所示。 以CommandUI结尾的这几个类都是继承了Framework.Engine里面的ICommandUI接口，这样我们定义的Command和Tool就可以和这些UI绑定到一起了。 其中BarButton ......