分表 分库 数据库 基础
Linux 驱动像单片机一样读取一帧dmx512串口数据
硬件全志R528 目标：实现Linux 读取一帧dmx512串口数据。 问题分析：因为串口数据量太大，帧与帧之间的间隔太小。通过Linux自带的读取函数方法无法获取到 帧头和帧尾，读取到的数据都是缓存区中的，数据量又大。导致缓冲区中一直有很多数据， 又由于dmx512数据协议中并没有帧头帧尾字段只有 ......
Longhorn+K8S+KubeSphere云端数据管理，实战 Sentry PostgreSQL 数据卷增量快照/备份与还原
云端实验环境配置 VKE K8S Cluster Vultr 托管集群 https://vultr.com/ 3 个 worker 节点，kubectl get nodes。 k8s-paas-71a68ebbc45b Ready <none> 12d v1.23.14 k8s-paas-dbbd4 ......
[apue] Unix 系统数据文件那些事儿
如何免密 ssh 登录空密码账户？getpwent 为何会返回比 /etc/passwd 文件更多的内容？同样是修改附加组 ID，usermod -G 和 gpasswd -a/-d 有何区别？/etc/networks 有什么用处？gethostbyname / getservbyname 和 g... ......
Python导入Excel表格数据并以字典dict格式保存
本文介绍基于Python语言，将一个Excel表格文件中的数据导入到Python中，并将其通过字典格式来存储的方法。 我们以如下所示的一个表格（.xlsx格式）作为简单的示例。其中，表格共有两列，第一列为学号，第二列为姓名，且每一行的学号都不重复；同时表格的第一行为表头。 假设我们需要将第一列的学号 ......
基础二分查找总结
前言 由于我在学习二分查找的过程中处于会了忘，忘了复习的状态，因此总结一套适合自己记忆的模板。建议先看参考资料$^{[1,2,3]}$，理解二分查找各种细节的由来。 二分查找又死循环了？【基础算法精讲 04】 手把手带你撕出正确的二分法 | 二分查找法 | 二分搜索法 | LeetCode：704. ......
Docker 基础 - 2
容器操作系统类型 Busybox 集成了一百多个最常用 Linux 命令和工具的软件工具箱. 包含cat echo grep find mount telnet 等 Busybox 是Linux 系统的瑞士军刀 Debian/Ubuntu CentOS/Fedora CoreOS 官网链接 Linu ......
Crossplane - 比 Terraform 更先进的云基础架构管理平台？
👉️URL: https://crossplane.io/ 📝Description: 将云基础架构和服务组成自定义平台 API 简介 在 11 月的 KCD 上海现场，听了一场阿里云的工程师关于他们自己的多云基础架构管理工具的介绍，前边的引言部分有介绍到 Terraform，还有另一款竞品就是 ......
Creator 2.x 升级 3.x 基础 API 差异总结
上一篇我们介绍了 Cocos Creator 2.x 项目升级 3.x 的大流程。 但最后一步，还需要手动将之前 2.x 写的函数注释一处处的放开。 并将 2.x 的代码写法改成 3.x 的，下面我们就来看一下有那些差异。 1. 模块引入 在 Creator 3.x 中废弃了 cc.Node、cc. ......
大数据分析新玩法之Kusto宝典 - 新书发布，免费发行
我很高兴地跟大家分享，我在元旦期间编写的一本新书今天上线，并且免费发行，大家可以随时通过 https://kusto.book.xizhang.com 这个地址访问，也可以下载 PDF 的版本， 这本书是基于Github的模式编写的 (地址在 https://github.com/chenxizha ......
数据分析师都要具备以终为始的思考逻辑
职场中，需要的是「解决问题」的能力，对于数据分析师同样如此。 数据分析解决业务问题有一套“标准化流程”：从明确需求、清洗数据，到分析原因、提出建议。对于这大同小异的过程，有的分析师驾轻就熟赋能业务，但有的却频频卡壳，或许拿了数据不知从何入手，或许分析一轮后却被否认。 针对这些问题，我们需要「以终为始 ......
学习ASP.NET Core Blazor编程系列二十一——数据刷新
第二个问题，就是数据刷新问题，这不仅仅是上传中会碰到，只要是用数据列表或表格呈现数据，都可能会碰到没有及时刷新，数据不是最新的这个问题。Blazor 绑定（绑定就是刷新）机制有三种，Blazor组件在第一次渲染完成之后，ShouldRender 会返回为 false，然后后面调用都返回 false，... ......
通过Canal将云上MySQL数据同步到华为云ES(CSS)中
背景: A部门想将mysql中多张表join成一个sql查询语句,然后将结果同步到es中供搜索使用 环境信息: 源端mysql在阿里云上,有公网ip 目标端es在华为云上,三节点 操作步骤与目的: 配置MySQL供canal访问 1.由于阿里云的rds一般都配置了白名单,因此需要将后续canal所在 ......
TensorRT 基础笔记
TensorRT 是 NVIDIA 官方推出的基于 CUDA 和 cudnn 的高性能深度学习推理加速引擎，能够使深度学习模型在 GPU 上进行低延迟、高吞吐量的部署。采用 C++ 开发，并提供了 C++ 和 Python 的 API 接口，支持 TensorFlow、Pytorch、Caffe、M... ......
Python基础之模块
Python基础之模块 一、关于模块的基础知识 1.模块的本质 内部具有一定功能的py文件 2.模块的分类 自定义模块 程序员自己写的模块文件 内置模块 Python解释器提供的模块 第三模块 别的程序员模块文件(Python背后真正的大佬) 2.两种导入模块的语句及判断执行文件语句 # 用来相对导 ......
Python基础之面向对象
Python基础之面向对象 引言，学习面向对象之前先讨论一下编程思想 目前我们学了两种编程思想。一是面向过程编程即流程，面向过程就是按照固定的解决流程解决问题，比如编写注册功能、登录功能、转账功能等，需要列举出每一步的流程，并且随着步骤的深入问题的解决思路越来越简单，然后指定出该问题的解决方案， ......
深度学习基础-损失函数详解
大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变 x 以最小化或最大化某个函数 f(x) 的任务，我们通常以最小化 f(x) 指代大多数最优化问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradien... ......
神经网络基础部件-激活函数详解
本文分析了激活函数对于神经网络的必要性，同时讲解了几种常见的激活函数的原理，并给出相关公式、代码和示例图。从机器学习的角度来看，神经网络其实就是一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得多层神经网络成为一种高度非线性的模型。神经元之间的连接权重就是需要... ......
工作这么多年，我总结的数据传输对象 (DTO) 的最佳实践
前言 数据传输对象 (DTO) 是一种设计模式，常用于软件开发不同层或者不同系统之间传输数据。DTO 的主要目的是封装数据并防止它被其他层或系统直接访问或修改。通过遵循一组最佳实践，开发人员可以确保他们的 DTO 有效且高效。 欢迎关注个人公众号【JAVA旭阳】交流学习 DTO 的重要性 DTO 是 ......
[数据结构]KMP算法(含next数组详解）
#字符串匹配问题 给定一个字符串 s 和一个要匹配的模式串 p。模式串 p 有可能在 s 中多次出现，请求出模式串 p 在 s 中所有出现的起始位置。 #暴力匹配算法 BF ##算法思路 在面对字符串匹配问题时，很容易想到暴力求解。字符串匹配的暴力算法思路很简单，即在 s 中枚举起点 i，对于每个起 ......
跳跃表数据结构与算法分析
目前市面上充斥着大量关于跳跃表结构与Redis的源码解析，但是经过长期观察后发现大都只是在停留在代码的表面，而没有系统性地介绍跳跃表的由来以及各种常量的由来。作为一种概率数据结构，理解各种常量的由来可以更好地进行变化并应用到高性能功能开发中。本文没有重复地以对现有优秀实现进行代码分析，而是通过对跳跃... ......
python数据分析与可视化【思维导图】
python数据分析与可视化常用库 numpy+matplotlib+pandas 思维导图 图中难免有错误，后期随着学习与应用的深入，会不断修改更新。 当前版本号：1.0 numpy介绍 NumPy 是什么？ NumPy是使用Python进行科学计算的基础软件包。除其他外，它包括： 功能强大的N维 ......
【C++ 数据结构：链表】二刷LeetCode707设计链表
【C++链表】 使用c++重新写一遍LeetCode707设计链表 目的是熟悉c++中链表的操作 知识点 C++链表节点的实现 在c++中，一般通过结构体来定义链表的节点，也需要写构造函数（使用初始化列表） 如： struct ListNode{ int val; ListNode* next; / ......
2023牛客寒假算法基础集训营3 A-I+K
比赛链接 A 题解 知识点：贪心。 把所有正偶数除成奇数，即可。 （人傻了没加 $x>0$ WA2 时间复杂度 $O(n)$ 空间复杂度 $O(1)$ 代码 #include <bits/stdc++.h> using ll = long long; using namespace std; int ......
使用SQL4Automation让CodeSYS连接数据库
摘要：本文旨在说明面向CodeSYS的数据库连接方案SQL4Automation的使用方法。 1.SQL4Automation简介 1.1.什么是SQL4Automation SQL4Automation是一套工业用途的软件解决方案，它主要的功能就是为PLC和机器人控制提供数据库连接，它支持很多类型 ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
Redis set数据类型命令使用及应用场景使用总结
转载请注明出处： 目录 1.sadd 集合添加元素 2.srem移除元素 3.smembers 获取key的所有元素 4.scard 获取key的个数 5.sismember 判断member元素是否存在集合key中 6.srandmember key count 从集合key中随机选出count个 ......
Redis 中ZSET数据类型命令使用及对应场景总结
转载请注明出处： 目录 1.zadd添加元素 2.zrem 从有序集合key中删除元素 3.zscore 返回有序集合key中元素member的分值 4.zincrby 为有序集合key中元素增加分值 5.zcard获取有序集合key中元素总个数 6.zrange 正序获取分值范围内的元素 7.zr ......
electron + go 如何从sqlite获取数据
我现在的数据在sqlite中，保存在mac本地的一个文件中。用了electron+vue搭建了一个客户端。 我大概希望是这样的逻辑，先加载本地db文件，然后再获取数据。 这里就有一个问题，我怎么获取sqlite中的数据呢？从哪里加载呢？ 思考 electron的进程分为master Process ......
C++进阶（位图+布隆过滤器的概念和实现+海量数据处理）
位图 概念 位图： 所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。 适用场景： 如果我们需要对大量的数据进行处理，判断该数据在不在，比如40亿个整形数据，如果我们用unordered_set来存放这些数据，大约需要占用16G的内存，显然这是 ......