队列 算法 层级 数据结构
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南（离线同步数据）
离线迁移 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景，或者源端实例部署在其他云厂商Redis服务中，无法实现在线迁移。 存在的问题 由于生产环境的各种原因，我们需要对现有服务器进行迁移，包括线上正在运行的redis集群环境 如何去做? 涉及到数据源变动，原有数据如何平滑迁移到 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（scan模式迁移）
在线数据迁移方式 对于大多数场景下的Redis的数据迁移，还是比较推荐大家参考我之前的前两篇文章。 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（在线同步数据） 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【Dubbo3终极特性】「云原生三中心架构」带你探索Dubbo3体系下的配置中心和元数据中心、注册中心的原理及开发实战（上）
Dubb3的应用级服务发现 Dubbo3提供了全新的应用级服务发现模型，该模型在设计与实现上区别于 Dubbo2 的接口级服务发现模型。 概括来说，Dubbo3 引入的应用级服务发现主要有以下优势 适配云原生微服务变革。云原生时代的基础设施能力不断向上释放，像 Kubernetes 等平台都集成了微 ......
【Dubbo3 终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（中）
承接上文 通过之前的【Dubbo3终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（上），让我们对Dubbo3的三中心架构体系有了一定的认识和了解。 Dubbo3的三中心部署架构 回顾一下部署架构（注册中心、配置中心、元数据中心），了解Du ......
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南（在线同步数据）
从实战出发使用RedisShake进行Redis数据在线+离线模式迁移指南 RedisShake基本介绍 RedisShake是基于redis-port基础上进行改进的是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。数据可平滑迁移，当部署在其他云厂商Red ......
算法学习笔记(8.1): 网络最大流算法 EK, Dinic, ISAP
网络最大流 前置知识以及更多芝士参考下述链接 网络流合集链接：网络流 最大流，值得是在不超过管道~~（边）~~容量的情况下从源点到汇点最多能到达的流量 抽象一点：使 $\sum_{(S, v) \in E} f(S, v)$ 最大的流函数被称为网络的最大流，此时的流量被称为网络的最大流量 有了最大流 ......
常见限流算法
简介 限流顾名思义是对流量大小进行限制，防止请求数量超过系统的负载能力，导致系统崩溃，起到保护作用。 现实生活中限流也随处可见，节假日出门旅行的人数会剧增，对于旅游景点来说往往会不堪重负，如果不进行人数控制，对整个景点的压力会非常大，游客的体验也会非常差，还容易出现安全事故等危险。 同样的在一线城市 ......
算法学习笔记(5): 最近公共祖先(LCA)
最近公共祖先(LCA) 最近公共祖先是树上的概念，不了解树的出门左转百度：树（数据结构名词）_百度百科 定义 假设我们需要求 x 和 y 的最近公共祖先，这里有多种等价的定义 路径x到y上深度最小的点 x和y公共祖先中深度最大的点 x和y在这棵树上距离最近的公共祖先结点 如果x就是y的祖先，则x本身 ......
算法学习笔记(2): 欧拉定理与逆元
逆元 定义 逆元素，是指一个可以取消另一给定元素运算的元素 具体来说，对于实际的一些应用，如： 当我们想要求(11 / 3) % 10时 明显可以看出，是没有办法直接算的，这时就需要引入逆元 $a$ 在模$p$意义下的逆元记作 $a^{-1}$，也可以用inv(a)表示 应当满足 $$ a * a^ ......
又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速
摘要：上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。 本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾 ......
MySql树形结构（多级菜单）查询设计方案
背景 又很久没更新了，很幸运地新冠引发了严重的上呼吸道感染，大家羊过后注意休息和防护 工作中（尤其是传统项目中）经常遇到这种需要，就是树形结构的查询（多级查询），常见的场景有：组织架构（用户部门）查询 和 多级菜单查询 比如，菜单分为三级，一级菜单、二级菜单、三级菜单，要求用户按树形结构把各级菜单查 ......
Vue+echart 展示后端获取的数据
最近在合作做一个前后端分离项目时，为了测试我写的后端部分获取数据的效果，自己也学了一下 vue 的知识，在获取 json 信息这里也踩了很多坑。 这里列举下我返回的 json 部分信息： { "house_basic": [ { "HOUSE_ID": "00001", "HOUSE_NAME": ......
ING国际银行基于Volcano的大数据分析平台应用实践
摘要：ING集团发表了《Efficient Scheduling Of High Performance Batch Computing For Analytics Workloads With Volcano - Krzysztof Adamski & Tinco Boekestijn, ING》 ......
Linux 驱动像单片机一样读取一帧dmx512串口数据
硬件全志R528 目标：实现Linux 读取一帧dmx512串口数据。 问题分析：因为串口数据量太大，帧与帧之间的间隔太小。通过Linux自带的读取函数方法无法获取到 帧头和帧尾，读取到的数据都是缓存区中的，数据量又大。导致缓冲区中一直有很多数据， 又由于dmx512数据协议中并没有帧头帧尾字段只有 ......
低版本客户端连接高版本数据库报错ORA-28040、ORA-01017
测试环境： 客户端：Oracle 11.2.0.1 服务端：Oracle 19.16 测试过程： 1.低版本客户端连接高版本数据库报错ORA-28040 2.低版本客户端连接高版本数据库报错ORA-01017 3.总结经验 1.低版本客户端连接高版本数据库报错ORA-28040 使用oracle 1 ......
Longhorn+K8S+KubeSphere云端数据管理，实战 Sentry PostgreSQL 数据卷增量快照/备份与还原
云端实验环境配置 VKE K8S Cluster Vultr 托管集群 https://vultr.com/ 3 个 worker 节点，kubectl get nodes。 k8s-paas-71a68ebbc45b Ready <none> 12d v1.23.14 k8s-paas-dbbd4 ......
[apue] Unix 系统数据文件那些事儿
如何免密 ssh 登录空密码账户？getpwent 为何会返回比 /etc/passwd 文件更多的内容？同样是修改附加组 ID，usermod -G 和 gpasswd -a/-d 有何区别？/etc/networks 有什么用处？gethostbyname / getservbyname 和 g... ......
Python导入Excel表格数据并以字典dict格式保存
本文介绍基于Python语言，将一个Excel表格文件中的数据导入到Python中，并将其通过字典格式来存储的方法。 我们以如下所示的一个表格（.xlsx格式）作为简单的示例。其中，表格共有两列，第一列为学号，第二列为姓名，且每一行的学号都不重复；同时表格的第一行为表头。 假设我们需要将第一列的学号 ......
为什么使用消息队列？我这样回答，面试官直说讲得很清楚
为什么要使用消息队列，六个字总结：解耦、异步、消峰 1）解耦 传统模式下系统间的耦合性太强。怎么说呢，举个例子：系统 A 通过接口调用发送数据到 B、C、D 三个系统，如果将来 E 系统接入或者 B 系统不需要接入了，那么系统 A 还需要修改代码，非常麻烦。 如果系统 A 产生了一条比较关键的数据， ......
大数据分析新玩法之Kusto宝典 - 新书发布，免费发行
我很高兴地跟大家分享，我在元旦期间编写的一本新书今天上线，并且免费发行，大家可以随时通过 https://kusto.book.xizhang.com 这个地址访问，也可以下载 PDF 的版本， 这本书是基于Github的模式编写的 (地址在 https://github.com/chenxizha ......
数据分析师都要具备以终为始的思考逻辑
职场中，需要的是「解决问题」的能力，对于数据分析师同样如此。 数据分析解决业务问题有一套“标准化流程”：从明确需求、清洗数据，到分析原因、提出建议。对于这大同小异的过程，有的分析师驾轻就熟赋能业务，但有的却频频卡壳，或许拿了数据不知从何入手，或许分析一轮后却被否认。 针对这些问题，我们需要「以终为始 ......
学习ASP.NET Core Blazor编程系列二十一——数据刷新
第二个问题，就是数据刷新问题，这不仅仅是上传中会碰到，只要是用数据列表或表格呈现数据，都可能会碰到没有及时刷新，数据不是最新的这个问题。Blazor 绑定（绑定就是刷新）机制有三种，Blazor组件在第一次渲染完成之后，ShouldRender 会返回为 false，然后后面调用都返回 false，... ......
通过Canal将云上MySQL数据同步到华为云ES(CSS)中
背景: A部门想将mysql中多张表join成一个sql查询语句,然后将结果同步到es中供搜索使用 环境信息: 源端mysql在阿里云上,有公网ip 目标端es在华为云上,三节点 操作步骤与目的: 配置MySQL供canal访问 1.由于阿里云的rds一般都配置了白名单,因此需要将后续canal所在 ......
分布式协议与算法-Paxos算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 为什么要学习Paxos算法？其实关于这个问题的答案，每个人有不同的看法。其实对我来说，我认为当前很多常用的共识算法都是基于它改进，我学习它的初衷也是为了更好的去理解Raft算法。如果你想深入理解RAFT算法，博主在这里推荐蚂蚁金服的SOFAJ ......
机器学习经典算法总结
K 近邻算法（KNN）是一种基本分类和回归方法。KNN 算法的核心思想是如果一个样本在特征空间中的 k 个最相邻的样本中的大多数属于一个类别，那该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。 ......
分布式协议与算法-Quorum NWR
1.强一致性与最终一致性 1.1强一致性 强一致性能保证写操作完成后，任何后续访问都能读到更新后的值；强一致性可以保证从库有与主库一致的数据。如果主库突然宕机，我们仍可以保证数据完整。但如果从库宕机或网络阻塞，主库就无法完成写入操作。 1.2最终一致性 最终一致性只能保证如果对某个对象没有新的写操作 ......
你知道哈希算法，但你知道一致性哈希吗？
前言 假如让你为淘宝这种数据量非常大的公司的设计一个可扩展的数据存储系统，你该如何存储和管理数据呢？总不能放在单个服务器上吧，肯定放不下，必然需要水平扩展。那么这样就带来一个问题，这个数据要存储在哪个服务器上呢？这就引入了本文的主题一致性哈希算法，可能你没听过，那么本文就通过一个简单的例子带你一步一 ......
每个Java程序员都必须知道的四种负载均衡算法
前言 一般来说，我们在设计系统的时候，为了系统的高扩展性，会尽可能的创建无状态的系统，这样我们就可以采用集群的方式部署，最终很方便的根据需要动态增减服务器数量。但是，要使系统具有更好的可扩展性，除了无状态设计之外，还要考虑采用什么负载均衡算法，本文就带领大家认识以下常见的4种负载均衡算法。 欢迎关注 ......