算法 分布式paxos
[数据结构]KMP算法(含next数组详解）
#字符串匹配问题 给定一个字符串 s 和一个要匹配的模式串 p。模式串 p 有可能在 s 中多次出现，请求出模式串 p 在 s 中所有出现的起始位置。 #暴力匹配算法 BF ##算法思路 在面对字符串匹配问题时，很容易想到暴力求解。字符串匹配的暴力算法思路很简单，即在 s 中枚举起点 i，对于每个起 ......
跳跃表数据结构与算法分析
目前市面上充斥着大量关于跳跃表结构与Redis的源码解析，但是经过长期观察后发现大都只是在停留在代码的表面，而没有系统性地介绍跳跃表的由来以及各种常量的由来。作为一种概率数据结构，理解各种常量的由来可以更好地进行变化并应用到高性能功能开发中。本文没有重复地以对现有优秀实现进行代码分析，而是通过对跳跃... ......
2023牛客寒假算法基础集训营3 A-I+K
比赛链接 A 题解 知识点：贪心。 把所有正偶数除成奇数，即可。 （人傻了没加 $x>0$ WA2 时间复杂度 $O(n)$ 空间复杂度 $O(1)$ 代码 #include <bits/stdc++.h> using ll = long long; using namespace std; int ......
道长的算法笔记：状态机模型之股票系列问题
(一) 股票系列问题 所谓的股票问题，是一个动态规划状态机模型的系列问题，这些题目来自于LeetCode社区，这些问题非常经典，能够帮助我们理解动态规划的本质，这些问题大多初看之下会令人感觉无从下手，但是一旦掌握相应的方法划分状态之后，很快即可举一反三的写出相应的代码。 股票系列问题合集 LC121 ......
周而复始,往复循环,递归、尾递归算法与无限极层级结构的探究和使用(Golang1.18)
所有人都听过这样一个歌谣：从前有座山，山里有座庙，庙里有个和尚在讲故事：从前有座山。。。。，虽然这个歌谣并没有一个递归边界条件跳出循环，但无疑地，这是递归算法最朴素的落地实现，本次我们使用Golang1.18回溯递归与迭代算法的落地场景应用。 递归思想与实现 递归思想并非是鲜为人知的高级概念，只不过 ......
分布式事务 | 基于MassTransit的StateMachine实现Saga编排式分布式事务
MassTransit StateMachine充当着事务编排器的角色，通过集中定义状态、转移条件和状态转移的执行顺序，实现高内聚的事务流转控制，也确保了其他伴生服务仅需关注自己的业务逻辑，而无需关心事务的流转，真正实现了关注点分离。 ......
JAVA中使用最广泛的本地缓存？Ehcache的自信从何而来3 —— 本地缓存变身分布式集群缓存，打破本地缓存天花板
作为JAVA本地缓存综合实力天花板的Ehcache，还提供了对于集群能力的支持，这也使其不仅仅是个单机缓存，更是一个分布式缓存。本篇一起探讨Ehcache的各种集群方案。 ......
做算法的这一年——2022年个人年终总结
做算法的这一年——2022年个人年终总结 前言 按照往年的惯例和园子的规矩，随着网易云音乐以及众多App的个人使用报告陆续出来，也到了自己该做个全年复盘总结的时候了。 这一年想起来好像是做了很多事情，但又好像什么都没有做，对着电脑想了许久，要怎么用一句话或者一个字来概括这一整年的过往与历程，奈何 ......
基于K-means聚类算法进行客户人群分析
摘要：在本案例中，我们使用人工智能技术的聚类算法去分析超市购物中心客户的一些基本数据，把客户分成不同的群体，供营销团队参考并相应地制定营销策略。 本文分享自华为云社区《基于K-means聚类算法进行客户人群分析》，作者：HWCloudAI 。 实验目标 掌握如何通过机器学习算法进行用户群体分析； 掌 ......
分布式文件系统之FastDFS
目录结构： 一 分布式文件系统 二 FastDFS入门 三 FastDFS环境搭建 四 FastDFS在Java项目中开发示例 五 FastDFS分布式文件系统集群 一 分布式文件系统 分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文 ......
贪心算法Dijkstra
Dijkstra 最短路径问题 : 给定一个带权有向图 G = (V, E, W)，同时给定一个源点 u (u ∈ V)，我们要找出从源点 u 出发到其它各点的最短路径距离，并得出这些最短路径的具体路径有哪些边构成。 其实我们要求的就是从 源点 u 出发到 其它各点 str的最短路径所组成的路线网络 ......
遗传算法解决函数优化问题
遗传算法解决函数优化问题 作者: Cukor丘克 环境: MatlabR2020a + vscode 为什么要学习遗传算法 为什么要学习遗传算法，或者说遗传算法有什么厉害的地方。例如求解以下函数优化问题： $min f(x_1, x_2)=x^2_1+x^2_1+25*(sin^2x_1+sin^2 ......
遗传算法解决旅行商问题(TSP)
遗传算法解决旅行商问题 作者：Cukor丘克 环境：MatlabR2020a + vscode 问题描述 旅行商问题（TSP）. 一个商人欲从自己所在的城市出发，到若干个城市推销商品，然后回到其所在的城市。如何选择一条周游路线，使得商人经过每个城市一次且仅一次后回到起点，并使他所走过的路径最短？ T ......
Google分布式文件系统GFS论文学习
GFS作为最著名的分布式文件系统，首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统，但是它里面的设计思想还是值得现代分布式系统设计参考的，并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面，列举了设计预期，也就是 GFS 是 ......
3D视觉算法初学概述
SLAM 是Simultaneous Localization and Mapping的缩写，中文译作“同时定位与地图构建”。它是指搭载特定传感器（单目、双目、RGB-D相机、Lidar）的主体，在没有环境先验信息的情况下，在运动过程中建立环境的模型，同时估计自己的运动。如果这里的传感器主要为相机，... ......
Raft一致性共识算法论文学习
论文地址：https://pdos.csail.mit.edu/6.824/papers/raft-extended.pdf 看完raft共识算法，脑袋非常懵，所以写一篇学习笔记，记录一下。 raft算法主要解决三个模块的问题：领导人选举、日志复制和安全性。当然除了这三个方面，论文对于raft的安全 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构二）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 业务模型 我们可以把关键对象（职位、客户行为记录、线索）参考为 actor 猎头 ......
强化学习调参技巧二：DDPG、TD3、SAC算法为例：
强化学习调参技巧二：DDPG、TD3、SAC算法为例：先写一个简化版的训练环境。把任务难度降到最低，确保一定能正常训练。记录正常训练的智能体的分数，与随机动作、传统算法得到的分数做比较。
DRL算法的分数应该明显高于随机动作（随机执行动作）。DRL算法不应该低于传统算法的分数。如果没有传统算法，那么... ......
分布式事务 | 基于MassTransit Courier实现Saga 编排式分布式事务
Saga 模式 Saga 最初出现在1987年Hector Garcaa-Molrna & Kenneth Salem发表的一篇名为《Sagas》的论文里。其核心思想是将长事务拆分为多个短事务，借助Saga事务协调器的协调，来保证要么所有操作都成功完成，要么运行相应的补偿事务以撤消先前完成的工作，从 ......
全自动化数据洞察！数据分布对比可视化！⛵
本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
如何基于 Redis 实现分布式锁
什么是分布式锁 分布式锁：不同进程必须以互斥方式使用共享资源的一种锁方法实现。 实现分布式锁的基础 互斥。任何时刻，只有一个客户端持有锁。 无死锁。最终总是有可能获得锁，即使持有锁的客户端已经崩溃。 单个 Redis 分布式锁实现 上锁 上锁需要考虑俩点 原子性 锁能自动释放 首先要考虑持有锁的客户 ......
【分布式技术专题】「架构设计方案」盘点和总结秒杀服务的功能设计及注意事项技术体系
分析秒杀的业务场景，最重要的有一点就是超卖问题，假如备货只有100个，但是最终超卖了200，一般来讲秒杀系统的价格都比较低，如果超卖将严重影响公司的财产利益，因此首当其冲的就是解决商品的超卖问题。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
地下城地图图块生成算法
一. 概述 生成地下城，包含房间和迷宫通路。类似： 示例效果一 示例效果二 二. 思路 1.生成迷宫通路 从房间的边缘坐标XY为奇数的格子生成迷宫，确保房间和迷宫通路之间有间隔墙壁（除了蓝色格子视为墙壁）。 迷宫通路生长每次探测两个格子，确保迷宫通路间有间隔墙壁。 2.生成过程 三. 代码示例 位置 ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......