分布式
分布式环境下，如何实现session共享
为什么会出现这种session共享的解决方案？ 随着互联网公司的项目在微服务和分布式的环境下进行的搭建，导致一个项目可能分别部署在几个甚至很多的服务器集群下，此时就会出现一个问题： 当用户进行一个session会话的时候，比如一个用户去登录项目，一般的大公司的项目都是有Nginx进行反向代理的， N ......
分布式任务调度框架之Elastic-Job
1、前言 1.1、什么是任务调度? 我们可以先思考一下下面业务场景的解决方案： 某电商系统需要在每天上午 10点，下午3点，晚上8点发放一批优惠券。 某银行系统需要在信用卡到期还款日的前三天进行短信提醒。 某财务系统需要在每天凌晨 0:10结算前一天的财务数据，统计汇总。 12306 会根据车次的不 ......
分布式技术原理与算法解析 02 - 分布式计算
分布式计算模式之MR MapReduce就是将复杂的、难以直接解决的大问题，分割为规模较小的、可直接解决的小问题。这些子问题相互独立且和原问题形式相同，可递归地求解，然后将子问题的答案合并。核心步骤为 1.分解原问题 2.求解子问题 3.合并解 工作原理 Map对应分，Reduce对应合。主要包括3 ......
分布式技术原理与算法解析 02 - 分布式资源管理与负载调度
分布式体系结构之集中式结构 集中式结构就是由一台或多台机器组成中央服务器，所有数据存储于此，所有业务也先由其处理。多节点与中央服务器连接，并将自己信息汇报给中央服务器，由中央服务器同一进行资源和任务调度。特点是部署结构简单，中央节点无需考虑对任务的多节点部署，节点服务器间无需通信和协作，只要与中央服 ......
分布式技术原理与算法解析 01 - 分布式协调与同步
关于 电商系统：最看重吞吐量，为了更多的处理用户访问和订单业务 IoT：最看重资源占用率，在某些设备上资源都是KB级的 电信业务：最看重响应时间、完成时间、可用性，保证通话质量 HPC：最看重加速比，这种计算特带是耗时长 大数据：最看重加速比，处理时间较HPC短，但也到达小时级 云计算：最看重操作耗 ......
全站抓取与分布式增量抓取
scrapy的crawlspider爬虫 学习目标： 了解 crawlspider的作用 应用 crawlspider爬虫创建的方法 应用 crawlspider中rules的使用 1、crawlspider是什么 回顾之前的代码中，我们有很大一部分时间在寻找下一页的url地址或者是内容的url地址 ......
.NET+Consul+Ocelot实现微服务分布式部署
一、ConSul和Ocelot Consul：是一个服务网格解决方案，提供了一个功能齐全的控制平面，具有服务发现、配置和分段功能。这些功能中的每一项都可以根据需要单独使用，也可以一起使用来构建一个完整的服务网格。Consul需要一个数据平面，并支持代理和原生集成模型。Consul提供了一个简单的内置 ......
Redis分布式锁篇
18、什么是分布式锁？ 概述：在分布式系统中，多个线程访问共享数据就会出现数据安全性的问题。而由于jdk中的锁要求多个线程在同一个jvm中，因此在分布式系统中无法使 用jdk中的锁保证数据的安全性，那么此时就需要使用分布式锁。 作用：可以保证在分布式系统中多个线程访问共享数据时数据的安全性 举例： ......
分布式事务解决方案
参考：https://blog.csdn.net/a745233700/article/details/122402303 一、2PC： 2PC，两阶段提交，将事务的提交过程分为资源准备和资源提交两个阶段，并且由事务协调者来协调所有事务参与者，如果准备阶段所有事务参与者都预留资源成功，则进行第二阶段 ......
最强分布式搜索引擎——ElasticSearch
最强分布式搜索引擎——ElasticSearch 本篇我们将会介绍到一种特殊的类似数据库存储机制的搜索引擎工具——ES elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 我们会从下面几个角度来讲解ElasticSearch： ES ......
分布式版本控制系统——Git 常用指令
分布式版本控制系统——Git 常用指令 一、Git优缺点 缺点：占用磁盘空间较大 优点：版本切换时非常快，因为每个版本都是完整的文件快照，切换版本时直接恢复目标版本的快照即可 特点：空间换时间 二、GIt中的三个区域 使用Git管理的项目，拥有三个区域，分别是工作区、暂存区、Git仓库 三、中的三种 ......
分布式锁
参考：https://www.cnblogs.com/wangyingshuo/p/14510524.html 介绍 多线程环境下控制对共享资源的访问以保证数据一致性。 特点：跨进程、跨服务、跨服务器 互斥性 ——任意时刻，只有一个客户持有锁 超时释放——持有锁超时，可以释放，防止死锁 可重入——一 ......
云原生K8S精选的分布式可靠的键值存储etcd原理和实践
今天再下一个Go语言编写分布式键值存储的云原生组件ectd，了解其定义理、应用场景和特性，熟悉其整体架构和常用术语，进一步研究其读写和日志复制的原理，最后完整部署单示例和多实例集群和介绍一些常见命令。 ......
JMeter+Jenkins分布式压测持续集成
Jenkins job配置 参数化构建 运行分布式shell脚本：sh ... 生成测试报告 配置生成html测试报告，需要安装插件 HTML Publisher JMeter 性能脚本 编写jmeter脚本/自定义Java脚本，脚本参数化，并且可带参数命令行执行 自定义Java脚本 jmeter脚 ......
7-springboot-多数据源事务管理-jta+atomikos的分布式事务
jta+atomikos的分布式事务 <!--jta+atomikos分布式事务--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jta-atomikos</arti ......
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
Solon2 接口开发: 分布式 Api Gateway 开发预览
建议使用专业的分布式网关产品，比如： nginx apisix [推荐] k8s ingress controller 等... 对 Solon 来讲，只有 Gateway：它调用本地接口时，则为本地网关；调用远程接口时，则为分布式网关。 1、一个简单的分布式接口网关效果预览 基于上一节的 ApiG ......
分布式锁的实现
多线程对同一资源的竞争，需要用到锁，例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中，如果涉及到分布式环境（多机器）的资源竞争，则需要分布式锁。分布式锁的主要作用： 保证数据的正确性： 比如：秒杀的时候防止商品超卖，表单重复提交，接口幂等性。 避免重复处理 ......
分布式理论
一、分布式理论 1.CAP理论 CAP理论是说对于分布式数据存储，最多只能同时满足一致性（C，Consistency）、可用性（A， Availability）、分区容忍性（P，Partition Tolerance）中的两者。 1.一致性 是指对于每一次读操作，都能够读到最新写入的数据，且每个节点 ......
分布式协议与算法实战 - 分布式算法 gossip QuorumNWR PBFT ZAB
Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
Redis实现分布式锁
Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用，我们至少要保证锁的实现同时满足以下几个条件 互斥性：在任意时刻只有一个客户端能持有锁 不会死锁：即使有一个客户端在持有锁的期间发 ......
分布式ID生成-雪花算法(Snowflake)
1 描述 使用原生Java方式生成雪花算法, 雪花算法是推特公司开源的生成唯一ID的算法, 性能更高，可以避免对第三方依赖的使用, 减少耦合 1）能满足高并发分布式系统环境下ID不重复 2）基于时间戳，可以保证基本有序递增，即按照时间趋势递增（有些业务场景对这个有要求） 3）算法本身不依赖第三方的库 ......
浅谈分布式环境下WebSocket消息共享问题
浅谈分布式环境下WebSocket消息共享问题 技术分析 我们在开发时会遇到需要使用即时通讯的场景，当然，实现方式很多，Socket、MQTT、Netty....等等。 具体用哪种就在于业务的需求了，去选择合理的方式实现。 今天小简要聊的场景便是分布式环境下，WebSocket的消息共享问题。 分布 ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
精准测试之分布式调用链底层逻辑
作者：京东工业 宛煜昕 概要： 1. 调⽤链系统概述； 2. 调⽤链系统的演进； 3. 调⽤链的底层实现逻辑； 4. Span内容组成。 ⼀、分布式调⽤链系统概述 客户打电话给客服说：“优惠券使⽤不了”。 -客服告诉运营⼈员 --运营打电话给技术负责⼈ 技术负责⼈通知会员系统开发⼈员 会员找到营销系 ......
Java项目是不是分布式，真有那么重要吗？
大家好，我是3y啊。 大概不知道从什么时候，「微服务」「分布式」这两个词又再次频繁出现在我的视线里。 「微服务」「分布式」在我刚毕业的时候还是比较关注的，那时候还入门了一把SpringCloud，写了一篇很长的文章，还是很顶的，有不少的大号都给我转载了，在知乎又获得了很多的赞。 那时候觉得懂「分布式 ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......