分布式 集群hdfs
Zookeeper-快速入门、服务搭建、集群搭建教程
官网：https://zookeeper.apache.org/ zookeeper常用用途： 集群管理，zookeeper作为注册中心，管理服务提供方的ip地址端口号url信息，并在服务消费方请求需要时发送给服务消费方。 配置中心（不过一般用阿波罗apollo或者阿里的Nacos来做） 多个app ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......
Python hdfs 读取文件报错 Temporary failure in name resolution
问题背景 本人按照菜鸟教程的步骤，在windows系统布置了ubuntu虚拟机环境，并使用centos容器镜像搭建出单节点的hdfs服务。 欲使用Python hdfs api测试hdfs服务的功能，遂在ubuntu中编写以下代码准备测试 from hdfs import Client client ......
Go 语言实现高性能分布式锁
Go 语言实现高性能分布式锁 原创 源自开发者 源自开发者 2023-12-22 07:31 发表于广东 听全文 源自开发者 专注于提供关于Go语言的实用教程、案例分析、最新趋势，以及云原生技术的深度解析和实践经验分享。 49篇原创内容 公众号 在分布式系统中，实现跨不同服务或节点的同步操作是一个常 ......
YARN集群架构
玩Hadoop的不知道YARN？这简直是天大的笑话！之前介绍Hadoop核心组件的时候（详见《Hadoop的“前世今生”》那篇博文）就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”，那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构，主要 ......
伪分布免密
[root@docker00 ~]# ssh-keygen -t rsa [root@docker00 ~]# cd .ssh/ [root@docker00 .ssh]# cp id_rsa.pub authorized_keys [root@docker00 .ssh]# chmod 600 a ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
分布式缓存NewLife.Redis
NewLife.Redis 是一个Redis客户端组件，以高性能处理大数据实时计算为目标。 Redis协议基础实现位于Redis/RedisClient，FullRedis为扩展实现，主要增加列表结构、哈希结构、队列等高级功能。 源码： https://github.com/NewLifeX/New ......
.netcore 分布式事务CAP 快速入门
https://blog.csdn.net/jbossjf/article/details/122590688 CAP是一个用来解决微服务或者分布式系统中分布式事务问题的一个开源项目解决方案。可以解决跨服务器的数据一致性、可用性问题。一个简单的列子，如：订单系统创建订单后需要通知邮件通知用户下单成功 ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
自己新建的一个项目作为分布式的调研学习以及使用功能的启动消息如下
D:\work\Java\jdk-17.0.4.1\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:1117,suspend=y,server=n -XX:TieredStopAtLevel=1 -Dspring.o ......
《Java架构师的第一性原理》35分布式计算之分布式事务（TCC、最终一致性、Seata）
1 常见分布式实现方案介绍 1.1 XA方案 有一个事务管理器的概念，负责协调多个数据库（资源管理器）的事务 不适合高并发场景，严重依赖数据库层面，同步阻塞问题；协调者故障则所有参与者会阻塞 1.2 TCC方案 严重依赖代码补偿和回滚，一般银行用，和钱相关的支付、交易等相关的场景，我们会用TCC T ......
《Java架构师的第一性原理》38分布式计算之微服务SpingCloud
1 微服务简介 1.1 什么是微服务 微服务是最近的一两年的时间里是很火的一个概念。感觉不学习一下都快跟不上时代的步伐了，下边做一下简单的总结和介绍。 何为微服务？简而言之，微服务架构风格这种开发方法，是以开发一组小型服务的方式来开发一个独立的应用系统的。其中每个小型服务都运行在自己的进程中，并经常 ......
《Java架构师的第一性原理》36分布式计算之分布式监控分布式链路跟踪（CAT、SkyWalking、Zipkin）
分布式链路跟踪 99 直接读这些牛人的原文 大众点评CAT开源监控系统剖析 一文带你看懂，SkyWalking分布式追踪系统原理及实践 SkyWalking —— 分布式应用监控与链路追踪 全面解析微服务系统监控分层，啃透服务治理核心！ ......
《Java架构师的第一性原理》33分布式计算之分布式注册中心、分布式配置中心
待补充 1 分布式注册中心 2 分布式配置中心 2.1 Apollo 2.1.1 Apollo是怎样注入到SpringBean的容器里的 99 直接读这些牛人的原文 apollo不使用 MQ 如何实现 pub/sub 场景？ 13张图彻底搞懂分布式系统服务注册与发现原理 为什么 @Value 可以获 ......
《Java架构师的第一性原理》30分布式计算之分布式算法
极客时间 韩健 121.分布式协议与算法实战 00 开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧 为什么要单独讲分布式协议和算法呢？ 在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。 ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第3篇LevelDB
互联网业务，绝大部分场景，会使用缓存服务。 但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storage library)，它支持字符串的key与字符串的value，并且这种映射 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
《Java架构师的第一性原理》31分布式计算之微服务RPC（Dubbo）
1 互联网架构，究竟为啥要做服务化 互联网架构，究竟为啥要做服务化？ 2 微服务架构，多“微”才合适？ 微服务架构，多“微”才合适？ 3 离不开的微服务架构，脱不开的RPC细节 离不开的微服务架构，脱不开的RPC细节 3.1 服务化解决的问题 1）服务化需要解决的问题： 一套序列化、反序列化、网络框 ......
一套分布式IM即时通讯系统的技术选型和架构设计
为了更好的理解分布式IM即时通讯系统的设计，我站在架构师的角度，在充分了解系统需求、业务流程和技术流程后，从全局视角为系统设定方案目标，对技术方案进行选型，对系统进行总体架构设计和分层架构设计，并梳理清楚发送消息的交互链路、单聊和群聊的交互链路。希望对你有帮助。 ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
redis分布锁
1.什么是redis分布式锁 Redis分布式锁是一种利用Redis实现的锁机制，用于在分布式系统中保护共享资源的访问。它利用Redis的原子性操作和过期时间设置来实现互斥访问。 在分布式环境中，多个进程或线程可能同时访问共享资源，如果没有合适的机制来保护共享资源，就会导致数据不一致或竞争条件的发生 ......
Seata：打造行业首个分布式事务产品
在 2019 年，我们基于 Dubbo Ecosystem Meetup，收集了 2000 多份关于“在微服务架构，哪些核心问题是开发者最关注的痛点？”的调研问卷。最终分布式事务问题在调研中占比最大，约占 54%。 ......
将Abp默认事件总线改造为分布式事件总线
@目录原理创建分布式事件总线实现自动订阅和事件转发使用启动Redis服务配置传递Abp默认事件传递自定义事件项目地址 原理 本地事件总线是通过Ioc容器来实现的。 IEventBus接口定义了事件总线的基本功能，如注册事件、取消注册事件、触发事件等。 Abp.Events.Bus.EventBus是 ......
seata分布式事务不生效
Fegin调用使用了Fallback降级或抛出的异常被全局处理 解决： 1.通过 GlobalTransactionContext.reload(RootContext.getXID()).rollback() 进行手动回滚 服务A @Service public class ServiceAImp ......
DeepSpeed分布式训练
一、DeepSpeed 总纲 官方文档：DeepSpeed 官方英文文档 cpoy下来的原版 DeepSpeed 模型的训练是使用DeeSpeed引擎完成的 DeepSpeed引擎可以包装任何 torch.nn.module 类型的模型 二、训练 1、通过 deepspeed.initialize ......