分布式 集群hdfs
通过 docker-compose 快速部署 Hadoop 集群详细教程
一、概述 docker-compose 项目是docker官方的开源项目， 负责实现对docker容器集群的快速编排，来轻松高效的管理容器，定义运行多个容器。 通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的，所以一般通过docker-c ......
PostgreSQL 13 pacemaker 高可用集群
环境介绍 操作系统版本 CentOS Linux release 7.8.2003 (Core) 数据库版本 psql (13.10) PCS集群版本 [root@hd-clw-select-proxysql01 ~]# rpm -qa|grep pacemaker pacemaker-libs-1 ......
mycat集群
前面我们是用一个mycat对应两个mysql集群，参考：https://www.cnblogs.com/zwh0910/p/17278041.html 但是在高并发的情况下，我们的系统也会出现性能的问题，显然是mycat，即所有的压力都压倒mycat上面，所以需要给mycat做集群。 mycat做了 ......
Using publicly 使用公开遥感数据做非洲贫困分布制图
Using publicly 使用公开遥感数据做非洲贫困分布制图 Abstract 使用了约20000个village-level的点，得到village-level的精度是$r^2$=70% 在时间维度上，使用了district-aggregated change 作为评估尺度，精度是$r^2$= ......
.NetCore中使用分布式事务DTM的二阶段消息
一、概述 二阶段消息是DTM新提出的，可以完美代替现有的事务消息和本地消息表架构。无论从复杂度、性能、便利性还是代码量都是完胜现有的方案。 相比现有的消息架构借助于各种消息中间件比如RocketMQ等，DTM自己实现了无需额外的学习成本。它能够保证本地事务的提交和全局事务提交是“原子的”，适合解决不 ......
redis集群方案的优缺点以及原理
如果主库挂了，我们就需要运行一个新主库，比如说把一个从库切换为主库，把它当成主库。 这就涉及到三个问题： 主库真的挂了吗？ 该选择哪个从库作为主库？ 怎么把新主库的相关信息通知给从库和客户端呢？ 这就要提到哨兵机制了。在 Redis 主从集群中，哨兵机制是实现主从库自动切换的关键机制，它有效地解决了 ......
分布式事务讲解之CAP，2PC，3PC，TCC
学习此篇分布式事务前先学习Spring事务讲解 1 CAP 1.1 CAP原则 CAP原则又称CAP定理， 指的是在一个分布式系统中， Consistency（一致性） 、Availability（可用性） 、 Partition tolerance（分区容错性） ， 三者不可兼得。 |原则分类|详 ......
kubernetes 集群部署rabbimq3.11.11
通过官方镜像 RabbitMQ Docker Image 和 rabbitmq-peer-discovery-k8s 插件进行集群部署。 0. 环境 kubernetes 1.24 rabbitmq3.11.11 1.命名空间 将 rabbitmq 的资源都放在 rabbitmq 命名空间内。 Na ......
分析微信好友数据，可以可视化好友男女比例分布，可视化省份来源，可视化签名的情感强度值
一、分析数据可视化好友男女分布比例 1 plt.rcParams['font.sans-serif']=['SimHei'] 2 #用来正常显示中文标签 3 plt.rcParams['axes.unicode_minus']=False 4 5 # 1.读取csv文件，把性别信息读取出来 6 de ......
hdfs disk balancer 磁盘均衡器
1、背景 在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡 ......
DG储能选址定容模型matlab 程序采用改进粒子群算法，考虑时序性得到分布式和储能的选址定容模型
DG储能选址定容模型matlab 程序采用改进粒子群算法，考虑时序性得到分布式和储能的选址定容模型，程序运行可靠YID:87140641990659957 ......
CentOS7-自动化部署web集群
一、项目要求 1、创建role，通过role完成项目（可能需要多个role） 2、部署nginx调度器（node2主机） 3、部署2台lnmp服务器（node3，node4主机） 4、部署mariadb数据库（node5主机） 主要用的ansible实现自动化部署，ansible的安装教程省略，控制 ......
Python小练习：从正态分布中采样
Python小练习：从正态分布中采样 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 本文用Python实现三种从正态(高斯)分布中的采样方式：确定性采样、重参数化技巧(推荐)、直接采样。 1. normal_test.py 1 # -*- codin ......
hadoop系列---【hadoop集群的搭建---(二)Zookeeper的安装】
#(二)Zookeeper的安装 ##1.准备三台服务器 ##2.下载安装包 下载地址：http://archive.apache.org/dist/zookeeper/ 这里我们以zookeeper-3.4.9.tar.gz版本为例，下载完后，上传到三台服务器的/app目录下。 ##3.在第一台服 ......
.NET 的分布式锁类库
自己动手基于 Redis 实现一个 .NET 的分布式锁类库 分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升 ......
SequoiaDB分布式数据库2023.3月刊
本月看点速览 赋能行业，参编《分布式数据库金融应用发展报告》 脱颖而出，入选2022专精特新黑马大赛年度十强 激烈角逐，成功晋级全国信创优秀解决方案决赛 新穗新彩，多家权威媒体走进巨杉 青杉计划2023持续进行，一起攀登更高的“杉” 赋能行业，参编《分布式数据库金融应用发展报告》 本月，北京金融科技 ......
RocketMQ x OpenTelemetry 分布式全链路追踪最佳实践
在分布式系统中，多个服务之间的交互涉及到复杂的网络通信和数据传输，其中每个服务可能由不同的团队或组织负责维护和开发。因此，在这样的环境下，当一个请求被发出并经过多个服务的处理后，如果出现了问题或错误，很难快速定位到根因。分布式全链路追踪技术则可以帮助我们解决这个问题，它能够跟踪和记录请求在系统中的传... ......
k8s部署redis集群（cluster模式）
参考：https://www.cnblogs.com/LiuChang-blog/p/15898005.html 一、redis集群部署(三主三从) 1.1yaml文件准备 （1） 配置文件说明 # 部署所在命名空间: redis-cluster [root@k8s-master1 ~]# cd / ......
分布式事务和分布式锁
一、分布式中的CAP原则 1.1 CAP的概念 CAP原则指的是在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性），最多只能满足两个，三者不能兼得 Consistency（一致性） 指的是对于每一次的读取操作 ......
k8s 中使用helm 安装zookeeper，kafka集群<三>
helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka \ --set statefulset.replicaCount=1 \ --set ......
k8s 安装3节点es集群<一>
vim es.yamlapiVersion: policy/v1beta1 kind: PodDisruptionBudget metadata: name: elasticsearch-pdb spec: selector: matchLabels: app: elasticsearch maxU ......
Rabbitmq 集群常用命令集
1、常用命令如下： 查看RabbitMQ服务状态：rabbitmqctl status 启用web插件：rabbitmq-plugins enable rabbitmq_management 添加页面用户及密码：rabbitmqctl add_user admin 123456 赋予其adminis ......
HDFS Balancer负载均衡器
1、背景 当我们的hadoop集群运行了一段时间之后，各个DataNode上的数据分布并不一定是均匀分布的。比如说： 我们向现有集群中添加了一个新的DataNode。 2、什么是平衡 此处是我自己的一个简单的理解 所谓的平衡指的是 每个DataNode的利用率 与 集群的利用率 之间相差不超过给定的 ......
考虑过网费用分摊的多产消者点对点能源交易分布式优化
考虑过网费用分摊的多产消者点对点能源交易分布式优化 摘要：代码主要做的是配电网中产消者点对点交易相关研究，配网中的卖方和买方通过P2P交易匹配协商来平衡供需，同时重点考虑了P2P交易过程中公共设施的使用以及过网费用的分配问题，并等效将其叠加到P2P交易成本上，从而影响P2P交易的定价，模型采用的是交 ......
ceph集群crush进阶使用
九 ceph集群crush进阶使用 9.1 ceph集群运行图 ceph集群中由mon服务器维护的五种运行图： 1. Monitor map #监视器运行图； 2. OSD map #OSD运行图； 3 . PG map #PG运行图； 4. Crush map (Controllers repli ......
MATLAB代码：分布式最优潮流 含分布式光伏的配电网集群划分和集群电压协调控制
MATLAB代码：分布式最优潮流 关键词：网络划分；分布式光伏；集群电压控制；分布式优化；有功缩减 参考文档：《含分布式光伏的配电网集群划分和集群电压协调控制》 仿真平台：MATLAB 主要内容：本文以全局电压的低成本快速控制为目标，提出基于电气距离和区域电压调节能力的集群综合性能指标和网络划分方法 ......
mvc-mvp-mvvm架构调研及实现--分布式课程思考题--zzb
目录 I. 引言 2 研究背景和动机 2 问题陈述和研究目标 2 II. 相关工作 3 研究现状和相关技术 3 MVC模式的研究现状和相关技术： 3 MVP模式的研究现状和相关技术： 4 MVVM模式的研究现状和相关技术： 4 III. 理论基础 4 MVC、MVP、MVVM的概念和原理 5 MVC ......
hadoop系列---【hadoop集群的搭建---(一)环境配置】
#Hadoop集群的搭建 ##一、集群环境配置（准备三台服务器） ###1.设置hostname,/etc/hosts #查看当前host名称 hostname #三台分别设置网络hostname，node01，node02，node03 vi /etc/sysconfig/network NETW ......
R语言分布滞后非线性模型（DLNM）研究发病率，死亡率和空气污染示例|附代码数据
全文下载链接：http://tecdat.cn/?p=21317 最近我们被客户要求撰写关于分布滞后非线性模型（DLNM）的研究报告，包括一些图形和统计输出。 本文提供了运行分布滞后非线性模型的示例，同时描述了预测变量和结果之间的非线性和滞后效应，这种相互关系被定义为暴露-滞后-反应关联 数据集包含 ......