分布式 集群hdfs
35、Statefulset之Redis集群-实践
1、需求简介 1.1、案例需求 对于statefulset的使用，最常见的就是状态集群，而redis的集群就属于一种典型的状态集群效果。这里 我们基于Statefulset功能来创建一个redis多主集群，集群的效果如下： 每个Mater 都可以拥有多个slave，在我们的环境中设置6个节点，3主3 ......
mongodb 上线集群部署方法
mongodb 上线集群部署方法 1. 架构 采用分片集群的方式进行部署，部署2个分片，支持5亿数据量。具体需要配套相关服务如下： No 服务类型 服务名 ip 配置 hostname(FQDN) 备注 1 配置服务 mgo-config-1 172.25.240.51 2核 4GB 2 配置服务 ......
部署高可用radowsgw存储网关，s3cmd实现bucket的管理，Nginx+RGW 的动静分离，基于 prometheus 监控 ceph 集群运行状态
一. 掌握对象存储的特点及使用场景#RadosGW 存储特点 通过对象存储网关将数据存储为对象，每个对象除了包含数据，还包含数据自身的元数据。对象通过 Object ID 来检索，无法通过普通文件系统的挂载方式通过文件路径加文件名称操作来直接访问对象，只能通过 API 来访问，或者第三方客户端（实际 ......
分布式技术原理与算法解析 04 - 存储&高可靠
分布式存储 分布式数据复制技术 常用于数据备份 同步复制技术注重一致性，用户请求更新数据库时，主数据库要同步到备数据库后才结束阻塞返回给用户 异步复制技术注重可用性，用户更新数据时立即给用户响应，备数据库的更新会在之后异步执行。一般用于对用户请求响应时延要求很高的场景 半同步复制技术介于前二者之间， ......
Redis分布式Session和普通的cookie session有什么区别？
Redis 是一种高性能的缓存和 key-value 存储系统，常被用来实现分布式 Session 的方案。在这种方案中，用户的登录信息存储在 Redis 中，而不是存储在本地的 cookie 或 session 中。 当用户在集群中的不同节点之间切换时，通过读取 Redis 中的登录信息，各个节点 ......
Redis+Tomcat+Nginx集群实现Session共享，Tomcat Session共享
一、Session共享使用tomcat-cluster-redis-session-manager插件实现 插件地址见：https://github.com/ran-jit/tomcat-cluster-redis-session-manager 该插件支持Tomcat7、Tomcat8、Tomca ......
配电网优化模型matlab 考虑可转移负荷、中断负荷以及储能、分布式能源的33节点系统优化模型
配电网优化模型matlab 考虑可转移负荷、中断负荷以及储能、分布式能源的33节点系统优化模型，采用改进麻雀搜索算法，以IEEE33节点为例，以风电运维成本、网损成本等为目标，得到系统优化结果,一共有5张结果图 YID:88150675566212666 ......
含分布式电源的33节点配电网matlab模型图
含分布式电源的33节点配电网matlab模型图，支持matlab2021a版及以上版本运行，分布式电源可自行修改输出功率以及调整接入配电网节点的位置，联系可附含分布式电源的33节点配电网潮流计算程序以及节点电压图YID:1860675346223268 ......
配电网分布式电源和储能选址定容 以配电网总成本最低为目标函数
配电网分布式电源和储能选址定容 以配电网总成本最低为目标函数，其中包括年运行成本，设备维护折损成本、环境成本；以系统潮流运行为约束条件，采用粒子群算法求解，实现光伏、风电、储能设备的规划。YID:4980674139963843 ......
考虑分布式光伏储能系统的优化配置方法 完全复现截图文献模型
考虑分布式光伏储能系统的优化配置方法 完全复现截图文献模型 采用双层模型求解 上层决策储能系统配置容量用遗传 粒子群算法求解 下层决策最优运行策略采用cplex求解器求解 算例为ieee 33节点配电系统 代码运行时间为90分钟左右 此代码可改写性强YID:75200673574865575 ......
Matlab风电光伏储能分布式能源微电网运行，并网运行，虚拟同步机控制策略
Matlab风电光伏储能分布式能源微电网运行，并网运行，虚拟同步机控制策略，VSG 风电，储能，光伏封不是电源带直流负载独立运行 断开直流负载后，将模型转换为风光储+VSG+交流负载 引入VSG预同步并网算法 频率、幅值和相位差满足并网条件时刻，并网运行 程序标注清晰，适合新手交流学习。YID:35 ......
MATLAB代码《基于多智能体系统一致性算法的电力系统分布式经济调度》
MATLAB代码《基于多智能体系统一致性算法的电力系统分布式经济调度》 软件环境:MATLAB 内容:集中式优化方法难以应对未来电网柔性负荷广泛渗透以及电力元件“即插即用”的技术要求。 区别于集中式经济调度，提出一种电力系统分布式经济调度策略。 应用多智能体系统中的一致性算法，以发电机组的增量成本和 ......
正态分布检验流程
正态分布说明 正态分布在统计学中是一个很重要的概率分布类型，哪怕是在实际生活中也有着重要的指导与应用作用，比如：某学校学生的成绩分布，男子身高、工厂生产产品的尺寸等等。同时，正态分布也是许多检验的基础，在实际使用统计分析时，人们总是乐于正态检验。比如F检验以及t检验等在总体不是正态分布时一般没有意义 ......
docker 搭建大数据集群（hive、hbase、ZooKeeper、Scala、Spark）
1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
minio集群docker部署
一、社区版给的方案 1、docker-compose.yaml下载地址：https://raw.githubusercontent.com/minio/minio/master/docs/orchestration/docker-compose/docker-compose.yaml 2、改成自己的 ......
Git - 分布式版本控制系统
一、基础概念 1. 流程 2. 概念 标签Tags：对某一提交记录的固定指针引用 分支Branch：对某一提交记录的可变位置指针引用 HEAD：始终指向当前活动分支（最新提交）的指针引用 3. 指令 checkout & stash & cherry-pick： 切换分支，若未提交修改的内容不冲突， ......
Kubernetes集群（五）——Cert-manager与Let'sencrypt证书自动管理
1. Cert-manager安装 1.1. 安装自定义crd资源 kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.0/cert-manager.crds.yaml 1.2. ......
K8S学习笔记之卸载K8S集群
阅读目录 0x00 概述 0x01 操作 0x00 概述 有时候需要卸载已安装在本机的K8S服务和服务，本文卸载的K8S面向使用kubeadm或者二进制方法安装的，不涉及使用rpm包安装的集群； 主要使用kubeadm reset和删除指定文件的方法，卸载K8S集群。 0x01 操作 首先清理运行到 ......
分布式与微服务面试题
分布式与微服务面试题 说说你对分布式事务的理解？ 本地事务需要满足四大特性： 原子性 一组操作，要么全部成功，要么全部失败，不能有部分成功部分失败的情况。 一致性 数据从一种稳定状态切换到另外一种稳定状态，数据是符合业务逻辑的。 隔离性 事务与事务之间是彼此隔离的，互不影响的。 持久性 数据完成操作 ......
WebSocket集群解决方案，不用MQ
首先不了解WebSocket的可以先看看这篇文章，以及传统的WebSocket方案是怎么做的，https://www.cnblogs.com/jeremylai7/p/16875115.html 这是用MQ解决的版本，那么这种方案存在什么问题呢。 第一：增加MQ，可能造成消息挤压、消息顺序的问题 ......
MATLAB代码：基于分布式优化的多产消者非合作博弈能量共享
MATLAB代码：基于分布式优化的多产消者非合作博弈能量共享 关键词：分布式优化 产消者 非合作博弈 能量共享 仿真平台: matlab 主要内容：为了使光伏用户群内各经济主体能实现有序的电能交易，提出了一种基于光伏电能供需比（SDR）的内部价格模型。 在考虑经济性和舒适度的基础上，提出了用户参与需 ......
Kubernetes集群（四）——Ingress应用路由安装
1. 获取部署文件 https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.6.4/deploy/static/provider/cloud/deploy.yaml 2. 编辑部署文件 使用编辑工具打开配置文件 ......
Rancher系列文章-Rancher v2.6使用脚本实现导入集群
概述 最近在玩 Rancher, 先从最基本的功能玩起, 目前有几个已经搭建好的 K8S 集群, 需要批量导入, 发现官网已经有批量导入的文档了. 根据 Rancher v2.6 进行验证微调后总结经验. 1. Rancher UI 获取创建集群参数 访问Rancher_URL/v3/cluster ......
HBase2.1分布式部署
一、环境 Hadoop版本:hadoop-2.7.5 部署参考：https://www.cnblogs.com/panwenbin-logs/p/8666589.html zookeeper版本:zookeeper-3.4.12 部署参考：https://www.cnblogs.com/panwen ......
OpenYurt v1.2 新版本深度解读（三）：五步搭建一个OpenYurt集群
OpenYurt 作为业界首个无侵入云原生边缘计算平台近期迎来了 v1.2.0 版本的发布，在 Kubernetes 无侵入、云边端全协同、跨网络域通信等特性上持续发力，深入打造 OpenYurt + Kubernetes 实现海量边缘计算业务的持续交付与高效运维管理能力。 ......
minio serverpool 进行集群扩容测试试用
minio 以前是推荐联邦解决集群的问题，但是现在已经废弃了，推荐通过server pool 模式进行集群的扩容处理，而且提供了比较全的命令还是比较方便的 以下是一个简单的测试：包含了两个server pool，将1的数据迁移到2中 环境准备 docker-compose 如下包含了两个server ......
HDFS Short-Circuit Local Reads
1、背景 在HDFS中，读取操作通常是通过DataNode。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过TCP套接字将数据发送给客户端。如果我们的客户端和数据在同一台机器上的时候， 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过Short-Circui ......
pytest--xdist分布式运行
前言 当测试用例数量上去以后，执行一遍所有测试用例，那么执行速度就会比较慢，除了多线程来提高效率外，pytest也提供pytest-xdist插件来做分布式执行，从而减少测试时间，它属于进程级别的并发 pytest-xidst安装 可以直接通过pip进行安装 pip install pytest-x ......
Haproxy集群
一、Haproxy简介 Haproxy 是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。 1.1Haproxy应用分析 LVS在企业应用中抗负载能力很强，但存在不足 LVS不支持正则处理，不能实现动静分离 对于大型网站，LVS的实施配置复 ......
基于docker-compose部署 简单nsq 集群
基于docker-compose部署 简单nsq 集群 主要目的是搭建一个测试环境，同时使用了nodejs 客户端sdk nsq 简单了解 nsqd：一个负责接收、排队、转发消息到客户端的守护进程nsqlookupd：管理拓扑信息并提供最终一致性的发现服务的守护进程nsqadmin：一套Web用户界 ......