分布式 集群hdfs
Uber SRE 实践：运维大型分布式系统的一些心得
本文是 Uber 的工程师 Gergely Orosz 的文章，原文地址在：https://blog.pragmaticengineer.com/operating-a-high-scale-distributed-system/ 在过去的几年里，我一直在构建和运营一个大型分布式系统：优步的支付系统 ......
kubernets 集群证书过期解决方式
查看证书过期时间 kubeadm certs check-expiration 解决方案 手动更新证书 # 更新证书 kubeadm certs renew all # 重启相关服务 docker restart $(docker ps | grep -E 'kube-apiserver|kube- ......
实时分布式低延迟OLAP数据库Apache Pinot探索实操
一个适合工业物联网实时采集传感器数据实时分析工业设备的数据实现更好的预测性感知的分布式NoSQL数据库Apache Pinot，先了解其特性和使用场景，然后通过Local和Docker两种方式部署Apache Pinot和验证环境，最后通过实操其批和流式导入数据和利用其控制台端点查询数据。 ......
nginx集群和nginx主备不是同一个概念
Nginx 集群搭建 https://huaweicloud.csdn.net/63560e7dd3efff3090b591dc.html?spm=1001.2101.3001.6650.14&utm_medium=distribute.pc_relevant.none-task-blog-2~de ......
Hadoop - HDFS常用命令
“hadoop fs（hdfs dfs）文件操作” # 查看目录 hdfs dfs -ls / # 查看目录下所有文件 hdfs dfs -ls -R / # 创建目录 hdfs dfs -mkdir -p /source/data # 查看文件或目录大小 hdfs dfs -du -h /sour ......
kafka集群部署教程
#### 部署zookeeper集群 1、先部署zookeeper集群一般是3个节点,安装zookeeper 依赖java 环境先安装 jdk yum install java-1.8.0-openjdk-devel -y java -version #查看jdk版本 2、创建工作目录（3个节点都需 ......
axiom——一款基于云的分布式网络安全扫描工具
分布式信息收集扫描工具，一键创建云上多实例分布式扫描。 github:https://github.com/pry0cc/axiom/ 安装 官网上提供了四种方式，分别是Docker、Easy Install、Using Git Clone、Manual 我喜欢使用Git CLone的方式（可以在本 ......
Prometheus监控zookeeper集群（1）
###因为zookeeper版本较低为3.4.x版本，所有采用zookeeper_exporter方式采集数据 ####1.下载（zookeeper_exporter采集器） https://github.com/carlpett/zookeeper_exporter/releases/downlo ......
$\Beta$分布推导与可视化
$\Gamma$函数 $\Gamma$函数（Gamma函数）是阶乘函数在实数和复数域的扩展。对于正整数$n$，阶乘函数表示为$n! = 1 \times 2 \times ... \times n$。然而，这个定义仅适用于正整数。Gamma函数的目的是将阶乘扩展到实数和复数域，从而计算实数和复数的“ ......
zookeeper集群安装
解压zookeeper [root@master pack]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/src/ 配置环境变量 #ZOOKEEPER_HOME export ZOOKEEPER_HOME=/usr/local/src/zooke ......
hadoop伪分布式集群的安装（不是单机版）
准备工作 三台虚拟机，关闭防火墙，关闭selinux 查看防火状态 systemctl status firewalld 暂时关闭防火墙 systemctl stop firewalld 永久关闭防火墙 systemctl disable firewalld 查看 selinux状态 getenfo ......
CDH HDFS Non DFS Used 存储空间异常
问题：一个CDH集群Non DFS Used空间很大，排查了节点上磁盘实际使用，以及dfs.datanode.du.reserved参数，都没有异常情况； CDH版本：5.13 hadoop版本：2.6 1、这个问题是hadoop2.6版本的一个bug HDFS-8072 [HDFS-8072]如果 ......
MATLAB代码：基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究
MATLAB代码：基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究 关键词：分布式调度 ADMM算法 交替方向乘子法 碳排放 最优潮流 参考文档：《A Distributed Dual Consensus ADMM Based on Partition for DC-DOPF with ......
matlab代码：计及条件风险价值的电-气综合能源系统能量-备用分布鲁棒优化
matlab代码：计及条件风险价值的电-气综合能源系统能量-备用分布鲁棒优化 关键词：wasserstein距离 CVAR条件风险价值 分布鲁棒优化 电-气综合能源 能量-备用调度 参考文档《Energy and Reserve Dispatch with Distributionally Robu ......
使用Mesos管理Docker集群（Mesos + Marathon + Chronos + Docker
1. Mesos简介1.1 MesosApache Mesos 是一个分布式系统的管理软件，对集群的资源进行分配和管理。 Mesos主要由以下几部分组成： Master： 管理各Slave节点 Slave： 为集群提供资源 Framework： scheduler从Master请求资源，execut ......
docker 配置 Mysql主从集群
docker 配置Mysql集群 Docker version 20.10.17, build 100c701 MySQL Image version: 8.0.32 Docker container mysql-master is source. mysql-replica is replicat ......
通俗易懂的分布式爬虫部署
之前一直都是在学习一些爬虫的相关知识，为了能都更熟练技巧，让自己敲代码更得心应手，并将自己的部署爬虫的一些心得写出来，希望对大家有帮助。 服务器端 1、下载redis ，Redis Desktop Managerredis。 2、修改配置文件（找到redis下的redis.windows.conf ......
分布式电源选址定容 在改进的IEEE33节点系统中分布式电源选择最佳接入点和接入容量
分布式电源选址定容 软件：Matlab 介绍：在改进的IEEE33节点系统中分布式电源选择最佳接入点和接入容量，以网损和电压越限惩罚为目标进行粒子群优化，能得出最佳接入点和接入容量，接入前后电压变化，基础程序无参考文献ID:7650644906843770 ......
基于粒子群的含分布式电源的主动配电网电压—有功-无功优化
关键词：无功优化 粒子群算法 主动配电网 IEEE33节点 基于粒子群的含分布式电源的主动配电网电压—有功-无功优化 软件：MATLAB 介绍：考虑24小时主动配电网有功、无功、电压越限展开研究，通过考虑接入风电光伏、无功补偿装置（SVC）并且进行调节的配电网，以网损、电压偏移、上级电网输入有功无功 ......
基于遗传算法的配电网优化配置 分布式电源、无功补偿装置接入配电网，考虑配电网经济性、环境成本和电能质量为目标函数
基于遗传算法的配电网优化配置 软件：Matlab 介绍：分布式电源、无功补偿装置接入配电网，考虑配电网经济性、环境成本和电能质量为目标函数，使用遗传算法进行优化配置，在IEEE33节点系统进行了仿真验证ID:7350645298303972 ......
搭建Etcd集群
docker pull quay.io/coreos/etcd:v3.3.1 docker run -d --name etcd1 quay.io/coreos/etcd:v3.3.1 etcd -name etcd1 -advertise-client-urls http://172.17.0.2 ......
MATLAB代码：基于分布式优化的多产消者非合作博弈能量共享
MATLAB代码：基于分布式优化的多产消者非合作博弈能量共享 关键词：分布式优化 产消者 非合作博弈 能量共享 仿真平台: matlab 主要内容：为了使光伏用户群内各经济主体能实现有序的电能交易，提出了一种基于光伏电能供需比（SDR）的内部价格模型。 在考虑经济性和舒适度的基础上，提出了用户参与需 ......
MATLAB代码：基于多目标遗传算法的分布式电源选址定容研究
MATLAB代码：基于多目标遗传算法的分布式电源选址定容研究 关键词：分布式电源 选址定容 多目标遗传算法 参考文档：《店主自写文档》基本复现； 仿真平台：MATLAB 主要内容：代码主要做的是基于多目标遗传算法的分布式电源选址定容模型，首先构建了含义分布式电源的配电网基本结构，对分布式电源接入前后 ......
考虑电动汽车可调度潜力的充电站调度策略 基于闵可夫斯基加法提出了充电站内电动汽车集群模型的压缩方法
考虑电动汽车可调度潜力的充电站调度策略 基于闵可夫斯基加法提出了充电站内电动汽车集群模型的压缩方法，并建立了日前可调度潜力预测模型和实时可调度潜力评估模型。 同时考虑了充电站间的非合作博弈，建立了电力零售市场下充电站的策略投标模型，并基于驻点法将其转化为一个广义Nash 均衡问题。 然后，提出了基于 ......
充电站位置规划22 建立了混合整数编程（MIP）模型 在模型优化部分中，我们通过人口分布划分城市和村庄
充电站位置规划22 1.建立了混合整数编程（MIP）模型。 对于农村来说，交通网络并不像他们的城市同行那样强大。 充电站可以辐射到应考虑的周围区域，因此纸张使用加权Vorinor图模型（WVDM）来分析该方面。 对于城市的充电站，考虑了交通流量的效果。 同时，引入排队理论以计算驱动程序的平均等待时间 ......
配电网优化模型matlab 考虑可转移负荷、中断负荷以及储能、分布式能源的33节点系统优化模型
配电网优化模型matlab 考虑可转移负荷、中断负荷以及储能、分布式能源的33节点系统优化模型，采用改进麻雀搜索算法，以IEEE33节点为例，以风电运维成本、网损成本等为目标，得到系统优化结果,一共有5张结果图 YID:88150675566212666 ......
06-分布式数据库
一、引入ShardingSphere （一）分库分表理论和解决方案 1、对于 IM 聊天记录的存储的选型： 关系型数据库仍然是业务数据基石，因为关系型数据存有稳定性、可靠性和事务性的优势 但是如果用关系型数据库，就会存在单表容量问题：如MySQL单表千万级 为了解决单表瓶颈问题，就需 ......
分布式能源接入分析matlab 通过分布式能源的选址定容确定得到帕累托最优解集
分布式能源接入分析matlab 通过分布式能源的选址定容确定得到帕累托最优解集，然后选择最优值进行分析，模型为双层模型，程序采用改进粒子群算法ID:33180639056410504 ......
基于ADMM算法的主从配电网分布式有功无功调度
基于ADMM算法的主从配电网分布式有功无功调度 摘要：代码主要做的是一个配电网分布式调度的问题，模型参考的是主动配电网的无功优化控制模型，在具体的配电网分区上与之有些许不同，具体看代码的注释，在完成配电网基本优化模型的构建后，参考文档2，构建了基于串行ADMM和并行ADMM算法的分布式求解方法，更加 ......
考虑过网费用分摊的多产消者点对点能源交易分布式优化
考虑过网费用分摊的多产消者点对点能源交易分布式优化 摘要：代码主要做的是配电网中产消者点对点交易相关研究，配网中的卖方和买方通过P2P交易匹配协商来平衡供需，同时重点考虑了P2P交易过程中公共设施的使用以及过网费用的分配问题，并等效将其叠加到P2P交易成本上，从而影响P2P交易的定价，模型采用的是交 ......