集群docker-compose zookeeper compose
Redis 集群
sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redi ......
kubeadm部署k8s集群
一、系统环境准备 1、系统环境说明 系统环境说明 系统 角色 IP 组件 K8s版本 centos7.9 kubeadm-master1 192.168.100.41 docker,kubeadm,kubelet,kubectl v1.20.0 centos7.9 kubeadm-master1 1 ......
hadoop集群 大数据项目实战_电信用户行为分析_day04
进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
部署redis-cluster集群
参考： https://www.cnblogs.com/paul8339/p/11987345.html https://mikechen.cc/31360.html https://zhuanlan.zhihu.com/p/637366705 本文使用一台虚拟机部署6个不同端口的redis实例 1 ......
Oracle集群升级迁移—主机网络设置及交换机侧bond vlan划分
目录Oracle集群升级迁移—主机网络设置及交换机bond vlan划分网络规划操作系统层面的IP设置bond类型介绍设置bond1和bond0交换机侧的设置（省略） Oracle集群升级迁移—主机网络设置及交换机bond vlan划分 网络规划 按照工程师要求，配置了5个IP供集群使用。1个IP为 ......
CDH集群日志清理
CDH集群日志清理 一、查看磁盘占用情况 df -h 二、查看日志占用情况 cdh的各种组件日志一般在 /var/log 目录下，因此需要关注“/”根目录， 查看 /var/log 下使用空间较大的文件夹，并又大到小排列 cd /var/log/ du -s ./* |sort -nr 还有一个是 ......
Oracle集群升级迁移——存储及主机连接配置
目录Oracle集群升级迁移——存储及主机连接配置存储映射新LUN给Oracle新集群旧存储删除multipath.conf删除相应磁盘将主机和主机组里剔除磁盘，在从LUN、LUN组删除新建磁盘映射给Oracle数据库（映射前需要划Zone）映射完毕，刷新主机配置并修改multipath.conf文 ......
VM部署HDFS集群
上传hadoop-3.3.4.tar.gz到/export/server 解压 tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/ # 快捷方式 ln -s /export/server/hadoop-3.3.4 hadoop Hadoop安装包目录结构 ......
docker compose部署gitlab
这里部署的是目前最新的16.4.1版本 docker版本 Client: Docker Engine - Community Version: 24.0.6 API version: 1.43 Go version: go1.20.7 Git commit: ed223bc Built: Mon S ......
Oracle集群升级迁移—老集群磁盘切割
目录Oracle升级迁移剔除磁盘腾出存储LUNGRID用户登录，查询ASM磁盘剔除磁盘 Oracle升级迁移 目前有两套Oracle采用ADG + RAC架构，其中备库使用的为SUSE12.4目前已EOS，文件系统BFTFS与Oracle兼容性据说也有一定的问题，决定对现有的集群进行升级，升级后服务 ......
docker-compose搭建多主机分布式minio
minio介绍 Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。 官网地址：MinIO | High Performance, Kubernetes Native Object Storage 何为对象存储？我们来看下阿里云 OSS （Object Stor ......
kubeadm安装k8s集群
kubeadm安装k8s集群 一、机器准备(所有的master和node节点需要执行) 部署k8s集群的节点按照用途可以划分为如下2类角色： master：集群的master节点，集群的初始化节点，基础配置不低于2c 4g slave：集群的slave节点，可以多台，基础配置不低于1c 2g 主机名 ......
hadoop集群 大数据项目实战_电信用户行为分析_day03
配置系统环境 Reis 1.先把之前的dump.rdb删除掉 rm -rf dump.rdb 2.把原始项目给的dump.rdb 放进来，它里面包含了需要的数据，比如端口；在这部之前必须要进行关闭端口，随后传送文件，最后重启端口 相关指令: bin/redis-server conf/redis.c ......
Centos7系统二进制安装Kubernetes（v1.18）集群
一、环境准备 1、集群环境 集群环境 角色 IP 组件 k8s-master01 192.168.100.31 kube-apiserver、 kube-controllermanager、 kube-scheduler、 etcd k8s-master02 192.168.100.32 kube- ......
zookeeper介绍
官网：https://zookeeper.apache.org/doc/r3.9.1/index.html ZooKeeper是一个高性能的分布式协调服务。它提供了一些常见服务：命名、配置管理、同步、组服务等 1 设计目标 1.1 简单 分布式系统各进程之间可通过共享的类似于文件系统树形结构的形式实 ......
Nacos集群搭建
Nacos安装指南（windows版本）：https://www.cnblogs.com/gfl-1112/p/17771364.htmlNacos安装指南（Linux版本）：https://www.cnblogs.com/gfl-1112/p/17771373.htmlNacos的依赖：https ......
如何查看Kubernetes集群中哪个Pod占用CPU最高？
下载Metrics Server的部署文件： wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml 编辑下载的components.yaml文件，以便Metric ......
ZooKeeper集群版本升级
ZooKeeper集群版本升级 环境描述： 3节点的集群，当前版本为3.8.1，计划将所有节点版本升级到3.8.3。 由于过半机制，即存活的节点数量>（非>=）所有节点数量的一半，则整个集群可以正常对外提供服务。 举个例子，3个节点，最少存活2>(3/2=1.5)个节点，即允许有一个节点宕机下依旧能 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
[Compose] Async programming: Thunks
Thunks Sync thunk: A blocker of code which has everything ready and can return the value directly. function add(x, y) { return x + y } const thunk = f ......
Ubuntu 中Docker Compose的奇淫异巧
Docker Compose 是一个运行多容器 Docker 应用的工具。Compose 通过一个配置文件来配置一个应用的服务，然后通过一个命令创建并启动所有在配置文件中指定的服务。更多技术干货详见www.linuxprobe.com ......
kubeadm 加入work 节点集群时报 http://localhost:10248/healthz处理方法
现象: [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tc ......
Base虚拟机克隆集群节点,并固定IP与免密互通
克隆Base虚拟机 先把Base关机,然后右键 - 管理 - 克隆 选择完整克隆 克隆名字这里叫node1 重复步骤,克隆node2/node3 为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP # 修改主机名 hostnamectl set-hostname nod ......
Etcd集群换机导致etcd集群不可用
背景： 因为工作中有nj地域需要下线，需要我所有地域的机器包括vip全部换成其他临近地域 问题： 集群中的etcd正常替换，当时保持的是平移，由于历史原因，之前的同学上线都是手动变更，没有发起上线，导致使用的之前的版本，导致etcd只能读，不能写入，而且etcd监控查询是不健康的状态 排查： 检查了 ......
[FAQ] 修改了Dockerfile 之后，运行 docker-compose up --force-recreate 时还是报之前构建时的错误？
因为 Docker Compose 的 --force-recreate 选项只会强制重新创建容器，而不会重新构建镜像。 因此，如果你修改了Dockerfile，需要确保重新构建新的镜像。 你可以尝试以下步骤来解决这个问题： 1. 使用 docker-compose down 命令停止并移除之前的容 ......
[Compose] Callback is not suitable for Async programming
An example of callback implemnetation for handling async flow: function fakeAjax(url, cb) { var fake_responses = { file1: "The first text", file2: "Th ......
搭建redis分片集群
搭建redis分片集群第一章：测试环境搭建1.1、版本信息：操作系统：CentOS-7-x86_64-Minimal-2009.isoredis：6.0.81.2、地址规划与结构图ip地址端口描述192.168.118.20020300master1192.168.118.20020301slave ......
mongo集群和es集群添加密码
1、查看/etc/mongod27017.conf 配置, 添加 security: keyFile: /etc/mongo.keyfile authorization: enabled 2、 security.authorization不配置 and keyfile配置 security.auth ......
redis集群的简单应用
1、创建集群 # 创建redis示例docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled ......
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对
kubernetes集群中pod访问外网丢包严重问题排查：mtu值设置不对 问题描述和初步判断 k8s中部署的数据中台调用指云（open.imzhiyun.com）的sdk接口，调用了23次，成功了3次,其余20次都失败。我这边通过在宿主机上进行tcpdump抓包 抓包命令： 1. 查出调用sdk的 ......