集群containerd minio
使用minio进行文件存储
一. Docker拉取镜像（确保自己的服务器已经安装Docker） docker pull minio/minio 二. 启动一个miniio容器 docker run --name minio -p 9090:9000 -p 9999:9999 -d \ --restart=always -e \ ......
etcd集群创建+ssl证书
创建步骤： 1. 下载PKI证书管理工具 wget -O cfssl https://github.com/cloudflare/cfssl/releases/download/v1.6.3/cfssl_1.6.3_linux_amd64 && chmod +x cfssl && mv cfssl ......
记坑-Redis集群模式使用Lua脚本的限制
有一种无奈叫测试环境好好的，一到线上就热烈的马，各种问题原形毕露 ##问题复现： ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array ......
关于ServiceAccount以及在集群内访问K8S API
# 写在开篇 在之前的两篇文章中提到，有4种方式使用 ConfigMap 配置 Pod 中的容器，关于之前的两篇可参考： * [《一文了解K8S的ConfigMap》](https://mp.weixin.qq.com/s?__biz=MzUzMTkyODc4NQ==\&mid=2247486514 ......
docker部署ceph集群
## 1. 创建Ceph专用网络 ``` sudo docker network create --driver bridge --subnet 172.20.0.0/16 ceph-network ``` ## 2. 拉取搭建用镜像 ``` sudo docker pull ceph/daemon ......
redis学习4集群--黑马
# 主从复制 将master中的数据有效的复制到slave中 master + 写数据 + 执行写操作时，将出现变化的数据自动同步到slave + 读数据（可忽略） slave + 读数据 + 写数据（禁止） ## 主从连接(slave连接master) + 方式一：客户端发送命令 slaveof ......
Django自定义storage上传文件到Minio
首先新建一个MyStorage.py，自定义Storage类 from io import BytesIO from django.core.files.storage import Storage from django.conf import settings from utils.minioC ......
集群、服务、微服务、分布式
先说集群： 可以理解为一批部署了相同服务的机器，这些机器的集合就是集群。 为啥要使用集群部署，因为当一款应用或软件使用人数越来越多，流量越来越大的时候，单台机器的资源已经无法满足使用需求，这时候就要加机器，现在硬件很便宜，集群的数量可以很庞大，他们之前相互配合工作，就能处理大量的用户请求，当然这中间 ......
k8s-1.26.0 + Containerd安装过程
# 1.前言 Kubernetes 社区早在2020年7月就开始着手移除 dockershim，这将意味着 Kubernetes 不再将 docker 作为默认的底层容器工具，Docker 和其他容器运行时将一视同仁，不会单独对待内置支持，如果我们还想直接使用 Docker 这种容器运行时应该怎么办 ......
Linux下Elasticsearch集群搭建
在每台服务器上安装ES，此处略过，如需要请查看过往文章。 集群的搭建主要是修改每个节点的配置文件（elastic search.yml） # 集群名称 cluster.name: veolia-es-cluster # 节点名称 node.name: es02 # 是否作为主节点（每个节点都配置tr ......
docker安装minio
docker run -d -p 9000:9000 -p 9090:9090 --name myminio -e "MINIO_ROOT_USER=minioadmin" -e "MINIO_ROOT_PASSWORD=minioadmin" -v /g/miniO/data:/data mini ......
mongo 搭建shard集群
本文基于MongoDB 4.0介绍如何搭建shard集群服务，环境如下表所示： 1、创建相关目录 在三个节点分别创建以下目录： [root@hdp06 ~]# mkdir -p /data/mongo/{config,router,shard} [root@hdp06 ~]# mkdir -p /d ......
Redis集群搭建（三组三从）
# Redis集群搭建  ## 1 角色规划 | 角色 | ip | 端口 | | | | | | Master1 ......
hadoop集群搭建后，启动集群后网络畅通，却无法访问web页面的解决办法
# hadoop集群搭建后，启动集群后网络畅通，却无法访问web页面的解决办法 > 问题引入：在学习hadoop搭建完全分布式集群时，已经集群配置了4个核心文件，并且启动所有相关进程，在使用jps命令检查进程，该集群启动完整正常，但是无法访问hdfsweb页面和yarnweb页面，我尝试了ping通 ......
docker部署分布式minio集群文件服务器
1. 环境准备 准备4台服务器，3台服务器做minio集群，一台服务器做minio的nginx 入口服务器 IP 服务 操作系统 192.168.0.165 Minio-Nginx CentOS 7.9 192.168.0.109 Minio-1 CentOS 7.9 192.168.0.114 M ......
rocky Elasticsearch 8.7.1集群 x-spack 安全验证 及 集群内部TLS加密传输 （ca）
目录 简介 环境准备 安装 配置 hostname 解析 安装 systemd 脚本 ca证书 配置 给所有 ES 配置相同的用户密码 启动查看 简介 常规部署 Elasticsearch 集群时，不管是集群之间的数据传输，或者是 Client 访问Elasticsearch 集群时 均不需要相关验 ......
搭建zookeeper集群
注意：zookeeper依赖java环境1.部署的服务器ip地址 172.16.0.151 172.16.0.173 172.16.0.220 2.zookeeper版本 wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7. ......
Redis安装,主从复制、哨兵模式、集群
浅浅的记录下Redis安装、主从、哨兵、集群。搭建笔记 一.Redis下载安装 系统环境 redis版本：7.0.11 linux版本：CentOS Linux release 8.2.2004 (Core) 官网下载地址：https://redis.io/download/ 一些安装命令，按照步骤 ......
当k8s拉镜像出现问题时 需要修改 /etc/containerd/config.toml 配置
找到plugins."io.containerd.grpc.v1.cri".registry 添加此两处配置 [plugins."io.containerd.grpc.v1.cri".registry.configs] [plugins."io.containerd.grpc.v1.cri".reg ......
Minio预览图片报错：The Access Key Id you provided does not exist in our records.
一、错误信息 <Error> <Code>InvalidAccessKeyId</Code> <Message>The Access Key Id you provided does not exist in our records.</Message> <Key>34e20ef0681345c1b ......
HIVE跨集群迁移
查看mysql使用端口 ps -ef | grep mysql ss -antp | grep [ps查出来的pid] 停止HIVE写入服务 创建备份路径 mkdir -p /root/hivebackup/ 执行备份数据库命令：(在目标集群执行) mysqldump -uroot -pPasswo ......
关于Kubernetes-k8s集群在任意nodes节点上执行kubectl和kubadm命令的方法
在Kubernetes-k8s集群中，一般只有在master 才能执行 kubectl和kubadm 相关的命令 如果到worker nodes 节点上执行，则会有如下报错： [root@k8s-node1 qq-5201351]# kubectl get nodes,po -A The conne ......
minio 客户端使用
直接用Aws python (S3 SDK) import boto3 def backup_s3(filepath, s3_bucket, s3key, s3_access_key=None, s3_secret_key=None,endpoint_url=None): s3 = None if ......
Centos7使用s3fs-fuse挂载minio对象存储实践
Centos7使用s3fs-fuse挂载minio对象存储实践 事前准备 主机可以访问到对象存储API、例如minio默认的9000端口 主机安装好s3fs软件 已在minio上创建存储桶 安装s3fs（本文使用centos发行版） 其他发行版本教程请参考Github官网 Github: https ......
KingbaseES V8R3 集群运维系列 -- failover切换后集群自动恢复
案例说明： KingbaseES V8R3集群默认在触发failover切换后，为保证数据安全，原主库需要通过人工介入后，恢复为新的备库加入到集群。在无人值守的现场环境，需要在触发failover切换后，主库可以自动恢复为新备考加入集群，提升架构的高可用性。 适用版本： KingbaseES V ......
KingbaseES V8R6 集群运维案例--麒麟系统bug导致sys_monitor.sh无法启动集群
案例说明： 麒麟信安操作系统，在部署了KingbaseES V8R6集群后，sys_monitor.sh在启动集群时，启动数据库服务失败，导致集群无法正常启动。后连接现场分析发现，此环境只要通过ssh或sys_securecmd工具远程启动数据库服务都会失败。操作系统版本如下： 适用版本： King ......
KingbaseES V8R3 集群运维系列 -- sync_flag参数配置
案例说明： 在KingbaseES V8R3集群一主二备的架构中，配置了流复制为同步（sync）模式，但是集群启动后，流复制状态中显示备库是async模式（备库和主库数据已经同步），从备库的recovery.log日志也可以看到，备库启动后被复制模式设置为async模式。如下图备库recover ......
KingbaseES V8R6 集群运维案例--备库timeline not contain minimum recovery point故障
案例现象： KingbaseES V8R6集群备库启动后，加入集群失败，sys_log日志信息提示，如下图所示： 适用版本： kingbaseES V8R6 一、问题分析 在timeline对应的history文件中会记录每次timeline切换时所对应的lsn，如下图所示，在sys_wal目录 ......
KingbaseES V8R3集群运维案例之---message length (8) in slot 1 does not match with slot 0(12)故障
案例说明： 在KingbaseES V8R3集群在连接kingbasecluster服务（9999端口）时，出现“message length (8) in slot 1 does not match with slot 0(12)”故障，通过复现，获取故障发生的原因。故障信息如下图所示： 适用版本 ......
PostgreSQL-HA 高可用集群在 Rainbond 上的部署方案
PostgreSQL 是一种流行的开源关系型数据库管理系统。它提供了标准的SQL语言接口用于操作数据库。 repmgr 是一个用于 PostgreSQL 数据库复制管理的开源工具。它提供了自动化的复制管理，包括： 故障检测和自动故障切换：repmgr 可以检测到主服务器故障并自动切换到备用服务器。 ......