集群containerd minio

通过 docker-compose 快速部署 Hadoop 集群详细教程

一、概述 docker-compose 项目是docker官方的开源项目, 负责实现对docker容器集群的快速编排,来轻松高效的管理容器,定义运行多个容器。 通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的,所以一般通过docker-c ......
集群 docker-compose compose 教程 docker

PostgreSQL 13 pacemaker 高可用集群

环境介绍 操作系统版本 CentOS Linux release 7.8.2003 (Core) 数据库版本 psql (13.10) PCS集群版本 [root@hd-clw-select-proxysql01 ~]# rpm -qa|grep pacemaker pacemaker-libs-1 ......
集群 PostgreSQL pacemaker 13

mycat集群

前面我们是用一个mycat对应两个mysql集群,参考:https://www.cnblogs.com/zwh0910/p/17278041.html 但是在高并发的情况下,我们的系统也会出现性能的问题,显然是mycat,即所有的压力都压倒mycat上面,所以需要给mycat做集群。 mycat做了 ......
集群 mycat

Containerd的使用

我们知道很早之前的 Docker Engine 中就有了 containerd,只不过现在是将 containerd 从 Docker Engine 里分离出来,作为一个独立的开源项目,目标是提供一个更加开放、稳定的容器运行基础设施。分离出来的 containerd 将具有更多的功能,涵盖整个容器运 ......
Containerd

redis集群方案的优缺点以及原理

如果主库挂了,我们就需要运行一个新主库,比如说把一个从库切换为主库,把它当成主库。 这就涉及到三个问题: 主库真的挂了吗? 该选择哪个从库作为主库? 怎么把新主库的相关信息通知给从库和客户端呢? 这就要提到哨兵机制了。在 Redis 主从集群中,哨兵机制是实现主从库自动切换的关键机制,它有效地解决了 ......
优缺点 集群 原理 方案 redis

kubernetes 集群部署rabbimq3.11.11

通过官方镜像 RabbitMQ Docker Image 和 rabbitmq-peer-discovery-k8s 插件进行集群部署。 0. 环境 kubernetes 1.24 rabbitmq3.11.11 1.命名空间 将 rabbitmq 的资源都放在 rabbitmq 命名空间内。 Na ......
集群 kubernetes rabbimq3 rabbimq 11.11

CentOS7-自动化部署web集群

一、项目要求 1、创建role,通过role完成项目(可能需要多个role) 2、部署nginx调度器(node2主机) 3、部署2台lnmp服务器(node3,node4主机) 4、部署mariadb数据库(node5主机) 主要用的ansible实现自动化部署,ansible的安装教程省略,控制 ......
集群 CentOS7 CentOS web

hadoop系列---【hadoop集群的搭建---(二)Zookeeper的安装】

#(二)Zookeeper的安装 ##1.准备三台服务器 ##2.下载安装包 下载地址:http://archive.apache.org/dist/zookeeper/ 这里我们以zookeeper-3.4.9.tar.gz版本为例,下载完后,上传到三台服务器的/app目录下。 ##3.在第一台服 ......
hadoop 集群 Zookeeper

k8s部署redis集群(cluster模式)

参考:https://www.cnblogs.com/LiuChang-blog/p/15898005.html 一、redis集群部署(三主三从) 1.1yaml文件准备 (1) 配置文件说明 # 部署所在命名空间: redis-cluster [root@k8s-master1 ~]# cd / ......
集群 cluster 模式 redis k8s

k8s 中使用helm 安装zookeeper,kafka集群<三>

helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka \ --set statefulset.replicaCount=1 \ --set ......
集群 zookeeper kafka helm k8s

k8s 安装3节点es集群<一>

vim es.yamlapiVersion: policy/v1beta1 kind: PodDisruptionBudget metadata: name: elasticsearch-pdb spec: selector: matchLabels: app: elasticsearch maxU ......
节点 集群 k8s k8 8s

Rabbitmq 集群常用命令集

1、常用命令如下: 查看RabbitMQ服务状态:rabbitmqctl status 启用web插件:rabbitmq-plugins enable rabbitmq_management 添加页面用户及密码:rabbitmqctl add_user admin 123456 赋予其adminis ......
集群 Rabbitmq 命令 常用

玩转RuoYi-Cloud-Plus--5.Docker搭建MinIO

5.Docker搭建MinIO 1、安装minio docker pull minio/minio # 可以使用docker image查看minio是否启动 2、指定端口启动 # 执行命令: docker run -it -p 9000:9000 -d minio/minio server /da ......
RuoYi-Cloud-Plus Docker RuoYi Cloud MinIO

C++实现minio的文件上传下载

参考: https://www.jianshu.com/p/74f13cd08cc7 问题 需要用C++进行minIO上传和下载,结果发现minIO SDK不支持C++,可以采用aws SDK进行上传和下载,因为minIO是遵循aws S3协议的。 本人开发环境:vs2022,平台工具集vs2015 ......
上传下载 文件 minio

ceph集群crush进阶使用

九 ceph集群crush进阶使用 9.1 ceph集群运行图 ceph集群中由mon服务器维护的五种运行图: 1. Monitor map #监视器运行图; 2. OSD map #OSD运行图; 3 . PG map #PG运行图; 4. Crush map (Controllers repli ......
集群 crush ceph

MATLAB代码:分布式最优潮流 含分布式光伏的配电网集群划分和集群电压协调控制

MATLAB代码:分布式最优潮流 关键词:网络划分;分布式光伏;集群电压控制;分布式优化;有功缩减 参考文档:《含分布式光伏的配电网集群划分和集群电压协调控制》 仿真平台:MATLAB 主要内容:本文以全局电压的低成本快速控制为目标,提出基于电气距离和区域电压调节能力的集群综合性能指标和网络划分方法 ......
分布式 集群 电压 潮流 代码

hadoop系列---【hadoop集群的搭建---(一)环境配置】

#Hadoop集群的搭建 ##一、集群环境配置(准备三台服务器) ###1.设置hostname,/etc/hosts #查看当前host名称 hostname #三台分别设置网络hostname,node01,node02,node03 vi /etc/sysconfig/network NETW ......
hadoop 集群 环境

35、Statefulset之Redis集群-实践

1、需求简介 1.1、案例需求 对于statefulset的使用,最常见的就是状态集群,而redis的集群就属于一种典型的状态集群效果。这里 我们基于Statefulset功能来创建一个redis多主集群,集群的效果如下: 每个Mater 都可以拥有多个slave,在我们的环境中设置6个节点,3主3 ......
集群 Statefulset Redis

mongodb 上线集群部署方法

mongodb 上线集群部署方法 1. 架构 采用分片集群的方式进行部署,部署2个分片,支持5亿数据量。具体需要配套相关服务如下: No 服务类型 服务名 ip 配置 hostname(FQDN) 备注 1 配置服务 mgo-config-1 172.25.240.51 2核 4GB 2 配置服务 ......
集群 mongodb 方法

部署高可用radowsgw存储网关,s3cmd实现bucket的管理,Nginx+RGW 的动静分离,基于 prometheus 监控 ceph 集群运行状态

一. 掌握对象存储的特点及使用场景#RadosGW 存储特点 通过对象存储网关将数据存储为对象,每个对象除了包含数据,还包含数据自身的元数据。对象通过 Object ID 来检索,无法通过普通文件系统的挂载方式通过文件路径加文件名称操作来直接访问对象,只能通过 API 来访问,或者第三方客户端(实际 ......
网关 集群 动静 prometheus radowsgw

minio 老版本mc admin update 问题

问题 mc: Unable to update the server. We encountered an internal error, please try again. (Server update failed, please do not restart the servers yet: ......
版本 update 问题 minio admin

minio 升级一些说明

minio 最近安全问题比较高发,而且基本都是比较高的安全风险,做好minio 的持续升级比较重要 升级操作 更新集群所有节点的minio 二进制程序 (也可以通过minio admin update ) 重启minio 集群(可以使用mc admin servie restart或者基于syste ......
minio

Redis+Tomcat+Nginx集群实现Session共享,Tomcat Session共享

一、Session共享使用tomcat-cluster-redis-session-manager插件实现 插件地址见:https://github.com/ran-jit/tomcat-cluster-redis-session-manager 该插件支持Tomcat7、Tomcat8、Tomca ......
Session Tomcat 集群 Redis Nginx

base64转文件与图片上传minio

public boolean photoSave(CarIdentifyData carIdentifyData){ List<String> strings = new ArrayList<>(); strings.add(carIdentifyData.getCarPhoto()); strin ......
文件 图片 minio base 64

Linux下安装minio

MinIO 是高性能的对象存储,是为海量数据存储、人工智能、大数据分析而设计的,它完全兼容Amazon S3接口,单个对象最大可达5TB,适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。MinIO主要采用Golang语言实现,,客户端与存储服务器之间采用http/https通信协议 ......
Linux minio

docker 搭建大数据集群(hive、hbase、ZooKeeper、Scala、Spark)

1)本机系统设置 电脑设置虚拟缓存(设置为自动管理) 虚拟机设置内存和CPU 内存设置为8G(或以上) CPU稍微设置高一点(三个虚拟化能开就开) 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
集群 ZooKeeper 数据 docker Scala

minio集群docker部署

一、社区版给的方案 1、docker-compose.yaml下载地址:https://raw.githubusercontent.com/minio/minio/master/docs/orchestration/docker-compose/docker-compose.yaml 2、改成自己的 ......
集群 docker minio

Kubernetes集群(五)——Cert-manager与Let'sencrypt证书自动管理

1. Cert-manager安装 1.1. 安装自定义crd资源 kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.0/cert-manager.crds.yaml 1.2. ......

minio 上传图片后访问403

上传后图片访问失败 配置一下访问权限即可 参考文章: https://blog.csdn.net/weixin_42555971/article/details/128882824?spm=1001.2101.3001.6650.1&depth_1-utm_relevant_index=2 ......
图片 minio 403

minio server pool+domain模式实现静态website服务能力

基于server pool 的核心是提供一个灵活的扩容以及灾备能力,基于domain 约定方便进行数据路由,功能上类似aws s3 的 提供的website 托管能力 参考图 简单说明 bucket 格式 bucket 格式类似了aws s3 托管模式 .<minio_domain> domain ......
静态 website 能力 模式 domain