集群containerd minio

【对象存储】Minio本地运行和 golang客户端基本操作

运行环境 OS和Golang版本: go version go1.21.0 darwin/arm64 安装 源码安装 下载最新版本的源码,地址https://github.com/minio/minio后编译 cd minio go build main.go # 得到 116M Oct 19 15 ......
基本操作 客户端 对象 客户 golang

VM部署HDFS集群

上传hadoop-3.3.4.tar.gz到/export/server 解压 tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/ # 快捷方式 ln -s /export/server/hadoop-3.3.4 hadoop Hadoop安装包目录结构 ......
集群 HDFS

Oracle集群升级迁移—老集群磁盘切割

目录Oracle升级迁移剔除磁盘腾出存储LUNGRID用户登录,查询ASM磁盘剔除磁盘 Oracle升级迁移 目前有两套Oracle采用ADG + RAC架构,其中备库使用的为SUSE12.4目前已EOS,文件系统BFTFS与Oracle兼容性据说也有一定的问题,决定对现有的集群进行升级,升级后服务 ......
集群 磁盘 Oracle

docker-compose搭建多主机分布式minio

minio介绍 Minio 是个基于 Golang 编写的开源对象存储套件,虽然轻量,却拥有着不错的性能。 官网地址:MinIO | High Performance, Kubernetes Native Object Storage 何为对象存储?我们来看下阿里云 OSS (Object Stor ......

kubeadm安装k8s集群

kubeadm安装k8s集群 一、机器准备(所有的master和node节点需要执行) 部署k8s集群的节点按照用途可以划分为如下2类角色: master:集群的master节点,集群的初始化节点,基础配置不低于2c 4g slave:集群的slave节点,可以多台,基础配置不低于1c 2g 主机名 ......
集群 kubeadm k8s k8 8s

hadoop集群 大数据项目实战_电信用户行为分析_day03

配置系统环境 Reis 1.先把之前的dump.rdb删除掉 rm -rf dump.rdb 2.把原始项目给的dump.rdb 放进来,它里面包含了需要的数据,比如端口;在这部之前必须要进行关闭端口,随后传送文件,最后重启端口 相关指令: bin/redis-server conf/redis.c ......
行为分析 大数 集群 实战 行为

Centos7系统二进制安装Kubernetes(v1.18)集群

一、环境准备 1、集群环境 集群环境 角色 IP 组件 k8s-master01 192.168.100.31 kube-apiserver、 kube-controllermanager、 kube-scheduler、 etcd k8s-master02 192.168.100.32 kube- ......
二进制 集群 Kubernetes Centos7 Centos

Nacos集群搭建

Nacos安装指南(windows版本):https://www.cnblogs.com/gfl-1112/p/17771364.htmlNacos安装指南(Linux版本):https://www.cnblogs.com/gfl-1112/p/17771373.htmlNacos的依赖:https ......
集群 Nacos

如何查看Kubernetes集群中哪个Pod占用CPU最高?

下载Metrics Server的部署文件: wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml 编辑下载的components.yaml文件,以便Metric ......
集群 Kubernetes CPU Pod

ZooKeeper集群版本升级

ZooKeeper集群版本升级 环境描述: 3节点的集群,当前版本为3.8.1,计划将所有节点版本升级到3.8.3。 由于过半机制,即存活的节点数量>(非>=)所有节点数量的一半,则整个集群可以正常对外提供服务。 举个例子,3个节点,最少存活2>(3/2=1.5)个节点,即允许有一个节点宕机下依旧能 ......
集群 ZooKeeper 版本

minio数据迁移

MinIO Client是一个命令行工具,用于与Minio或云存储服务进行交互。它支持文件系统和Amazon S3兼容的云存储服务(AWS Signature v2和v4)。 MinIO Client mc 命令行工具提供了ls、cat、cp、mirror和diff等UNIX命令的现代替代方案,支持 ......
数据 minio

如何在 ubuntu 上搭建 minio

由于腾讯的对象存储服务器(COS)的半年免费试用期已过,所以寻思鼓捣一下 minio,试着在自己的服务器上搭建一套开源的 minio 对象存储系统。 单机部署基本上有以下两种方式。 直接安装 最基础的一种单机安装,这里不做过多阐述,可以参考这篇博客:Ubuntu 22.04 安装 MinIO doc ......
ubuntu minio

minio老版本下载

https://dl.min.io/server/minio/release/linux-amd64/archive/ 新版minio图片存储方式是元数据, 老版本minio图片存储是原始图片。。 2022-5-26版本存储图片 新版本存储元数据 ......
版本 minio

彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置

Docker部署的设置 部署背景: 在DockerHub拉取的bitnami/kafka:3.4.1 镜像,如果要部署在Docker-Swarm集群或者单Docker部署,对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES,如何设置为其他不符合规范的参数格式,会导致 ......
集群 容器 大小 参数 消息

linux centos部署minio

1.单节点部署 cd /usr/local wget https://dl.minio.io/server/minio/release/linux-amd64/minio chmod +x minio ./minio server /data # use # 启动后会打印出AccessKey和Sec ......
centos linux minio

kubeadm 加入work 节点集群时报 http://localhost:10248/healthz处理方法

现象: [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tc ......
节点 集群 localhost 时报 kubeadm

Base虚拟机克隆集群节点,并固定IP与免密互通

克隆Base虚拟机 先把Base关机,然后右键 - 管理 - 克隆 选择完整克隆 克隆名字这里叫node1 重复步骤,克隆node2/node3 为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP # 修改主机名 hostnamectl set-hostname nod ......
节点 集群 Base

minio部署及监控

部署单机 使用docker-compose启动 version: '3' services: minio: image: minio/minio container_name: minio environment: - MINIO_ACCESS_KEY=minioadmin - MINIO_SECR ......
minio

Etcd集群换机导致etcd集群不可用

背景: 因为工作中有nj地域需要下线,需要我所有地域的机器包括vip全部换成其他临近地域 问题: 集群中的etcd正常替换,当时保持的是平移,由于历史原因,之前的同学上线都是手动变更,没有发起上线,导致使用的之前的版本,导致etcd只能读,不能写入,而且etcd监控查询是不健康的状态 排查: 检查了 ......
集群 Etcd etcd

搭建redis分片集群

搭建redis分片集群第一章:测试环境搭建1.1、版本信息:操作系统:CentOS-7-x86_64-Minimal-2009.isoredis:6.0.81.2、地址规划与结构图ip地址端口描述192.168.118.20020300master1192.168.118.20020301slave ......
集群 redis

mongo集群和es集群添加密码

1、查看/etc/mongod27017.conf 配置, 添加 security: keyFile: /etc/mongo.keyfile authorization: enabled 2、 security.authorization不配置 and keyfile配置 security.auth ......
集群 密码 mongo

Minio服务搭建与应用

1,docker 创建服务 docker run -d \ --name minio \ -p 9000:9000 \ -p 9001:9001 \ -v /data/minio:/bitnami/minio/data \ --env MINIO_ROOT_USER="admin" \ --env ......
Minio

redis集群的简单应用

1、创建集群 # 创建redis示例docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled ......
集群 redis

kubernetes集群中pod访问外网丢包严重问题排查:mtu值设置不对

kubernetes集群中pod访问外网丢包严重问题排查:mtu值设置不对 问题描述和初步判断 k8s中部署的数据中台调用指云(open.imzhiyun.com)的sdk接口,调用了23次,成功了3次,其余20次都失败。我这边通过在宿主机上进行tcpdump抓包 抓包命令: 1. 查出调用sdk的 ......
集群 kubernetes 问题 pod mtu

hadoop集群 大数据项目实战_电信用户行为分析_day02

集群配置好后,运行一个小例子,统计单词 1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上 2.hdfs dfs -ls /output 将所有的文件显示出来 3.hdfs dfs -cat /output/ 将所有的文件读取出来 下载part-r-000000 安装Redis ......
行为分析 大数 集群 实战 行为

轻松掌握组件启动之Redis集群扩展秘籍:轻松扩容与缩容,释放高性能潜能

在这篇文章中,我们将揭示Redis集群的扩容和缩容操作,让您的Redis集群发挥最佳性能和可伸缩性。通过增加主节点和从节点,并将它们无缝添加到集群中,您将能够轻松扩展您的Redis集群以满足不断增长的需求。同时,我们还将探讨如何进行缩容操作,即删除节点,以优化集群资源的利用。无论您是初学者还是经验丰... ......
集群 潜能 高性能 秘籍 组件

Kubernetes集群管理面板的安装及使用

Kubernetes集群管理面板的安装及使用 1、前言 若海的腾讯云Lighthouse组建跨地域Kubernetes集群,让我成功体验到了Kubernetes集群诸多优点,但是非技术出生的我,长时间使用黑洞洞的命令行终究不是我能接受的,在海哥的帮助下,我成功安装了Kubernetes集群管理面板。 ......
集群 Kubernetes 面板

Koordinator 协同 containerd NRI 增强容器 QoS,提升应用性能

随着云基础业务类型和硬件资源的日益丰富,数据中心的资源利用率得到了显著提高,但也带来了资源争用的风险。在提高节点资源利用率的同时,确保应用程序的 QoS(Quality of Service),并避免 Noisy Neighbor 问题是一个关键挑战。 ......
Koordinator 容器 containerd 性能 NRI

ORACLE:集群oracle查看session的语句

1.查看session可以把status改为ACTIVE和INACTIVE v$session 和gv$session 只在RAC中区别明显,有g是全局的,rac的两个数据库中的内容,没有是但实例的数据库的,内容不全 rac么? gv$开头视图是rac全局的,v$开头是本节点的 gv$session ......
集群 语句 session ORACLE oracle

hadoop集群 大数据项目实战_电信用户行为分析_day01

上图是相关配置的要求,主要创建了四个虚拟系统,有三台虚拟机搭建hadoop集群,一台作为业务系统。 涉及到相关的Linux指令有::set nu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西) 1.配置环境、 第一步设置网络参数,设置静态网络 ......
行为分析 大数 集群 实战 行为