集群kubernetes sealos

docker-搭建一主两备redis集群

一 目的 docker-搭建一主两备redis集群 概述:目前要搭建一个“一主两备”redis集群,这个三个容器中redis的端口号为默认的6379,对外暴露的端口为6701,6702,6703,其中6701为master。6702和6703为slave 二 实现 1. 准备三份配置文件 1.1 配 ......
集群 docker redis

apisix etcd集群数据备份恢复

#etcd数据备份 /home/apisix-etcd-backup.sh #!/bin/bash #创建备份目录 mkdir -p /data/{apisix-etcd-0,apisix-etcd-1,apisix-etcd-2} #apisix etcd数据备份 ETCDCTL_API=3 /o ......
数据备份 集群 备份 数据 apisix

大数据HDFS集群相关概念

一、Zookeeper服务 端口 描述 配置路径 2181 主要使用端口,对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 ......
集群 概念 数据 HDFS

k3d创建k3s集群

安装go wget https://golang.google.cn/dl/go1.21.3.linux-amd64.tar.gz tar zxvf go1.15.3.linux-amd64.tar.gz mv go /usr/local/ vim /etc/profile在最结尾添加 export ......
集群 k3 k3d k3s 3d

云原生周刊: 使用 Kubectl 执行 100 个 Kubernetes 诊断命令 | 2023.10.23

开源项目推荐 Stern Stern 是一个针对 Kubernetes 的多 pod 和容器日志跟踪工具。可以跟踪 Kubernetes 上的多个 pod 和 pod 中的多个容器。每个结果都用颜色编码,以便快速调试。 LProbe 在容器映像(ECS、Docker、Kubernetes)内执行本地 ......
Kubernetes 周刊 命令 Kubectl 2023

分布式集群与多线程高并发

后台数据的处理语言有很多,Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大,大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多,如 PC 端,手机移动端,智能手表,Google 眼镜等。Server2client 的互联网开发模式比较常见,有一种新的数据 ......
分布式 集群 线程

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群

1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
集群 容器 Zookeeper docker hadoop

ETCD集群key超出200w给etcd压力太大,导致集群调度器延迟

背景: 业务在做测试的时候,突然集群不可用了,无法做出变更了,找到我们平台侧,经过排查,发现controller-manager调度器出现问题,经过查看,调度器不可使用, 处理 方案: 删除etcd集群的key 查询etcd集群中的key的数量: #etcd的命令行 etcdctl="/opt/et ......
集群 压力 ETCD 200w etcd

kubernetes获取永久token

kubernetes获取永久token 概述 1.22 版本之前都是自动创建sa的token,1.22及之后版本永久token需要使用kubernetes.io/service-account-token类型创建secret 步骤 服务账号令牌 Secret 类型为 kubernetes.io/se ......
kubernetes token

利用kubeadm创建高可用集群

前言 本页的高可用是控制平面组件的高可用部署,同时还分为2种情况:堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便,大体是3个步骤:使用init参数初始化好第一个master节点,然后其余的master节点使用join命令加入到master集群中,形成一个高可用的maste ......
集群 kubeadm

使用kubeadm创建集群

前言 k8s集群在Node节点数量少的情况下,逐台去维护是可行的,但是如果Node节点数量多的情况下,再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来,一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
集群 kubeadm

大规模集群的注意事项

简介 一提到大规模这三个字,就联想到数据中心机房中一排排的物理服务器,在早期还是购买物理机找托管机房的年代,很多时间都在机房中维护服务器,那声音吵得耳朵疼,现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点,每个节点Pod数量不超过110,pod总数不超 ......
集群 大规模 注意事项 事项

下载kubernetes

前言 页面介绍了k8s的组件下载的方法 二进制文件 二进制文件的下载链接在CHANGELOG文件中,这里有一个技巧是直接下载Server Binaries,这个是包含了所有的二进制文件。下载后记得比对sha512 hash值来确定下载的文件是否完整。 kubectl 直接yum安装即可。参考http ......
kubernetes

kubernetes发布周期

前言 页面介绍了版本发布的一些时间点和PR的要求,通过了解k8s的发布周期来规划自己的版本选择。 合并PR的要求 如果你希望将你的代码合并到官方代码仓库中,不同的开发阶段需要有不同的标签和里程碑。也是希望通过这样的方式来查看到代码的提交者是经过了认真的开发、测试,从而保证代码的质量。 正常开发(第1 ......
kubernetes 周期

Kubernetes Ingress 入门

原文:https://zhuanlan.zhihu.com/p/637522663 如果你真的想了解 Kubernetes,Kubernetes Ingress 是一个需要理解的关键概念。在这篇文章中,我将解释什么是 Kubernetes Ingress,我们为什么使用 Kubernetes Ing ......
Kubernetes Ingress

kubernetes批量删除evicted状态pod

#!/bin/bash # get namespace namespaces=`kubectl get pod -A | grep -i "evicted" | awk '{print $1}'` for namespace in ${namespaces} do kubectl get pod - ......
kubernetes 状态 evicted pod

K8S集群搭建

集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件,手动部署,比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点: IP:10. ......
集群 K8S K8 8S

MongoDB分片+副本集高可用集群的启停步骤

■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
副本 集群 步骤 MongoDB

掌握 Kubernetes 故障排除:有效维护集群的最佳实践和工具

Kubernetes 是一款管理容器化应用程序的强大工具。然而,与任何复杂的系统一样,使用它时也可能出错。当问题出现时, 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤,助您了解事件收集的入门知识: 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
集群 Kubernetes 故障 工具

client-go实战之九:手写一个kubernetes的controller

如何用client-go的informer实现一个简化版的kubernetes controller,监听资源变化并做出响应,本篇通过实战来揭晓,代码略多,但有分析有设计更有详尽的注释,喜爱golang和kubernetes的您不要错过 ......

两台实体机器4个虚拟机节点的Hadoop集群搭建(Ubuntu版)

安装Ubuntu Linux元信息 两台机器,每台机器两台Ubuntu Ubuntu版本:ubuntu-22.04.3-desktop-amd64.iso 处理器数量2,每个处理器的核心数量2,总处理器核心数量4 单个虚拟机内存8192MB(8G),最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
节点 集群 实体 机器 Hadoop

405-503 搞懂Kubernetes调度 (DNS ingress NodeSelector NodeAffinity)4.5-5.3

一、Kubernetes里的DNS K8S集群默认使用CoreDNS作为DNS服务: # kubectl get svc -n kube-system |grep dns kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP,9153/TCP 24d ......

kubernetes 概述

云原生是一条最佳路径或者最佳实践。更详细的说,云原生为用户指定了一条低心智负担的、敏捷的、能够以可扩展、可复制的方式最大化地利用云的能力、发挥云的价值的最佳路径。因此,云原生其实是一套指导进行软件架构设计的思想。 ......
kubernetes

Redis 集群

sentinel模式基本可以满足一般生产的需求,具备高可用性。但是当数据量过大到一台服务器存放不下的情况时,主从模式或sentinel模式就不能满足需求了,这个时候需要对存储的数据进行分片,将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题,将Redi ......
集群 Redis

kubeadm部署k8s集群

一、系统环境准备 1、系统环境说明 系统环境说明 系统 角色 IP 组件 K8s版本 centos7.9 kubeadm-master1 192.168.100.41 docker,kubeadm,kubelet,kubectl v1.20.0 centos7.9 kubeadm-master1 1 ......
集群 kubeadm k8s k8 8s

401 Kubernetes网络 (Pod Service Calico Flannel) 4.1-4.4

一、Pod网络 在K8S集群里,多个节点上的Pod相互通信,要通过网络插件完成,比如Calico网络插件。 使用kubeadm初始化K8S集群时,需要指定一个参数--pod--network-cidr=10.18.0.0/16 它用来定义Pod的网段。配置Calico的时候,也要定义CALICO_I ......
Kubernetes Flannel Service Calico 网络

hadoop集群 大数据项目实战_电信用户行为分析_day04

进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令,则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
行为分析 大数 集群 实战 行为

部署redis-cluster集群

参考: https://www.cnblogs.com/paul8339/p/11987345.html https://mikechen.cc/31360.html https://zhuanlan.zhihu.com/p/637366705 本文使用一台虚拟机部署6个不同端口的redis实例 1 ......
集群 redis-cluster cluster redis

如何优雅重启 kubernetes 的 Pod

最近在升级服务网格 Istio,升级后有个必要的流程就是需要重启数据面的所有的 Pod,也就是业务的 Pod,这样才能将这些 Pod 的 sidecar 更新为新版本。 方案 1 因为我们不同环境的 Pod 数不少,不可能手动一个个重启;之前也做过类似的操作: kubectl delete --al ......
kubernetes Pod

Oracle集群升级迁移—主机网络设置及交换机侧bond vlan划分

目录Oracle集群升级迁移—主机网络设置及交换机bond vlan划分网络规划操作系统层面的IP设置bond类型介绍设置bond1和bond0交换机侧的设置(省略) Oracle集群升级迁移—主机网络设置及交换机bond vlan划分 网络规划 按照工程师要求,配置了5个IP供集群使用。1个IP为 ......
集群 交换机 主机 Oracle 网络