etcd集群k8s k8
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
ETCD集群key超出200w给etcd压力太大，导致集群调度器延迟
背景： 业务在做测试的时候，突然集群不可用了，无法做出变更了，找到我们平台侧，经过排查，发现controller-manager调度器出现问题，经过查看，调度器不可使用， 处理 方案： 删除etcd集群的key 查询etcd集群中的key的数量： #etcd的命令行 etcdctl="/opt/et ......
利用kubeadm创建高可用集群
前言 本页的高可用是控制平面组件的高可用部署，同时还分为2种情况：堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便，大体是3个步骤：使用init参数初始化好第一个master节点，然后其余的master节点使用join命令加入到master集群中，形成一个高可用的maste ......
使用kubeadm创建集群
前言 k8s集群在Node节点数量少的情况下，逐台去维护是可行的，但是如果Node节点数量多的情况下，再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来，一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
大规模集群的注意事项
简介 一提到大规模这三个字，就联想到数据中心机房中一排排的物理服务器，在早期还是购买物理机找托管机房的年代，很多时间都在机房中维护服务器，那声音吵得耳朵疼，现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点，每个节点Pod数量不超过110，pod总数不超 ......
使用 kind 在本地运行 k8s
原文：https://www.jianshu.com/p/a4a4116e97df 本文介绍如何使用 kind 在本地快速启动一个 k8s 集群。kind 是 Kubernetes in Docker 的简写，从名字上看很容易猜出 kind 的目标是将一个 k8s 集群以容器的方式部署在本机电脑上。 ......
k8s安装与卸载chaosblade
k8s安装与卸载chaosblade # 安装helm3 ``` wget https://get.helm.sh/helm-v3.12.3-linux-amd64.tar.gz tar -zxvf helm-v3.12.3-linux-amd64.tar.gz mv linux-amd64/hel ......
promethus监控k8s--外部
promethus监控k8s有两种方式，一直是k8s搭建自己监控自己 第二种是外部搭建好了promethus,k8s搭建pod收集信息 yaml地址为 https://github.com/starsliao/Prometheus/tree/master/kubernetes 一般选择2.2.1 按 ......
k8s 1.24.1 containerd 证书过期处理
在 master 节点上进行操作 [root@k8s-master-1 ~]# kubectl get nodes Unable to connect to the server: x509: certificate has expired or is not yet valid: current ......
jenkins安装部署、主从架构、slave镜像、K8S对接
介绍 CI/CD工具，自动化持续集成和持续部署，用于构建各种自动化任务。 官方提供了docker镜像https://hub.docker.com/r/jenkins/jenkins 使用Deployments部署镜像，然后通过暴露jenkins的8080端口（web端口）和50000端口（slave ......
K8S集群搭建
集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件，手动部署，比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点： IP：10. ......
MongoDB分片+副本集高可用集群的启停步骤
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
掌握 Kubernetes 故障排除：有效维护集群的最佳实践和工具
Kubernetes 是一款管理容器化应用程序的强大工具。然而，与任何复杂的系统一样，使用它时也可能出错。当问题出现时， 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤，助您了解事件收集的入门知识： 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
安装Ubuntu Linux元信息 两台机器，每台机器两台Ubuntu Ubuntu版本：ubuntu-22.04.3-desktop-amd64.iso 处理器数量2，每个处理器的核心数量2，总处理器核心数量4 单个虚拟机内存8192MB（8G），最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
k8s-命名空间namespace
查看namespace： kubectl get namespaces #namespaces可以简写为namespace或ns 创建namespace： kubectl create namespace 命名空间名称 kubectl create namespace namespace1 删除na ......
k8s-pod
Pod是Kubernetes最小的管理单位,一个Pod可以封装一个容器或多个容器 一个Pod里的多个容器可以共享存储和网络, 可以看作一个逻辑的主机 获取pod帮助方法： kubectl explain pod 查看pod信息： kubectl get pod -n namespace -o wid ......
k8s网络-ingress
Ingress资源 https://kubernetes.io/zh-cn/docs/concepts/services-networking/ingress/ Ingress 是对集群中服务的外部访问进行管理的 API 对象，典型的访问方式是 HTTP。 Ingress 可以提供负载均衡、SSL ......
k8s-节点标签label
查看节点标签信息： kubectl get node --show-labels 设置节点标签信息： kubectl label node 节点名 标签值 kubectl label node node2 region=huanai zone=A env=test bussiness=game 显示 ......
k8s网络-service
k8s网络 Kubernetes本身并不负责网络通信，Kubernetes提供了容器网络接口CNI（Container Network Interface），具体的网络通信交给CNI插件来负责，开源的CNI插件非常多，像Flannel、Calico。 Kubernetes虽然不负责网络，但要求集群中 ......
k8s-pod版本更新
pod版本更新⭐️⭐️ 在实际应用中，升级是一个常见的场景，Deployment能够很方便的支撑应用升级。 Deployment可以设置不同的升级策略，有如下两种。 RollingUpdate：滚动升级，即逐步创建新Pod再删除旧Pod，为默认策略。 Recreate：替换升级，即先把当前Pod删掉 ......
Redis 集群
sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redi ......
K8S使用开源CEPH作为后端StorageClass
1 引言 K8S在1.13版本开始支持使用Ceph作为StorageClass。其中云原生存储Rook和开源Ceph应用都非常广泛。本文主要介绍K8S如何对接开源Ceph使用RBD卷。 K8S对接Ceph的技术栈如下图所示。K8S主要通过容器存储接口CSI和Ceph进行交互。 https://doc ......
kubeadm部署k8s集群
一、系统环境准备 1、系统环境说明 系统环境说明 系统 角色 IP 组件 K8s版本 centos7.9 kubeadm-master1 192.168.100.41 docker,kubeadm,kubelet,kubectl v1.20.0 centos7.9 kubeadm-master1 1 ......
hadoop集群 大数据项目实战_电信用户行为分析_day04
进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
部署redis-cluster集群
参考： https://www.cnblogs.com/paul8339/p/11987345.html https://mikechen.cc/31360.html https://zhuanlan.zhihu.com/p/637366705 本文使用一台虚拟机部署6个不同端口的redis实例 1 ......
Oracle集群升级迁移—主机网络设置及交换机侧bond vlan划分
目录Oracle集群升级迁移—主机网络设置及交换机bond vlan划分网络规划操作系统层面的IP设置bond类型介绍设置bond1和bond0交换机侧的设置（省略） Oracle集群升级迁移—主机网络设置及交换机bond vlan划分 网络规划 按照工程师要求，配置了5个IP供集群使用。1个IP为 ......
k8s 监控之展示页面Grafana
1 Grafana介绍 Grafana是一个跨平台的开源的度量分析和可视化工具，可以将采集的数据可视化的展示，并及时通知给告警接收方。它主要有以下六大特点： 1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方 ......
CDH集群日志清理
CDH集群日志清理 一、查看磁盘占用情况 df -h 二、查看日志占用情况 cdh的各种组件日志一般在 /var/log 目录下，因此需要关注“/”根目录， 查看 /var/log 下使用空间较大的文件夹，并又大到小排列 cd /var/log/ du -s ./* |sort -nr 还有一个是 ......