集群etcd k8s k8
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
TDSQL集群扩容DB节点
具体步骤见百度云盘：https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码：h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下： 一、以下步骤在新增机器上面执行：1、检查audit服务（Mysql版本特有）：systemc ......
短视频app开发，集群容错策略的代码分析
短视频app开发，集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略，当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用，直到达到重试次数。即使业务代码没有显示重试，也有可能多次执行消费逻辑从而造成重复数据： public class ......
GitOps: K8S 通过 FluxCD 自动从 GitLab 部署应用
FluxCD FluxCD 是一组 K8S 控制器，用于构建 GitOps，可以监控代码库，并进行自动部署 GitLab 和 GitHub GitLab 和 GitHub 非常相似，都是代码托管平台，都基于 Git，都提供了命令行和 Web 界面，都支持问题跟踪、代码审查和团队协作等功能 GitLa ......
Koordinator 支持 K8s 与 YARN 混部，小红书在离线混部实践分享
Koordinator 是一个开源项目，基于阿里巴巴在容器调度领域多年累积的经验孵化诞生，目前已经支持了 K8s 生态内的在离线混部，然而在 K8s 生态外，仍有相当数量的用户会将大数据任务运行在 Apache Hadoop YARN[1]这类资源管理系统中。 ......
k8s pod从私有仓库拉取镜像凭证配置
方案一: 通过Docker配置文件创建secret # 配置.docker/config.json文件，包含了与 Docker Hub 或其他私有仓库进行身份验证所需的凭据信息。 [root@mac-25 ~]# cat ~/.docker/config.json { "auths": { "reg ......
YARN集群中应用程序的执行流程
Hello，各位“极客”好，上一篇文章中介绍了YARN集群架构的基本内容，那么，在YARN集群中应用程序的执行流程是怎样的呢？这个问题很重要，就要好好说道说道了...... 客户端提交应用程序（可以是MapReduce程序、Spark程序等）到ResourceManager。 ResourceMan ......
k8s pv pvc
如下代码测试本地的PVC： apiVersion: v1 kind: PersistentVolume metadata: name: mypv labels: type: local spec: accessModes: - ReadWriteOnce storageClassName: loca ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的，1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址：https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择：docker-ce:2 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装，还是可以参考笔者另一篇文章，APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网：https://zookeeper.apache.org/ zookeeper常用用途： 集群管理，zookeeper作为注册中心，管理服务提供方的ip地址端口号url信息，并在服务消费方请求需要时发送给服务消费方。 配置中心（不过一般用阿波罗apollo或者阿里的Nacos来做） 多个app ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
k8s组件、工作原理详解
1.k8s组件 Master 组件：kube-apiserver（API Server）: 角色： 提供集群的唯一入口，处理所有 API 请求。 原理： 接收来自客户端（kubectl、UI 界面）和其他组件的请求，验证和授权请求，然后将其转发到其他组件或更新 etcd 中的数据。etcd: 角色： ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......
记录一次k8s无法拉取镜像的bug
Kubernetes 中创建一个用于拉取私有镜像的 Secret 要在 Kubernetes 中创建一个用于拉取私有镜像的 Secret，可以按照以下步骤进行： 创建一个 Docker 配置文件，其中包含您的私有镜像仓库的凭据。这个文件通常位于 ~/.docker/config.json。如果您没有 ......
YARN集群架构
玩Hadoop的不知道YARN？这简直是天大的笑话！之前介绍Hadoop核心组件的时候（详见《Hadoop的“前世今生”》那篇博文）就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”，那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构，主要 ......
K8s的常用命令
本文旨在记录K8s使用过程中常用的CLI命令集，用作个人学习，不定期更新。 1.创建资源 一般创建资源会有两种方式：通过文件或者命令创建。 # 通过文件创建一个Deployment kubectl create -f /path/to/deployment.yaml cat /path/to/dep ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
k8s~ingress_service_endpoint_pod四壮士
在Kubernetes中，Service和Endpoints是两个重要的概念，它们之间存在着密切的关系。 Service：Service是Kubernetes中用于定义一组Pod的访问方式的抽象。通过创建Service，可以为一组具有相同标签的Pod提供统一的访问入口，使得客户端可以通过Servic ......
K8S增加限制后的启动时间验证
K8S增加限制后的启动时间验证 背景 前段时间看了下JVM载linux上面的启动时间, 进行过一些验证. 最近想着能够验证一下K8S上面的启动相关的信息 所以就整理了一下. 虽然没有特别好的结论, 但是还是发现自己对JVM的启动和参数还是了解的不够深入. 自己的几个启动参数 1. "-XX:MaxR ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
k8s Ingress使用详解(云原生kubernetes)
k8s Ingress使用详解(云原生kubernetes) 目录一、什么是Ingress二、Ingress 工作机制三、Ingress 核心概念四、Ingress 工作原理五、Ingress 使用搭建 Ingress 环境1、获取 ingress-nginx2、创建ingress-nginx部署两 ......
深入 K8s 网络原理（二）- Service iptables 模式分析
目录1. 概述2. 准备 Service 和 Pods 资源3. K8s 里 Service 的实现原理3.1 kube-proxy 组件3.2 iptables 简介3.3 iptables 规则3.3.1 Service，Pod 和 Host 信息3.3.2 从 NodePort 入手寻找 ip ......
K8S的污点和容忍度(理论+实战)
5分钟搞懂K8S的污点和容忍度(理论+实战) 不焦躁的程序员 软件开发行业 研发总监 3 人赞同了该文章 本文主要快速讲解Kubernetes的污点和容忍度，一句话总结：如果Pod能容忍某个节点上的污点，那么Pod就可以调度到该节点。 在K8S中，如果Pod能容忍某个节点上的污点，那么Pod就可 ......
k8s 1.23.17 安装
k8s 集群环境 hostname role IP zijian-k8s-01 master 192.168.63.31 zijian-k8s-02 worker 192.168.63.32 zijian-k8s-03 worker 192.168.63.33 安装步骤 master, worker ......
DHorse v1.5.0 发布，基于 k8s 的发布平台
版本说明 新增特性 支持同一机器部署多个DHorse服务； 支持Next、.NET应用部署； 优化Node、Nuxt应用构建和部署的性能； 默认使用fabric8客户端与k8s集群交互，可以通过指定参数-Dkubernetes-client=official切回到k8s官方客户端； 支持企业微信、钉 ......
K8S - Add-on: cert-manager
https://cert-manager.io/docs/ cert-manager cert-manager adds certificates and certificate issuers as resource types in Kubernetes clusters, and simpli ......