集群jenkins k8s 8s
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
mariadb集群切换成mysql5.7集群
mariadb集群安装 yum list | grep galera yum install galera mariadb-server-galera rsync systemctl start mariadb 仓库源查看可以安装的包 添加yum源 [galera] name = Galera ba ......
Docker+jenkins 运行 python 自动化
参考：Docker+jenkins 运行 python 自动化 - 测试派 (testingpai.com)一、实现思路在Linux服务器安装docker创建jenkins容器根据自动化项目依赖包构建python镜像(构建自动化python环境)运行新的python容器，执行jenkins从仓库中拉 ......
FAQ-k8s-harbor拉取镜像权限问题-imagePullSecrets
一、配置 1、docker vim /etc/docker/daemon.json {"insecure-registries": ["192.168.10.122"]} systemctl daemon-reload systemctl restart docker 二、方式一 1、登录 dock ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
欧拉openEuler安装Jenkins并修改构建workspace路径
一、系统优化 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 关闭selinux sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config seten ......
【Jenkins+gitee+docker实现CI/CD（之三）】jenkins拉取gitee代码后运行在docker中
1，在服务器上安装docker 网上有很多在 centOSk中安装docker的教程，这里就不多说了 安装完成后 #启动 systemctl start docker #加入自启 systemctl enable docker #验证是否安装成功 docker version ......
K8s客户端软件Lens与OpenLens
最近公司将系统部署迁移到k8s集群上，但是多个环境（sit\uat\pre)并未将日志集成入elk，且并未将多环境集群的kubeconfig文件合并。查看日志属于高频操作，每次都需要kubectl use context、 kubectl -n $namespace logs -f $pod_nam ......
Kubernetes高可用集群二进制部署v1.28.0版本
一、集群环境准备 1.1 主机规划 主机IP地址 主机名 主机配置 主机角色 软件列表 192.168.198.144 k8s-master1 2C4G master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubectl ......
记录一次K8s pod被杀的排查过程
问题描述 今天下午运维反馈说我们这一个pod一天重启了8次，需要排查下原因。一看Kiban日志，jvm没有抛出过任何错误，服务就直接重启了。显然是进程被直接杀了，初步判断是pod达到内存上限被K8s oomkill了。 因为我们xmx和xsx设置的都是3G，而pod的内存上限设置的是6G，所以出现这 ......
【JDK+jenkins+gitee实现CI/CD（之三）】 jenkins拉取gitee代码WebHook返回403或404错误
先上几张让我纠结了很多天的截图 以上是在我配置好jenkins和gitee令牌后一直出现的错误， 查询了很多天资料后，确认造成的主要原因就是权限问题 我的Jenkins 是最新的版本2.426.2，说下以下我使用过但无效果的办法，这些方法不能解决我提交代码后Jenkins触发WebHook的403问 ......
Jenkins 批量删除构建记录及重置构建编号脚本
`def jobName = "XT" # 项目名称 def maxNumber = 15330 # 删除该编号以下所有构建历史 Jenkins.instance.getItemByFullName(jobName).builds.findAll { it.number <= maxNumber } ......
修改Zabbix源码实现监控数据同时写入数据库和ES集群
写在开篇 玩过 Zabbix 的朋友都了解，Zabbix 提供了与 Elasticsearch（ES）的集成，允许用户将历史数据存储在 Elasticsearch 中，而无需使用传统数据库。在高监控负载的生产环境中，这种架构带来了多重好处。首先，它有效减轻了数据库的负担，从而提高了整体性能。其次，通 ......
rabbitmq 集群docker玩法
属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题，因此出现了分片集群。 分片集群 （1）集群中有多个master，每个master保存不同的数据。【可以解决数据海亮的问题】 （2）每个master也可以有多个slave节点。 （3）master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
集群渲染是？渲染农场是？两者与云渲染关联是什么
在数字化浪潮不断推进的当下，渲染技术在多个行业中发挥着至关重要的作用，尤其体现在电影制作、建筑可视化以及电子游戏开发等领域。在众多渲染技术中，集群渲染、渲染农场以及云渲染特别受到业界的重视。本文旨在阐述这些概念的含义以及它们之间的相互联系。 一、集群渲染的概念与应用 集群渲染是借助计算机网络的力量， ......
jenkins安装和基本使用
参考：https://zhuanlan.zhihu.com/p/56037782（安装） https://gitee.com/oschina/Gitee-Jenkins-Plugin/（使用） https://www.jianshu.com/p/bc2a2e537904 tip：1.之前根据参考链接 ......
使用jenkins + docker 部署服务 笔记
docker 安装nacos 1. docker pull nacos/nacos-server 创建mysql 数据库： 2、挂载目录，用于映射到容器，目录按自己的情况创建 mkdir -p /mydata/nacos/logs/ #新建logs目录mkdir -p /mydata/nacos/i ......
python-jenkins 获取正在构建的job
需求: 我现在需要完成1个接口,这个接口会启动jenkins构建jobA, jobA构建结束, 返回job的构建结果 思路: 首先使用get_job_info获取最后1次构建的构建序号,然后再通过get_build_info根据最后1次构建序号,来获取最后1次的构建结果 lastbuildNumbe ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
k8s从Pod容器中copy文件至本地
[root@k8s-master ~]# kubectl get po NAME READY STATUS RESTARTS AGE data-java-9bbf8c957-jp5dl 0/1 CrashLoopBackOff 9745 (4m28s ago) 34d data-java-bc8f6 ......
数据高速公路：详解数仓集群通信技术
本文分享自华为云社区《直播回顾 | 数据高速公路—数仓集群通信技术详解》，作者： 胡辣汤。 大数据时代，集群规模越来越大，业务并发越来越高，数据库集群各节点间的通信压力也越来越大。在本期《数据高速公路—数仓集群通信技术详解》的主题直播中，我们邀请到华为云GaussDB(DWS)技术布道师魏登老师，深 ......
k8s~动态生成pvc和pv
有时，我们不想手动建立pv和pvc，这时，我们可以通过strongClass存储类来帮我们实现，动态建立pvc,并动态为它分配pv存储空间，我们以nfs为例，说一下动态分配在nfs存储截至上建立pv的方式。 本文导读 StorageClass和PVC及PV 集群权限与绑定rbac.yaml 建立动态 ......
k8s的云原生应用部署-mysql和wordpress
在已经建立有k8s集群的前提下，使用deploy，部署一个单独pod的单点mysql，部署一个4pod的wordpress应用。
应用的数据库使用mysql，mysql和应用都做集群外服务暴露。
通过该应用部署的练习，了解中等难度应用程序如何做云原生状态下的部署，并掌握以下k8s资源-APIServ... ......