集群 脚本kingbasees案例
Kafka集群调优+能力探底
一、前言 我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下： 标准版： 2C4G 铂金版： 4C8G 专业版： 8C16G 企业版： 16C32G 另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然 ......
StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程，集群高可用(Patro ......
4、爬虫脚本采集中科商务网区域工商信息
1、需求：采集中科商务网区域工商信息2、需求数据字段： '名称': [title],'摘要': [content],'联系人': [lx_b],'联系电话': [tel],'电子邮件': [email],'公司地址': [address],'法定代表人': [fr],'经营状态': [state], ......
perl：mysql binlog iud （insert、update、delete）分析 小脚本：实用程序
1 #!/usr/bin/perl 2 # utf-8 3 4 use strict; 5 use POSIX; 6 use Time::HiRes qw/sleep time/; 7 8 $| = 1; 9 10 my $line='# '; 11 my $debug= 0 ; 12 13 ## ......
shell脚本-两个list查找匹配项
#!/bin/bash search_list='xx/search_list.txt' list='xx/revise_list.txt' result='xx/result.txt' # 逐行读取list文件 while IFS= read -r line; do # 在search_list文 ......
cetnos运行springboot打包文件脚本
#!/bin/bash #check JAVA_HOME & java noJavaHome=false if [ -z "$JAVA_HOME" ] ; then noJavaHome=true fi if [ ! -e "$JAVA_HOME/bin/java" ] ; then noJavaH ......
4、虚拟机单机、集群的克隆、删除脚本（以初始化好的虚拟机为模板）
摘自：https://blog.51cto.com/mfc001/6408229 虚拟机克隆、删除脚本 [root@ubunt ~]# cat clone.sh #!/bin/bash # #. /etc/init.d/functions （如果是ubuntu，注释此行） Red="\e[1;31m ......
使用Slurm集群进行分布式图计算：对Github网络影响力的系统分析
本文在华为云弹性云服务器集群中部署Slurm作业调度系统，并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
车企数据治理实践案例，实现数据生产、消费的闭环链路 | 数字化标杆
随着业务飞速发展，某汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨，这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展数字化营销、新能源车等业务，希望通过持续优化客户体验，创造可持续发展的数字化转型之路。 为更好应对数字化变革所带来的挑战，现有的竖井架构的数据体系难以满 ......
聊聊部署在不同K8S集群上的服务如何利用nginx-ingress进行灰度发布
前言 之前有篇文章聊聊如何利用springcloud gateway实现简易版灰度路由,里面的主人公又有一个需求，他们有个服务是没经过网关的，而是直接通过nginx-ingress暴露出去，现在这个服务也想做灰度，他知道在同个集群如何利用nginx-ingress进行灰度发布，但是现在这个服务是部署 ......
多开工具在社区管理中的创新应用案例
多开工具在社区管理中的创新应用案例 摘要： 社区管理是一个复杂而繁琐的任务，涉及到人员调配、资源分配以及信息管理等多个方面。随着科技的不断进步，多开工具成为了社区管理中的创新应用之一。本文将介绍多开工具在社区管理中的创新应用案例，探讨其带来的便利和效益。 引言： 随着城市化的不断发展，社区管理成为了 ......
公网搭建Kubernetes集群
由于本次软分大作业采用一台华为云服务器和两台阿里云服务器，两者之间内网不互通，无法搭建内网k8s集群，不得已才在公网搭建。 公网搭建会出各种问题，有条件的话还是建议在内网搭建。 一个很详细的教程：https://zhuanlan.zhihu.com/p/627310856 一、服务器配置 主机名 i ......
对bash脚本增加tab自动补全
需求 高频使用自编benchmark工具， 希望能像原生命令一样tab补全。 要求： 能够针对-s补全指定数据集名称 能够针对-b补全分支名称（基于本地git仓库） 能够补全-d -e -q等普通参数 实现 依赖 常见Linux发行版都内置了自动补全的依赖，以Ubuntu默认shell bash为例 ......
容器与集群——通过deployment 创建pod以及Java Web应用的容器化发布
## 一、通过deployment 创建pod 1.1 编写yaml文件 1.2 安装pod 创建kubectl create -f dp-nginx.yaml 查看Deployment信息 1.3 查看相关信息 查看pod信息kubecel get pods 查看rs信息 二、Java Web应用 ......
docker compose 一键部署zookeeper集群
compose.yml 文件 services: zoo1: image: zookeeper:3.8.3 restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server. ......
一次elasticsearch 查询瞬间超时案例分析
大家好，我是蓝胖子，有段时间没有做性能分析案例讲解了，正好前两天碰到一个性能问题，今天就来对它探讨探讨。 问题背景 在晚上9点左右，刚从外面逛街回到家，就接到了电话报警(幸好前不久刚好把电话报警机制加上，不然可能我就要去洗澡了👻)，电话告警告知线上业务存在大量请求失败的情况。于是赶紧打开电脑，排查 ......
RabbitMQ高可用集群的搭建部署（Centos7）
高可用集群架构 节点域名 操作系统 RabbitMQ版本 Erlang版本 iamdemo.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo2.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo3.tp-link.com Ce ......
从一个案例，细说浏览器的事件循环
我们知道，用户键盘输入的事件有3个：keydown、keypress、keyup。可这三位各有各的缺点，没一个让人省心的。 keypress，无法拿到用户最新的输入值，在输入中文时还不触发。keyup，能拿到最新输入值了，但已经无法通过 preventDefault() 阻止输入。 比如这个场景：把 ......
DevOps 中 API 治理的工程问题和落地实践案例
近日，中国 DevOps 社区峰会在广州成功召开，Eolink 作为 API 管理领域代表受邀出席。来自各地的讲师与华南区本土开发者朋友们齐聚一堂，共同探讨了 DevOps 转型、AI、API 管理，以及 SRE 稳定性工程、平台工程、混沌工程、可观测性工程等 DevOps 深水区的探索和经验。 会 ......
redis集群
集群：支持多个master，一个master挂载多个slave cluster自带了sentinel的故障转移机制，内置了高可用的支持，无需再去使用哨兵功能 客户端不再需要连接所有节点，只需连接一个可用节点 槽位slot负责分配各个物理节点，对应的节点来维护节点，插槽，数据之间的关系 集群算法--分 ......
Windows自动更新hosts(bat脚本方式)
为了解决无法打开 github 网页的问题，才有了这个自动更新hosts 的命令脚本 hosts 里的内容会每日更新，内容从这里拿 文件：https://raw.hellogithub.com/hosts JSON： https://raw.hellogithub.com/hosts.json 注意 ......
浅写一个Python脚本归档Windows的截图
添加到计划任务每月运行 from datetime import datetime import os # 这里使用了Windows的环境变量，需在计划任务中指定你的用户 PATH_SCREENSHOTS = r'C:\Users\%USERNAME%\Pictures\Screenshots' P ......
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
Postgres 配置 PostgreSQL 的配置在 SGPostgresConfig CRD 中指定。如果在创建集群时没有指定自定义配置，StackGres 将创建一个默认配置，您可以在 这里 看到。 https://stackgres.io/doc/latest/reference/crd/s ......
拼版不合理案例详解
上一节我们讲到PCB的拼版是一个至关重要的环节，它不仅影响着产品的生产效率，也直接关系到产品的质量和成本。合理的拼版能够优化生产流程，减少浪费，提高产能。 然而，在实际操作中，由于各种因素的影响，很多工程师的PCB拼版存在着不少问题。本文将带您探讨PCB拼版中的不合理案例，帮助您深入了解如何优化拼版 ......
记录一次 postgresql 优化案例（ volatility 自定义函数无法并行查询 ）
同事最近做个金融适配项目，找我看条SQL，告知ORACLE跑1分钟，PG要跑30分钟(其实并没有这么夸张)😎， 废话不说，贴慢SQL。 慢SQL（关键信息已经加密）： explain analyze SELECT c_qxxxxaode, '2023-03-22 00:00:00' AS d_cd ......
使用 anasible 搭建一个多 master 多 worker 的 k8s 集群
kubernetes + istio 是目前最强大，也是最易于使用的服务网格方案。 要使用kubernetes + istio, 首先要搭建 kubernets 集群。搭建kubernetes 集群的 方式有很多，其中使用anisble自动化搭建kubernetes集群算是最具合适的方案了。 服务器 ......
博科Brocade 300光纤交换机配置案例
光纤交换机作为SAN网络的重要组成部分，在日常应用中非常普遍，本次将以常用的博科交换机介绍基本的配置方法。 博科300实物图： 环境描述： 如上图，四台服务器通过各自的双HBA卡连接至两台博科300光纤交换机，IBM V3700为双控制器，每个控制器再分别与两台光纤交换机相连。 完成所有的连线及配置 ......
Linux脚本中（$0、$?、$*、$@、$#、$$、$!）这些符号的含义及用法
$0：就是该bash文件名,个位数的，可直接使用数字，但两位数以上，则必须使用 {} 符号来括住，如${10}. $?：是上一指令的返回值，成功是0，不成功是1。一般来说，UNIX(linux) 系统的进程以执行系统调用exit() 来结束的。这个回传值就是status值。回传给父进程，用来检查子进 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
Redis哨兵、复制、集群的设计原理与区别
本篇主要谈Redis的高可用 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢? 这时候就需要哨兵和复制 1.哨兵(Sentinel): 可以管理多个Redis服务器，它提供了监控，提醒以及自动的故转移的功能 2.复制(Replication): 则是负责让一个Redis服务 ......