kafka集群rebalance机制
Logstash：如何连接到带有 HTTPS 访问的集群
https://blog.csdn.net/UbuntuTouch/article/details/126868040 前段时间，有一个开发者在评论区问了一个问题：如何运用 Logstash 采集数据，并写入到带有 HTTPS 的 Elasticsearch 集群中。我们知道，在 Elasticse ......
minio集群的部署【nginx+minio]
1、 配置MinIO集群配置本地解析在/etc/hosts中配置 vim /etc/hosts #添加以下内容，每台MinIO节点都需要配置 192.168.5.1 minio-1 192.168.5.2 minio-2 192.168.5.3 minio-3 192.168.5.4 minio-4 ......
GlusterFS集群安装
GlusterFS集群安装 GlusterFS 参考链接：https://zhuanlan.zhihu.com/p/586419358 安装环境准备 服务器编号 OS IP GFS1 CentOS7.9-2009 192.168.1.15 GFS2 CentOS7.9-2009 192.168.1. ......
如何通过port-forward命令在本地访问 k8s 集群服务
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享 概述 在我们访问k8s中的pod服务时，一般通过node port映射pod端口进行访问，还有一种是通过ingress或者istio通过域名方式来访问，虽然两种方式能满足我们需求，但是如果针对临时访问，配置起来还是有点复杂和 ......
垃圾回收机制
一般说来，我们要解决三个问题： 1、回收哪些内存？ 2、什么时候回收？ 3、如何回收？ 首先我们来看Java的四种引用类型： 强引用：代码中普遍存在的，只要强引用还存在，垃圾收集器就不会回收掉被引用的对象。 软引用：SoftReference，软引用是介于强引用和弱引用之间的引用类型。当系统内存不足 ......
kafka可视化监控工具EFAK(kafka-eagle)安装教程
1.情景展示 要想对kafka进行可视化监控，我们可以使用EFAK（旧名：kafka-eagle）。 部署成功后，首页长这个样子。 2.安装步骤 第一步：安装 地址1：官方网站https://www.kafka-eagle.org/，最终跳转的还是github（https://github.com/ ......
云服务器比传统服务器更安全的原因与实现机制
随着互联网的普及和云计算技术的发展，越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比，云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因，探讨其实现机制。 ......
kafka 开启JMX监控（windows、linux）
1.情景展示 使用EFAK监控kafka的运行状态，需要kafka开启JMX监控。 如何开启？ 2.windows 来到KAFKA_HOME/bin/windows目录下。 找到：kafka-server-start.bat，右键-->编辑。 找到：IF ["%KAFKA_HEAP_OPTS%"] ......
mysql集群模式分析
集群的好处 高可用性：故障检测及迁移，多节点备份。 可伸缩性：新增数据库节点便利，方便扩容。 负载均衡：切换某服务访问某节点，分摊单个节点的数据库压力。 集群要考虑的风险 网络分裂：群集还可能由于网络故障而拆分为多个部分，每部分内的节点相互连接，但各部分之间的节点失去连接。 脑裂：导致数据库节点彼此 ......
Redis 分片集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍了 Redis 哨兵集群的搭建，虽然已经解决了 master 在宕机后，与 slave 之间会自动切换的问题，但是其承载的数据量天花板仍然是单机的最大内存容量，无法承载更多的数据量。 本篇博客介绍 Redis 分片集群的搭建，集群内部拥有多个 master 节点，每个 master 存放 ......
cgo 机制
Go语言是通过自带的一个叫CGO的工具来支持C语言函数调用，同时我们可以用Go语言导出C动态库接口给其它语言使用。 基于 C 标准库实现最简单的 CGO 程序 // hello.go package main //#include <stdio.h> import "C" func main() { ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
jdk和dubbo的SPI机制
jdk和dubbo的SPI机制 转载自：https://www.cnblogs.com/wyq178/p/12171881.html 前言：开闭原则一直是软件开发领域中所追求的,开闭原则中的"开"是指对于组件功能的扩展是开放的,是允许对其进行功能扩展的,“闭”,是指对于原有代码的修改是封闭的,即不应 ......
linux修改内核参数禁止OOM机制
Linux内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽,内核会把该进程杀掉，监控是正常的。 防止重要的系统进程触发(OOM)机制而被杀死：可以设置参数/proc/PID/oom_adj ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
Eureka Server 自我保护机制
https://blog.csdn.net/u012410733/article/details/112303048 下面是官方提供的 Eureka 架构图： 1、什么是自我保护机制默认情况下，如果Eureka Server在一定时间内（默认 90 秒，其实不止 90 秒）没有接收到某个微服务实例的 ......
centos6和7的模板机制作
centos6（安装操作系统直接最小化安装就行） 1.进入网卡配置文件将网卡的MAC和UUID删除（网卡需要开机自启的话，只要把ONBOOT=no改为ONBOOT=yes就行） 2.挂在光盘，临时挂在 3.制作yum源 yum clean all #清楚yum源的缓存 yum makecache # ......
TDSQL集群扩容DB节点
具体步骤见百度云盘：https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码：h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下： 一、以下步骤在新增机器上面执行：1、检查audit服务（Mysql版本特有）：systemc ......
kafka
Debezium作用 l 开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。 l Debezium监控数据库，应用就可以消费对数据库的每一个行级别(row-level)的更改。 l 只有已提交的更改才是可见的，所以应用不用担心事务(transa ......
2-2自动微分机制
0.配置 神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。 而深度学习框架可以帮助我们自动地完成这种求梯度的运算。 Pytorch一般通过反向传播backward方法实现这种求梯度计算。 该方法求得的梯度将存在对应自变量张量的grad属性下。 除此之外，也 ......
短视频app开发，集群容错策略的代码分析
短视频app开发，集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略，当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用，直到达到重试次数。即使业务代码没有显示重试，也有可能多次执行消费逻辑从而造成重复数据： public class ......
YARN集群中应用程序的执行流程
Hello，各位“极客”好，上一篇文章中介绍了YARN集群架构的基本内容，那么，在YARN集群中应用程序的执行流程是怎样的呢？这个问题很重要，就要好好说道说道了...... 客户端提交应用程序（可以是MapReduce程序、Spark程序等）到ResourceManager。 ResourceMan ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的，1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址：https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择：docker-ce:2 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装，还是可以参考笔者另一篇文章，APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网：https://zookeeper.apache.org/ zookeeper常用用途： 集群管理，zookeeper作为注册中心，管理服务提供方的ip地址端口号url信息，并在服务消费方请求需要时发送给服务消费方。 配置中心（不过一般用阿波罗apollo或者阿里的Nacos来做） 多个app ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......