故障kafka
kafka启动闪退（zookeeper timeout）的解决办法
1.情景展示 在关闭kafka后，再次运行经常会出现闪退的情况。 2.具体分析 经过截屏发现：原来是kafka连接zookeeper超时，导致kafka启动失败。 kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting f ......
kafka使用了很久了，但是技术含量真的很少
bin/kafka-topics.sh --create --zookeeper 1.6.1.73:2181 --replication-factor 1 --partitions 1 --topic audit_news_to_auditbin/kafka-topics.sh --create - ......
逻辑多租场景下，故障爆炸半径的控制实践
本文对多租架构的典型故障场景进行分析，面对单租户 APP 异常导致的故障，提出应对的分级隔离方案，将单租户的运行资源消耗控制在确定的边界内，用确定性的故障隔离机制应对不确定的故障场景，以控制故障爆炸半径，减少平台级故障的发生。 ......
RabbitMQ vs Kafka：正面交锋！
介绍 作为一名有着大量微服务系统处理经验的软件架构师，我经常遇到一个不断重复的问题：“我应该使用 RabbitMQ 还是 Kafka？” 出于某种原因，许多开发人员认为这些技术是可以互换的。虽然在某些情况下确实如此，但 RabbitMQ 还是 Kafka 之间存在根本上的差异。 因此，不同的场景需要 ......
【故障公告】疑似未知知名搜索引擎蜘蛛来袭，一台负载均衡带宽跑满
园子的博客站点使用了多台阿里云负载均衡，并且给每台负载均衡设置了监听带宽限速。 今天下午15:16-16:22，16:31~16:39，16:51 三个时间段，其中一台负载均衡被异常大量请求将带宽跑满。 从我们的防护策略上看，只有知名搜索引擎蜘蛛才可能发起这么高的请求，因为我们不敢拦截，怕被降权（解 ......
Kafka 保证消息消费的全局顺序性问题
参考：https://mp.weixin.qq.com/s/A69gY_tDXrs4kQPiuUNJTQ Kafka 的设计目标是提供高吞吐量和低延迟，而不是强制保证全局有序性，所以Kafka使用多分区的概念，并且只保证单分区有序 如果想要实现消息的全局有序 方法1.单分区策略： 一个主题下只创建一 ......
【虹科分享】使用Allegro网络万用表进行网络故障排查
传统企业Stadtwerke Unna跨入互联网领域，Allegro网络万用表助其在数字化转型过程中保持竞争力，确保为客户提供高质量的服务，成功转型成为现代化互联网服务提供商，并在日益增长的数字化世界中维护其业务效率和可靠性。 ......
数据库复习（故障恢复）
目录前言事务故障是什么解决方案系统故障是什么解决方案介质故障是什么解决方案详细解决方法事务故障系统故障无检查点有检查点介质故障 前言 本文针对考纲上的故障恢复所涉及到的知识进行归纳总结。 事务故障 是什么 事务运行结果没有达到预期终点（commit 或者显式rollback）比如： 程序员写在程序里 ......
Linux系统下kafka集群安装部署
Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操 ......
kafka常见问题
报错1 [root@slave1 data_mocker]# kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic topic_db [2023-12-19 18:31:12,770] WARN [Consumer clie ......
Kafka核心逻辑介绍
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数... ......
zookeeper及kafka在Linux下的安装与配置
一、Zookeeper的下载、安装、配置ZooKeeper服务器是用Java创建的，它需要在JVM上运行，所以需要使用JDK1.6及以上版本的支持。对于jdk的安装本文不做介绍。 1、zookeeper的下载：因为apache-zookeeper-3.5.5的在安装完启动时可能会报，"错误: 找不到 ......
linux安装kafka教程
一、安装kafka1、下载kafka1.到kafka的官网，去下载想用的kafka包：http://kafka.apache.org/downloads 2.我这里下载的是：kafka_2.12-3.4.1.tgz 3.将安装包传送到服务器并解压（默认这里解压了就是安装路径了，可以自己斟酌）： 比如 ......
mac安装php-kafka
首先，安装文档在: 如何使用PHPSDK接入消息队列Kafka版并收发消息_云消息队列 Kafka 版(ApsaraMQ for Kafka)-阿里云帮助中心 (aliyun.com) 但是按照这个文档，存在一个问题，一直报错: 1 ... 2 checking for rdkafka suppor ......
面试官问我：线程锁导致的kafka客户端超时，如何解决？
本文分享自华为云社区《线程锁导致的kafka客户端超时问题》，作者： 张俭 。 问题背景 有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程 我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在 ......
华硕（Asus）主板的BIOS特殊故障随笔
起因是华硕的一块LGA1150的老主板Z87-A。 浏览华硕网站，https://www.asus.com/us/support/Download-Center/ 发现Z87的版本的主板有：SABERTOOTH Z87，Z87-EXPERT，Z87-A，Z87-C，Z87-DEPLUX，Z87-K， ......
kafka入门(四)：kafka生产者发送消息
创建生产者实例和构建消息之后，就可以开始发送消息了。 发送消息主要有三种模式：发后即忘、同步、异步。 发后即忘： 就是直接调用 生产者的 send方法发送。 发后即完，只管往 kafka中发送消息，而不关心消息是否正确到达。 这种发送方式的性能最高，可靠性也最差。 producer.send(rec ......
三菱变频器故障报警代码及故障
三菱变频器故障报警代码之严重故障 OC1加速时过电流断路是否急加速运转输出是否短路，主回路电源(R，S，T)是否供电。E.OC2定速时过电流断路负荷是否有急速变化，输出是否短路。E.OC3减速时过电流断路是否急减速运转，输出是否短路，电机的机械制动是否过早E.OV1加速时再生过电压断路加速度是否太缓 ......
西门子变频器常见故障原因
故障信息 发生故障时，变频器断电，并在显示屏上出现1个故障码。 说明 为使故障码复位，可以采用以下3种方法中的1种： 1. 使变频器断电、再重新通电。 2. 按BOP或AOP上的 键。 3. 通过数字输入3（缺省设置）。 故障信息按其故障码序号（例如，F0003 = 3）存储在参数r0947中。相关 ......
Kafka 机制和 Kafka-Stream
Kafka 优势 异步和解耦：生产者和消费者间，没有直接关系，也不需要等待对方回应 压力自己控制：由于消费者使用 pull 消费数据，不会出现消费能力不足而丢数据的问题 高可靠：多节点，分布式，一致性，数据多个备份 安全：支持 TLS/SSL 认证 高吞吐量 可重复消费 是一个非常好用的高吞吐量的分 ......
helm部署Kafka集群
1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......
Kafka日志压实算法
概念介绍 我们有时候可以把Kafka当作key、value数据库用（当然kafka中的消息可以不指定key）。 __consumer_offsets 这个topic的数据，就是典型的key、value数据。 /usr/local/kafka2.8/bin/kafka-run-class.sh kaf ......
k8s-故障排查
容器未启动 1.先看deploy kubectl get deploy #查看deploy列表 kubectl descrict {depoloyname} #查看描述 2.如果描述看不出来则看pod kubectl get pod #查看pod列表 kubectl descrict po {pon ......
60道KafKa高频题整理（附答案背诵版）
废话不多说，直接上干货 简述什么是 Kafka 的 Topic ？ Kafka 的 Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别，这个类别就是 Topic。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有 ......
kafka kafka-ui 单机部署
1. 下载 https://kafka.apache.org/downloads 解压压缩包，以/root/kafka为例 2. 启动zk /root/kafka/bin/zookeeper-server-start.sh /root/kafka/config/zookeeper.propertie ......
Docker安装Kafka安装zookeeper教程(超详细)
1 Docker安装Kafka安装zookeeper教程(超详细) 2 app-tier:网络名称 3 -driver:网络类型为bridge 4 1.docker network create app-tier --driver bridge 5 6 1、安装zookeeper 7 Kafka依赖 ......
故障解析丨导入字符串NULL导致主从报错
1.背景概述 目前需要搭建一个从库，由于单表数据量较大，时间比较有限，考虑到导入导出的时间，并且GreatSQL支持并行load data的功能，能够加速数据的导入，因此决定使用 select into outfile 和 load data 的方式进行数据的迁移； 在数据导入完成后进行数据同步，从 ......
Kafka集群搭建、注意事项及示例
1. 安装Zookeeper： Kafka依赖于Zookeeper来进行集群协调。确保安装了Zookeeper，并配置好。 2.下载和解压Kafka： 从官方网站下载Kafka，并解压到所需的目录。 3.配置Kafka： 修改Kafka的配置文件以适应集群环境。主要修改server.properti ......
知名火锅连锁企业，IT 团队如何在数千家门店中先于用户发现故障
该知名火锅连锁企业是中国领先的餐饮企业，上千家门店遍布全球，由于门店餐饮行业的特殊性，需要靠前部署服务，所以在每家餐厅中，会部署相应的服务器，及相应 IT 设备，本地会运行POS、会员、下单等业务。公司有众多的餐厅门店，各个门店业务流量不同，门店的 IT 设备由于城市、开业时间等因素，其型号也不相同 ......
Kafka消息丢失该如何处理
消息丢失是一个分布式系统中常见的问题，而Kafka本身有一些内置的机制来减少消息丢失的可能性。下面是一些处理Kafka消息丢失的方法，以及如何使用Java来实现： 1. 使用生产者确认： Kafka生产者可以配置为等待消息被确认的机制。通过配置acks属性，可以设置生产者在接收到多少个副本的确认后才 ......