故障kafka
【故障公告】cc攻击又来了，雪上加霜的三月
非常非常抱歉！今天 21:20-22:10 左右，肆无忌惮的 cc 攻击又来了，蓄意攻击者很厉害，躲过阿里云云盾的黑洞机制，轻松击垮园子的博客站点，又给大家带来了很大的麻烦，请大家谅解！今年3月是园子非常困难的一个月，也是园子努力走出困境的关键一个月，这突如其来的高水平恶意攻击真会雪上加霜，给我们的... ......
Apache Kafka教程--Kafka新手入门
Apache Kafka教程--Kafka新手入门 Kafka Assistant 是一款 Kafka GUI 管理工具——管理Broker,Topic,Group、查看消费详情、监控服务器状态、支持多种消息格式。 摘要 今天，我们开始了我们的新旅程，这就是Apache Kafka教程。在这个Kaf ......
RabbitMQ真实生产故障问题还原与分析
RabbitMQ生产故障问题分析 由某一次真实生产环境rabbitMQ故障引发血案，下面复盘问题发生原因以及问题解决方法。 1、 问题引发 由某个服务BI-collector-xx队列出现阻塞，影响很整个rabbitMQ集群服务不可用，多个应用MQ生产者服务出现假死状态，系统影响面较广，业务影响很大 ......
vivo 故障定位平台的探索与实践
作者：vivo 互联网服务器团队- Liu Xin、Yu Dan 本文基于故障定位项目的实践，围绕根因定位算法的原理进行展开介绍。鉴于算法有一定的复杂度，本文通过图文的方式进行说明，希望即使是不懂技术的同学也能理解。 一、背景介绍 1.1 程序员的困扰 作为一名IT从业人员，比如开发和运维，多少有过 ......
1.5万字长文：从 C# 入门 Kafka
作者：痴者工良 个人网站：https://www.whuanle.cn 博客园：https://www.cnblogs.com/whuanle/ 本教程地址：https://kafka.whuanle.cn/ 本教程是关于 Kafka 知识的教程，从 C# 中实践编写 Kafka 程序，一边写代码一 ......
Apache Kafka 的基本概念
基本概念 主题 Topic topic 是 Kafka 最基础的组织单位，类似于关系数据库中的数据表。做为使用 kafka 的开发者，你最应该考虑的是和 topic 相关的抽象。创建不同的 topic 保存不同种类的 events，或者通过不同的 topic 保存各种版本经过过滤、转换后的同类 ev ......
【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的，为啥还是会出现OOMKilled？
为什么我设置的大小关系没有错，还会OOMKilled？ 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题：在大多数情况下，JVM将一般默认会采用宿主机Node节点的内存为Native VM空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。 ......
使用 Bitnami Helm 安装 Kafka
服务器端 K3S 上部署 Kafka Server Kafka 安装 📚️ Quote: charts/bitnami/kafka at master · bitnami/charts (github.com) 输入如下命令添加 Helm 仓库： > helm repo add tkemarket ......
Apache Kafka 移除 ZK Proposals
Zookeeper 和 KRaft 这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因，可以仔细看看该文章。以下是对该文章的翻译。 动机 目前，Kafka 使用 Zookeeper 保存与分区（patitions）、brokers 相关的元数据，以及选举 Kafka ......
“喜提”一个P2级故障—CMSGC太频繁，你知道这是什么鬼？
前段时间收到线上一些列告警，内容是CMSGC太频繁。那接下来这篇文章我会告诉你：什么是CMSGC太频繁；整个排查过程与你分享；以及一些规避手段。 ......
【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？
我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。
该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？ ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
阿里云香港节点全面故障给我们的启示
2022年12月18日上午，阿里云发布《阿里云香港可用区C某机房设备异常》公告。“阿里云监控发现香港地域某机房设备异常，影响香港地域可用区C的云服务器ECS、云数据库PolarDB等云产品使用，阿里云工程师已在紧急处理中。” 在这个寒冷的冬天，一个炸雷给业界惊起了一个大波浪。很多人不解的是说好的高可 ......
RabbitMQ、RocketMQ、Kafka延迟队列实现
延迟队列在实际项目中有非常多的应用场景，最常见的比如订单未支付，超时取消订单，在创建订单的时候发送一条延迟消息，达到延迟时间之后消费者收到消息，如果订单没有支付的话，那么就取消订单。 那么，今天我们需要来谈的问题就是RabbitMQ、RocketMQ、Kafka中分别是怎么实现延时队列的，以及他们对 ......
Kafka事务「原理剖析」
一、事务概览 提起事务，我们第一印象可能就是ACID，需要满足原子性、一致性、事务隔离级别等概念，那kafka的事务能做到什么程度呢？我们首先看一下如何使用事务 Producer端代码如下 KafkaProducer<String, String> producer = new KafkaProdu ......
go操作Kafka
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Ka ......
Karmada跨集群优雅故障迁移特性解析
摘要：在 Karmada 最新版本 v1.3中，跨集群故障迁移特性支持优雅故障迁移，确保迁移过程足够平滑。 本文分享自华为云社区《Karmada跨集群优雅故障迁移特性解析》，作者：Karmada社区。 在多云多集群应用场景中，为了提高业务的高可用性，用户的工作负载可能会被部署在多个集群中。然而当某个 ......
【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）
在我们日常的工作当中，通常应用都会采用Kubernetes进行容器化部署，但是总是会出现一些问题，例如，JVM堆小于Docker容器中设置的内存大小和Kubernetes的内存大小，但是还是会被OOMKilled。在此我们介绍一下K8s的OOMKilled的Exit Code编码。 ......
【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（下）
之前文章根据《【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）》我们知道了如何进行设置和控制对应的堆内存和容器内存的之间的关系，所以防止JVM的堆内存超过了容器内存，导致容器出现OOMKilled的情况... ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......