kafka优缺点
kafka 为何会如此之快？
Kafka 是一个分布式流媒体平台，支持高吞吐量、高度分布式、容错和低延迟的消息传递的中间件. 让我们了解是什么让 Kafka 如此之快的原因? 低延迟 IO： 在消息传递中实现低延迟的传统方法之一是通过随机存取存储器 (RAM)。虽然这种方法使它们速度很快，但 RAM 的成本远高于磁盘。当您有数百 ......
K8S 1.24.1 helm 部署 kafka 和 kafka-console-ui
背景 | IP | 角色 | 中间件 | | | | | | 172.16.16.108 | k8s-master-1 | kafka, zookeeper | | 172.16.16.109 | k8s-node-1 | kafka, zookeeper | | 172.16.16.110 | k ......
Flutter 的优缺点及前景
Flutter 是由 Google 创建的免费开源的移动应用程序开发框架。可以用它为 iOS、Android 和 Web 平台，开发界面华丽、高性能、响应式的应用程序。Flutter 基于 Dart 编程语言，并使用 Skia 图形库来渲染其组件。 和很多其它框架一样，Flutter 宣称其主要特性 ......
分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析
面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。 — 分布式文件系 ......
docker compose 快速安装 单机kafka版并且 持久化
kafka 的业务场景不用多说了，耗时缓存队列，利用高吞吐以及队列模型实现 高并发情况下流量削峰,高流量的日志收集，都是kafka 的应用场景. 单机版的kafka ,在业务场景中，业务对其是非强依赖组件，如果对业务对kafka 强依赖的话，建议搭建 高可用kafka 群集。 机子：centos 安 ......
ThreadLocal缺点及解决方案
简单的一句话总结是每个Thread上都有一个threadLocals属性，它是一个ThreadLocalMap，里面存放着一个Entry数组，key是ThreadLocal类型的弱引用，value是对用的值。所有的操作都是基于这个ThreadLocalMap操作的。但是它有一个局限性，就是不能在父子 ......
长连接和短连接区别和优缺点
TCP与UDP udp：面向无连接的通信协议，数据包括目的端口信息和源端口信息 优点：面向无连接，操作简单，要求系统资源较少，速度快，由于不需要连接，可进行广播发送 缺点：发送数据之前不需要与对方建立连接，接收到数据时也不需要发送确认信号，发送端不知道接收端是否正确接接收，不会重发，不可靠。 tcp ......
Redis各种数据分片方式应用场景以及优缺点
前言 数据分片是指将数据按某种方式存储到不同的服务上来解决单机服务容量不足的问题。 本文围绕 Redis 讲述逻辑拆分、随机分配、哈希取模、一致性哈希等分片算法原理和使用场景。并在此基础上对比客户端分片、代理(Proxy) 和 Redis Cluster 各自的优缺点。 客户端分片 三种普通方式 逻 ......
Redis持久化RDB和AOF原理解析、使用和优缺点对比
前言 本文讲述 Redis 两种持久化方式 RDB 和 AOF 优缺点以及原理。 为何需要持久化？ Redis 是基于内存操作的，进程终止、服务器宕机后内存数据会丢失，但是在很多使用场景中我们希望数据不丢失，服务重启之后数据还能恢复到停机前的状态，特别是使用 Redis 做数据库的情况。 Redis ......
Kafka中ACKS LSO LEO LW HW AR ISR OSR解析
前言 Kafka中ACKS三种策略，LSO、LEO、LW、HW、AR、ISR、OSR解析。 名称解释 ACKS（Acknowledgments）确认、回执 LW（Low watermark）低水位、LSO（Log start offset）起始偏移量 HW（High watermark）高水位 LE ......
Kafka原理解析
前言 从整体浅析Kafka集群结构、和Zookeeper之间的关系、长轮询机制、消息生产和消费以及顺序消费等。 名词解释 Broker（Kafka服务） Controller（唯一充当控制器的Kafka服务） Topic（消息主题，一个主题包含多个） Partition（消息分区），Replica（ ......
Kafka消息与索引详解
前言 以kafka_2.13-2.8.0为例，分析Kafka消息在磁盘上的存储结构、配置以及如何通过索引找到具体的消息数据。 分区目录 一个分区（Partition）有1到多个副本（Replica），是主从结构，主（Leader）负责处理读写请求，从（Follower）只负责同步数据并在主宕机的时候 ......
Kafka保证消息可靠性配置
前言 这篇内容是保证 Kafka 消息可靠性的相关配置，内容主要来自《Kafka权威指南》这本书，再根据 Apache - Kafka文档2.8 总结出来的。文中每个配置项是个超链接，可以定位到配置的官方文档。代码例子可以访问 GitHub - fruitbasket-litchi-kafka Br ......
在Linux搭建Kafka集群
前言 以kafka_2.13-2.8.0版本做示例，安装架构图如下所示，4台服务器，4个节点的Zookeeper集群（1主2从1观察）以及3个Kafka服务。 准备工作 准备多台服务器来搭建集群环境 Kafka需要Zookeeper做分布式协调，所以得先准备好Zookeeper集群。可以参考 在Li ......
在Linux安装Kafka监控系统EFAK
前言 EFAK（Eagle For Apache Kafka）是一个简单、高性能的Kafka集群监控系统，实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能，它以前的名字叫Kafka Eagle。 我们重点看看如何安装以及简单使用它。 kafka 版本支持：0.8.2.x, ......
Kafka 单机部署搭建及其基本使用
https://blog.csdn.net/web17886480312/article/details/126034345 最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka ......
4-kafka
1、什么是Kafka，Kafka 的设计架构 Producer 生产者即数据的发布者，该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后，broker 将该消息追加到当前用于追加数据的segment文件中。 生产者发送的消息，存储到一个partition中，生产者也可以 ......
单例模式的优缺点和使用场景
首先介绍一下单例模式： 单例模式（Singleton），也叫单子模式，是一种常用的软件设计模式。在应用这个模式时，单例对象的类必须保证只有一个实例存在。许多时候整个系统只需要拥有一个的全局对象，这样有利于我们协调系统整体的行为。比如在某个服务器程序中，该服务器的配置信息存放在一个文件中，这些配置数据 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A2--Kafka部署
一、版本信息 JDK 1.8 kafka 3.3.1 二、集群架构 Kafka-Kraft 架构介绍 左图为 Kafka 原有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构， 不再依赖 z ......
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 ......
kafka 安装和配置
下载及安装 第一步：进入kafka官网 按照自己的需求选择版本，我这里选择 最新版的 2.4.0 http://archive.apache.org/dist/kafka/2.4.0/kafka_2.11-2.4.0.tgz 2. 第二步：下载 wget http://archive.apache. ......
php 扩展kafka
一、安装librdkafka cd /usr/local/src/ git clone https://github.com/edenhill/librdkafka.git cd librdkafka ./configure make make install ln -s /usr/local/li ......
php kafka生产者，消费者操作
php7.2 kafka7.8.1 生产者代码 <?php $conf = new RdKafka\Conf(); $conf->setDrMsgCb(function ($kafka, $message) { file_put_contents("./dr_cb.log", var_export( ......
kafka 安装
安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off Kafka官网下载安装包 http://kafka.apache.org/downloads.h ......
Kafka在本地环境下不消费数据
package com.test.core.condition; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Value; import org.springframewo ......
docker-zk-kafka
docker-zk-kafka docker-compose.yml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kaf ......
docker部署zookeeper与kafka
version: '3' services: zookeeper: image: zookeeper:3.6.3 restart: always networks: - kz hostname: zookeeper ports: - 2181:2181 kafka: image: 'bitnami/ ......