kafka优缺点
golang实现设计模式之策略模式-优缺点，适用场景
`策略模式`是一种行为型的设计模式，该模式定义了一系列算法，并将每个算法封装起来，使它们可以相互替换，且算法的变化不会影响使用算法的客户，或者认为把使用算法的责任和算法的实现分割开来，并委派给不同的对象对这些算法进行管理。 **结构** * 1.抽象策略（Strategy）类。定义了一个公共接口，各 ......
golang实现设计模式之模板模式-优缺点，适用场景
`模板模式`是一种行为型设计模式，其定义一个操作中的算法的骨架，而将一些步骤延迟到子类中。模板方法使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。 **特点** * 1.算法结构已确定。 * 2.具体实现交由子类实现。 **结构** * 1.抽象类（Abstract Class）。算 ......
golang实现设计模式之装饰器模式-优缺点，适用场景
`装饰器模式`是一种结构型设计模式，简单概括就是：不改变先有对象结构下，动态给对象增加一些职责。 装饰器模式通过组合方式实现，与继承的异同： * 使用继承方式，具有静态特征，耦合度高，并且随着扩展功能的增多，子类会很膨胀。 * 使用组合方式，创建装饰对象来装饰真实对象，原对象功能不变，另外扩展。 * ......
golang实现设计模式之组合模式-优缺点与适用场景
`组合模式`是一种将对象组合成树状的层次结构的模式，用来表示“整体-部分”的关系，使用户对单个对象和组合对象具有一致的访问性，属于结构型设计模式。 **结构** * `抽象构件（Component）角色`：它的主要作用是为树叶构件和树枝构件声明公共接口，并实现它们的默认行为。在透明式的组合模式中抽象 ......
golang实现设计模式之责任链模式-优缺点，适用场景
`责任链模式`是一种行为型的设计模式，也叫职责链，定义：在这样的场景中，请求需要经过一系列的处理者，通过列表或者链表将处理者组合起来，请求依次被处理者处理，如果需要中断，也可以及时退出处理。上述的这种的应用场景，典型的就是在 `web` 应用中的 `中间件或者拦截器`，比如 `Gin框架` 的中间件 ......
golang实现设计模式之适配器模式-优缺点，适用场景
`适配器模式`是一种结构型设计模式，它是通过接口转换，使得原先接口不被兼容的其他类可以一起工作。 **类型** * 类结构型 特点： \- 程序耦合性高 \- 要求程序员对组件内部结构熟悉 \- 应用相对少些 类适配器模式可以用过继承的方式来实现。 * 对象结构型 特点：可重用性较差。 对象适配器允 ......
golang实现设计模式之观察者模式-优缺点，适用场景
`观察者模式`是一种行为型模式，其定义一种订阅机制， 可在对象事件发生时通知多个 “观察” 该对象的其他对象。 观察者模式常用 `订阅/发布机制`，即发布者持有所有订阅者，当发布者状态变更或者特定行为时，通知所有订阅者。 **结构** * 1.发布者。属性及行为：属性，订阅者列表，行为，添加、删除订 ......
1-kafka介绍及基础架构
1.kafka: 高吞吐量的分布式发布订阅消息系统； 1>同步变异步 2>解耦 3>削峰填谷 2.消息队列的两种工作模式: 保证到kafka中的消息被多个消费者消费，并且被相同消费者重复消费； 3.kafka集群形式 4. hash:消息的均匀分散，相同的key落入同一分区 只有leader负责分区 ......
基于网卡地址做设备指纹的优缺点
生成设备指纹的目的是为了能**唯一地标识设备**，而且这个标识**在设备的生命周期内保持稳定**。因此，在选择设备特征时，通常需要考虑这些特征的**唯一性**和**稳定性**。 * 软件及配置信息一版不适合，是因为这类变化虽然不大，但万一变化后，设备指纹会变，影响使用。比如： * 操作系统信息：操作 ......
关于对称加密算法的特点及优缺点说明
对称加密算法（symmetrical encryption）特点 1、加密、解密使用同一个密钥，因此也称为单密钥加密，也有直接称为密钥加密 2、将原始数据分割成为固定大小的块，逐个进行加密 对称加密算法的优点 加密、解密使用同一个密钥，加密解密的速度快，效率高 对称加密算法的缺点 必须商定秘钥：数据 ......
手记系列之六 ----- 分享个人使用kafka经验
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见谅。温馨提醒， ......
Java Kafka简单地将Map对象序列化为json
最近用到kafka，想简单地把Map对象序列化为json发送到主题， 直接用string序列化，生成的结果不是json，虽然格式很像， key都没有引号，可能是直接调用的toString方法。 但是网上搜了一圈，都是spring组合或者其他不太简单的方案。 在哔站看了一段视频受到启发，就实现了一个自 ......
Kafka的系统架构和API开发
# 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区（提升kafka吞吐量） topic中数据的具体 ......
Kafka 面试题
## 1. 为什么要使用 Kafka，为什么要使用消息队列 1. 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，Kafka 在中间可以起到一个缓冲的作用，把消息暂存在 Kafka 中，下游服务就可以按照自己的节奏进行慢慢处理。 2. 解耦和扩展性：项目开始的时 ......
流式处理平台Kafka为什么能这么快
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的快指的是kafka在单位时间搬运的数据量大小，也就是吞吐量。下图是不同消息队列的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 那究竟是什么原因让kafka如 ......
kafka的安装和基本操作
# 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 ......
面试遇到的，总结一下，欢迎指正：单体架构跟微服务架构的选择以及优缺点
单体架构：一个war包或者jar包包含了应用的所有功能，称之为单体应用，单体架构中，所有功能集中在一个包中，功能集中、代码跟数据中心化，这是一种比较传统的架构风格，常见的ERP、CRM等系统都以单体架构的方式运行 优点： 1.架构简单：使用软件设计中的三层模型，即表示层，业务层，数据访问层 2.技术 ......
几种分布式文件系统的优缺点归纳与总结
1、常用的分布式文件系统有以下几种： 1. Hadoop HDFS：Hadoop Distributed File System（HDFS）是Apache Hadoop生态系统的一部分，用于存储和处理大数据。 2. Ceph：Ceph是一个开源的分布式存储系统，提供了高可用性、高性能和可扩展性。 3 ......
kafka实现高可用性
什么是高可用 「高可用性」，指系统无间断地执行其功能的能力，代表系统的可用性程度 Kafka从0.8版本开始提供了高可用机制，可保障一个或多个Broker宕机后，其他Broker能继续提供服务 备份机制 Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个L ......
RDS 、HDFS、 mapreduce 、spark 、hive、 hbase 、zookeeper 、kafka 、flume、mysql 安装时之间配置文件是如何依赖的？
这些技术是大数据领域的常用组件，它们之间的配置文件依赖关系如下： RDS是一种关系型数据库，可以独立安装和使用，不需要依赖其他组件。 HDFS是Hadoop分布式文件系统，通常与MapReduce一起使用。在Hadoop集群中，HDFS需要配置core-site.xml和hdfs-site.xml两 ......
Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！ 当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web 一 ......
Linux 安装Kafka及远程访问
下载 wget 官网 tar -zxvf kafka_2.13-2.5.0.tgz 启动kafka和zookeeper 编写一个sh文件启动 /opt/kafka_2.13-3.0.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.0.0/confi ......
kafka
1.消息的模式主要两种，第一种点对点，消费完就删掉。第二种主流的，发布订阅，一对多，消费之后不会删掉。 2.卡夫卡的主要结构：生产者--broker--消费者，broker里有很多partation，实际上一个broker就是一台服务器，partation类似于es的分片，也有主分区从分区之分，只不 ......
原来kafka也有事务啊，再也不担心消息不一致了
## 前言 现在假定这么一个业务场景，从`kafka`中的`topic`获取消息数据，经过一定加工处理后，发送到另外一个`topic`中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢？ ~*
顺序表 优点是可以随机存取元素，存储密度高，结构简单； 缺点是需要一片地址连续的存储空间，不便于插入和删除元素（因为插入需要将大量的元素向后移动，删除需要将后续大量的元素向前覆盖），表的容量难以确定； 链表 优点是便于结点的插入与删除（只需要修改指针域，不需要移动结点），表的容量扩充十分方便； 缺点 ......
Spark消费Kafka
0. 前言 之前先写了处理数据的spark，用文件读写测了一批数据，能跑出结果；今天调通了Kafka，拼在一起，没有半点输出，查了半天，发现是之前的处理部分出了问题，把一个不等号打成了等号，把数据全filter没了。很恐怖，我保证这段时间我没动过这段代码，但上次真的跑出东西了啊（尖叫 1. 配置流程 ......