经验kafka
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
Kafka关键原理
# 日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 1. 当前日志分段文件的大小超过了broker端参数 `log.segment.bytes` 配置的值。`log.segment.bytes`参数的默认值为 `1073741824`，即1GB 2. 当前日志分段中消息的最小时间 ......
（转）七年老运维实战中的 Shell 开发经验总结
原文：https://mp.weixin.qq.com/s/0VmbKcttZ0aKpVRb65ycew 无论是系统运维，还是应用运维，均可分为“纯手工”—> “脚本化”—> “自动化”—>“智能化”几个阶段，其中自动化阶段，主要是将一些重复性人工操作和运维经验封装为程序或脚本，一方面避免重复性操作 ......
1-kafka介绍及基础架构
1.kafka: 高吞吐量的分布式发布订阅消息系统； 1>同步变异步 2>解耦 3>削峰填谷 2.消息队列的两种工作模式: 保证到kafka中的消息被多个消费者消费，并且被相同消费者重复消费； 3.kafka集群形式 4. hash:消息的均匀分散，相同的key落入同一分区 只有leader负责分区 ......
5年测试经验怎么着我也能要个20K吧？没想到被阿里P8问傻了
都说金三银四是跳槽涨薪季，我也是着急忙慌的准备简历——5年软件测试经验，可独立测试大型产品项目，熟悉项目测试流程…薪资要求？5年测试经验起码能要个20K吧？ 我加班肝了一页半简历，投出去一周，面试电话倒是不少，自信满满去面试，现场被问了这么几个问题——— “会代码吗？”“额…会一点”“有没有写过自动 ......
【软件】常用软件使用经验分享.md
| Blog | 说明 | | | | | [【惊奇软件】Typora 1.6.6( 修改版) - Markdown编辑器](https://www.ghxi.com/typora.html) | 将winmm.dll 文件（夸克云盘）拷贝到typora安装目录就可以破解了，easy | | [【2 ......
手记系列之六 ----- 分享个人使用kafka经验
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见谅。温馨提醒， ......
Java Kafka简单地将Map对象序列化为json
最近用到kafka，想简单地把Map对象序列化为json发送到主题， 直接用string序列化，生成的结果不是json，虽然格式很像， key都没有引号，可能是直接调用的toString方法。 但是网上搜了一圈，都是spring组合或者其他不太简单的方案。 在哔站看了一段视频受到启发，就实现了一个自 ......
Kafka的系统架构和API开发
# 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区（提升kafka吞吐量） topic中数据的具体 ......
Kafka 面试题
## 1. 为什么要使用 Kafka，为什么要使用消息队列 1. 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，Kafka 在中间可以起到一个缓冲的作用，把消息暂存在 Kafka 中，下游服务就可以按照自己的节奏进行慢慢处理。 2. 解耦和扩展性：项目开始的时 ......
手记系列之五 ----- SQL使用经验分享
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用Sql一些使用方法和经验，从最基本的SQL函数使用，到一些场景的业务场景SQL编写。 ## SQL基础函数使用 ### 1.字段转换 CASE WHEN 意义: If(a==b) a=c; 用法: 1, CASE 字段 WHEN 字段结果1 T ......
流式处理平台Kafka为什么能这么快
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的快指的是kafka在单位时间搬运的数据量大小，也就是吞吐量。下图是不同消息队列的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 那究竟是什么原因让kafka如 ......
kafka的安装和基本操作
# 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 ......
4年测试经验面试要20K，简单问了一下，连基础都不会，我也是醉了····
现在招个合适的人可真难呀，不是这不会就是那不会，没有一个让我满意的··· 公司前段时间缺人，面试了不少的测试，结果居然没有一个符合要求的。一开始瞄准的就是中级测试工程师的水准，也没指望来技术大牛，提供的薪资在10-20k，面试的人很多，但平均水平很让人失望。 细看简历很多人都是3、4年工作经验，但面 ......
mongodb c driver使用经验
# 连接数据库 # 获取mongoc_cursor_t* cursor # 循环获取数据，存入bson_t ``` const bson_t *doc = nullptr; while (mongoc_cursor_next(cursor, &doc)) ``` # 获取迭代器 上面只是获取了对应的 ......
Adobe 构建 IDP 之路的经验与教训
在过去的25年多时间里，我创建了软件组件和分布式框架，建立并领导了相关团队。近几年我致力于推动 Adobe 服务开发、部署和管理系统的开发人员生产力。 ## 抽象陷阱 在云时代早期，Adobe 的每个团队都有自己的云账户、部署系统，其对应的成熟度也截然不同。很快我们就意识到需要对此进行标准化，这样成 ......
kafka实现高可用性
什么是高可用 「高可用性」，指系统无间断地执行其功能的能力，代表系统的可用性程度 Kafka从0.8版本开始提供了高可用机制，可保障一个或多个Broker宕机后，其他Broker能继续提供服务 备份机制 Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个L ......
RDS 、HDFS、 mapreduce 、spark 、hive、 hbase 、zookeeper 、kafka 、flume、mysql 安装时之间配置文件是如何依赖的？
这些技术是大数据领域的常用组件，它们之间的配置文件依赖关系如下： RDS是一种关系型数据库，可以独立安装和使用，不需要依赖其他组件。 HDFS是Hadoop分布式文件系统，通常与MapReduce一起使用。在Hadoop集群中，HDFS需要配置core-site.xml和hdfs-site.xml两 ......
Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！ 当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web 一 ......
Linux 安装Kafka及远程访问
下载 wget 官网 tar -zxvf kafka_2.13-2.5.0.tgz 启动kafka和zookeeper 编写一个sh文件启动 /opt/kafka_2.13-3.0.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.0.0/confi ......
kafka
1.消息的模式主要两种，第一种点对点，消费完就删掉。第二种主流的，发布订阅，一对多，消费之后不会删掉。 2.卡夫卡的主要结构：生产者--broker--消费者，broker里有很多partation，实际上一个broker就是一台服务器，partation类似于es的分片，也有主分区从分区之分，只不 ......
原来kafka也有事务啊，再也不担心消息不一致了
## 前言 现在假定这么一个业务场景，从`kafka`中的`topic`获取消息数据，经过一定加工处理后，发送到另外一个`topic`中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢？ ----不再跟踪纳入git管理的文件或目录
纳入git管理的有些文件, 后续不想再纳入管理了, 怎么处理? 比如之前我开发的输入法的数据文件, 刚开始是需要纳入git管理的, 以便存储初始的数据文件, 但是这个文件需要不断刷新, 这样后续就不需要继续纳入管理了, 怎么取消呢? 参考: https://blog.csdn.net/marco00 ......
git一些小经验(2)----关于git的地址
git地址有两种格式, 如下所示: - `https://github.com/username/repository.git`; - `git@gitee.com:username/my-ime.git ` 前者协议是https的, 需要提供用户名和密码; 后者是ssh协议, 需要配置密钥. 在g ......