经验kafka
Apache Kafka JNDI注入(CVE-2023-25194)漏洞复现浅析
Apache Kafka是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。 ......
【经验】python运行报错ModuleNotFoundError: No module named XXX
应用场景本来是在pycharm里运行Python file，一切都很正常，然后为了让脚本自己乖乖地在服务器上跑，不占用IDE调试其他代码，所以决定用命令行直接在服务器上运行，结果报了如下错误： ModuleNotFoundError: No module named xxx其中 xxx 是项目中的子 ......
初识Kafka
介绍 Kafka Kafka 是一款基于发布与订阅的消息系统。 用生产者客户端 API 向 Kafka 生产消息，用消费者客户端 API 从 Kafka 读取这些消息。 Kafka 使用 Zookeeper 保存元数据信息。 Kafka 0.9 版本之前，除了 broker 之外， 消费者也会使用 ......
kafka消息堆积，consumer掉线
注：本文转自：https://www.toutiao.com/article/7160323779812983296/?log_from=5abd712547149_1679497545032 线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？ 最近处理了一次线上故障，具体故障表现 ......
版本控制经验分享
主分支，命名为master，版本分支发版后合并到该分支，只有生产部署权限可以合并其它分支到该分支； 版本分支，命名为release_版本号_发版时间，从master创建，版本发布使用，版本发布前或者发布后打tag标签，也可以不打标签看自己，版本发布后合并代码到master。 功能分支，命名为feat ......
Scrun团队流程学习经验
在做此作业中我们查阅了很多资料，首先就是Scrum过程管理方法我们是不理解的，其次是什么是敏捷过程，什么是Scrum过程管理方法？我们也仅此了解了一点思路。 1、‘敏捷过程’首先敏捷过程就是一种过程控制论，通俗的说，就是一种做事情的方法，按照步骤一步步的解决问题。 特点：以人为中心，循序渐进，不断优 ......
python处理kafka数据
1、程序作用：从多个topic中读取数据--处理数据--写入新的kafkatopic中 pip3 install kafka-python import json from kafka import KafkaProducer from kafka import KafkaConsumer #消费者 ......
解决Kafka总是丢消息的方法和原理
注：本文转自：https://www.toutiao.com/article/7210953985497678347/?log_from=f0ecce317abb8_1679450040551 引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）。 系统解耦： 上下游系统之间的通信相 ......
golang解决kafka消息丢失
Kafka是一个高吞吐量的分布式发布订阅消息系统，由于其高效的消息传递机制，被广泛应用于大规模数据处理、日志收集和实时数据流处理等场景中。但是，由于网络、硬件等原因，Kafka的消息有时可能会出现丢失的情况。下面是一些Go语言中解决Kafka消息丢失问题的方法： 1.设置合适的Kafka配置 在创建 ......
golang解决kafka消息重复发送和重复消费
1、解决消息重复发送 当使用Kafka生产者发送消息时，可以设置消息的Key，使用Key来保证相同Key的消息不会被重复发送。在发送消息时，可以使用带Key的消息发送方式，如下所示： msg := &sarama.ProducerMessage{ Topic: "test", Partition: ......
Linux 部署：kafka（虚拟机集群）
参考文档：https://blog.csdn.net/wt334502157/article/details/116518259 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99. ......
大数据之—kafka集群环境
前言 参考：https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m ......
【经验总结】idea中使用@Test注解没有显示启动按钮
1.pom.xml中添加依赖 <dependency> <groupId>org.junit.jupiter</groupId> <artifactId>junit-jupiter-api</artifactId> <version>5.3.1</version> </dependency> 2.启 ......
kafka简介
Kafka特点 Kafka已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。行为流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。 包括页面访问量 PV、页面曝光 Expose、页面点击 Click 等行为事件； 实时计算中的 Kafka Source，Dataf ......
经验+10：7-zip使用
下载安装：刚才去官网看到百度提示被黑客攻击，所以还是自行去应用商店下载 美化：知乎教程 美化工具下载地址：7ztm 美化包：百度网盘、蓝奏云见知乎教程 密码：SmartZip（可以实现自动填充密码，保存密码，对于那些常用的密码可以导入进去，以后就不用每次都输了） ......
kafka的基本概念
1 Broker Kafka集群包含一个或多个服务器，服务器节点称为broker。 如图，我们有2个broker，6个partition，则会均分；如果只有1个partition，那么另一个broker会闲置。 理想情况，我们希望broker数量等于partition数量，然后每个partition ......
一文了解清楚kafka消息丢失问题和解决方案
前言 今天分享一下kafka的消息丢失问题，kafka的消息丢失是一个很值得关注的问题，根据消息的重要性，消息丢失的严重性也会进行放大，如何从最大程度上保证消息不丢失，要从生产者，消费者，broker几个端来说。 消息发送和接收流程 kafka生产者生产好消息后，会将消息发送到broker节点，br ......
kafka的原理及集群部署详解
kafka原理详解 消息队列概述 消息队列分类 点对点 组成：消息队列（Queue）、发送者（Sender）、接收者（Receiver） 特点：一个生产者生产的消息只能被一个接受者接收，消息一旦被消费，消息就不在消息队列中了 发布/订阅 组成：消息队列（Queue）、发布者（Publisher）、订 ......
基于Kafka和Elasticsearch构建实时站内搜索功能的实践
目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。 ......
聊一下kafka的消费组
介绍 消费组使kafka中很重的概念，只有弄清楚消费组的概念，才能在项目中把它运用好，在kafka中，每个消费者都对应一个消费组，消费者可以是一个线程，一个进程，一个服务实例，如果kafka想要消费消息，那么需要指定消费那个topic的消息以及自己的消费组id(groupId)，也可以直接指定那个主 ......
四川九联代工M301H hi3798 mv300 mt7668魔百和 强刷和TTL线刷（救砖）经验分享
以下都是本次自己操作后的一些经验，不是技术分享，也是看来很多水教程后总结的精华。 四川九联代工M301H hi3798 mv300 mt7668魔百和 一、强刷 1.强刷的教程网上有很多，自己百度。（我只弄过这一个版型，其他的我也不知道） 这里要注意：1.下载的固件一定要和盒子的版本一致（主要是型号 ......
Java Agent场景性能测试分析优化经验分享
摘要：本文将以Sermant的SpringBoot 注册插件的性能测试及优化过程为例，分享在Java Agent场景如何进行更好的性能测试优化及在Java Agent下需要着重注意的性能陷阱。 作者：栾文飞 高级软件工程师 一、背景介绍 Sermant是一个主打服务治理领域的Java Agent框架 ......
Kafka最佳实践
前言 Kafka 最佳实践，涉及 典型使用场景 Kafka 使用的最佳实践 Kafka 典型使用场景 Data Streaming Kafka 能够对接到 Spark、Flink、Flume 等多个主流的流数据处理技术。利用 Kafka 高吞吐量的特点，客户可以通过 Kafka 建立传输通道，把应用 ......
Apache Kafka教程--Kafka新手入门
Apache Kafka教程--Kafka新手入门 Kafka Assistant 是一款 Kafka GUI 管理工具——管理Broker,Topic,Group、查看消费详情、监控服务器状态、支持多种消息格式。 摘要 今天，我们开始了我们的新旅程，这就是Apache Kafka教程。在这个Kaf ......
c++ 程序通用多线程单例设计 c++ web 框架设计经验谈
设计 c++ web 框架时候，想要一个框架缓存类，很多通用缓存类是用字符保存，作为框架内置就不要序列和反序列了，因为框架内部使用。 想给自己的paozhu c++ web 框架添加缓存类，参考了springboot 于是确定用单例设计模式缓存类模板。 c++11后静态变量已经统一为线程安全了，网络 ......
重学了计算机网络，略有小成，经验全部分享出来
公众号「古时的风筝」，专注于后端技术，尤其是 Java 及周边生态。文章会收录在 JavaNewBee 中，更有 Java 后端知识图谱，从小白到大牛要走的路都在里面。 大家好，我是风筝。 重学计算机网络已经有一段时间了，终于在离开大学多年后又重新拾起了一部分，时至今日已略有小成，并且写了一系列的文 ......
WPF开发经验-实现一种三轴机械手控件
一 引入 考虑实现一种三轴机器人控件。 三轴机器人用来将某种工件从一个位置运送到另一个位置。 其X轴为手臂轴，可以正向和反向运动，它处于末端，直接接触工件； 其T轴为旋转轴，可以对手臂进行旋转； 其Z轴为升降轴，可以对手臂和旋转部分进行升降。 二 RobotControl 定义出机器人的轴动作枚举， ......
关于微服务的一些总结和经验之谈，来看看你都了解吗
一 谈谈对微服务的理解 1. 什么微服务？ 微服务是一种软件开发技术- 面向服务的体系结构（SOA）架构样式的一种变体，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。 每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通（通常是基于HTTP ......
后端应用分层经验总结
后端应用分层是什么，例如：你用Spring MVC开发web程序、项目用三层架构分包，这些都用了分层思想。 MVC模式包含了三部分： 视图(view)：负责界面显示、处理用户交互。如：前端应用 控制器(controller)：协调视图层与模型层之间的相互工作。控制器接收视图层发来的请求，决定用那些模 ......