经验kafka

Kafka的部分初始化参数的学习与整理

Kafka的部分初始化参数的学习与整理 背景 前段时间跟同事一起处理过kafka的topic offset的retention 时间与 log 的retention时间不一致. 导致消息还有, 但是offset 没有, 导致重复消费的问题. 发现很多产品其实参数很复杂, 不能只看一个参数就立马进行修 ......
参数 部分 Kafka

kafka可视化管理:Kafka Manager

需求 虽然kafka server有命令行工具管理kafka,但必须登录到kafka server主机上,觉得不是特别方便。 希望在web界面可以管理kafka需求就来了,查到几个管理kafka管理工具,觉得kafka manager还不错。 该管理工具基本上可以满足我的需求: 1)管理kafka ......
Manager kafka Kafka

Kafka基本原理、生产问题总结及性能优化实践

Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流... ......
原理 性能 问题 Kafka

Apollo 配置中心的部署与使用经验

Apollo 特点:成熟,稳定 支持管理多环境/多集群/多命名空间的配置 配置修改发布实时(1s)通知到应用程序 支持权限控制、配置继承,版本管理,灰度发布,使用监控等 ......
经验 Apollo

Flink消费kafka数据同步问题排查

Flink消费kafka数据同步问题排查 https://mp.weixin.qq.com/s/EZbCKHBI_JrsF0yJndhe8Q Flink消费kafka数据同步问题排查 原创 任天兵 哈啰技术 2023-10-31 17:31 发表于上海 我们有一个flink任务,消费的kafka的数 ......
数据 问题 Flink kafka

PMP-5.2 管理项目知识--经验教训登记册

################################################# 上一章我们说明了指导与管理项目工作的内容及工具, 主要内容包括输出:工作绩效数据、问题日志、变更请求、可交付成果。 主要用到的工具是项目管理信息系统,各个公司的项目管理信息系统都有所不同,但都需包含进 ......
登记册 教训 经验 项目 知识

7年经验之谈 —— 什么是模糊测试?

背景:近年来,随着信息技术的发展,各种新型自动化测试技术如雨后春笋般出现。其中,模糊测试(fuzz testing)技术开始受到行业关注,它尤其适用于发现未知的、隐蔽性较强的底层缺陷。这里,我们将结合AFL开源工具,对模糊测试的基本概念和流程进行说明。 01、模糊测试的定义 模糊测试的核心思想是,根 ......
经验

kafka了解多少,遇到哪些故障,怎么解决的?

作为一种分布式消息队列,Kafka 在实际应用中也可能遇到各种故障,下面列举几种常见的情况和解决方案: 1. 节点宕机 当 Kafka 集群中的某个节点宕机时,可能导致数据不一致、数据丢失等问题。解决方案建议使用多副本机制,即在各个节点之间进行数据的同步和复制,保证集群中的节点宕机时,数据不会丢失。 ......
故障 kafka

Kafka-生产者性能调优

(一)参数调优 参数调优相关代码 在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。在这段代码中有很多常用的参数配置,在线上使用时,我们要根据实际的数据量和数据大小来决定这些配置的具体值。 Properties props = ......
生产者 性能 Kafka

Kafka-生产者、broker、消费者的调优参数总结

生产环境下,为了尽可能提升Kafka的整体吞吐量,可以对Kafka的相关配置参数进行调整,以达到提升整体性能的目的。 本文主要从Kafka的不同组件出发,讲解各组件涉及的配置参数和参数含义。 一、生产者(producer.properties或者代码中) 1、acks:Producer需要Leade ......
生产者 消费者 参数 broker Kafka

关于独木桥问题中的一些经验总结

1. 变量定义及初值 int countwest=0;//西向在独木桥上的人数(<=1) int counteast=0;//东向在独木桥上的人数 sem_t mutex;//锁与桥互斥 sem_t eastmutex;//锁与counteast互斥 sem_init(&mutex, 0, 1);/ ......
独木桥 独木 经验 问题

Kafka基础学习笔记

一、Kafka: 1、简介: Kafka是由Apache开源,具有分布式、分区的、多副本的、多订阅者,基于Zookeeper协调的分布式处理平台,由Scala和Java语言编写。最大的特性就是可以实时并高速的处理大量数据来满足需求,同时对消息数据进行持久化存储。 2、优点: Kafka与其他消息队列 ......
基础 笔记 Kafka

kafka代码实践

安装kafka: Windows安装kafka, 详情见:https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka,详情见:https://blog.csdn.net/sinat_32502451/art ......
代码 kafka

kafka代码示例

安装kafka: Windows安装kafka, 详情见:https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka,详情见:https://blog.csdn.net/sinat_32502451/art ......
示例 代码 kafka

大语言模型Fine-tuning踩坑经验之谈

前言 由于 ChatGPT 和 GPT4 兴起,如何让人人都用上这种大模型,是目前 AI 领域最活跃的事情。当下开源的 LLM(Large language model)非常多,可谓是百模大战。面对诸多开源本地模型,根据自己的需求,选择适合自己的基座模型和参数量很重要。选择完后需要对训练数据进行预处 ......
Fine-tuning 模型 语言 经验 tuning

开发经验

maven项目打包jar 将java或javaweb项目打包为jar包或war包[通俗易懂] https://cloud.tencent.com/developer/article/2081508 IDEA MAVEN项目打包成jar包的两种简单方式 https://blog.csdn.net/qq ......
经验

开发经验有感

很多人问如何从高级到专家,如何看待 35 岁职业危机,今天分享一个反例,先来看看一个不好的程序员是什么样的,希望有所帮助。 软件行业的工作经验和从事这个行业的工作年限直接相关。这句话在某种程度上是对的,但是从事这项工作的年限,并不一定代表获得了相同年限的工作经验。 正如一句话所说:“我们以为我们是工 ......
经验

Kafka 在分布式系统中的 7 大应用场景

Kafka 介绍 Kafka 是一个开源的分布式流式平台,它可以处理大量的实时数据,并提供高吞吐量,低延迟,高可靠性和高可扩展性。Kafka 的核心组件包括生产者(Producer),消费者(Consumer),主题(Topic),分区(Partition),副本(Replica),日志(Log), ......
分布式 场景 系统 Kafka

K8s - 安装部署Kafka、Zookeeper集群教程(支持从K8s外部访问)

本文演示如何在K8s集群下部署Kafka集群,并且搭建后除了可以K8s内部访问Kafka服务,也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式:一种是 StatefulSet,另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 Zoo ......
集群 K8s Zookeeper 教程 Kafka

kafka基于SCRAM认证,快速配置启用ACL

启动和停止服务 zookeeper /usr/local/apache-zookeeper-3.8.2-bin/bin/zkServer.sh start /usr/local/apache-zookeeper-3.8.2-bin/bin/zkServer.sh stop kafka /usr/lo ......
kafka SCRAM ACL

kafka-ACL

本文档时在centos7直接部署添加认证的kafka文件基础上,做下面的修改实现ACL访问控制topic 参考:https://www.seaxiang.com/blog/Qpsqii 一. 添加多个kafka用户及相关的配置文件 1.kafka_server_jaas.conf KafkaServ ......
kafka-ACL kafka ACL

helm部署kafka鉴权以及ACL

官方文档 https://github.com/bitnami/charts/tree/main/bitnami/kafka https://blog.csdn.net/u011618288/article/details/129105777 (包含zookeeper与broker认证、鉴权流程) ......
kafka helm ACL

centos7直接部署添加认证的kafka

前言 测试服务器:10.255.60.149 一. 安装jdk 官网下载jdk1.8版本以上的 https://www.oracle.com/java/technologies/downloads/ 测试系统版本为centos7,选择了最后一个下载后,使用rpm -ivh即可安装 二. 安装zook ......
centos7 centos kafka

docker-compose部署SASL认证的kafka

前言 测试服务器:10.255.60.149 一. 编写docker-compose文件 1.docker-compose.yml version: '3.8' services: zookeeper: image: wurstmeister/zookeeper volumes: - /data/z ......
docker-compose compose docker kafka SASL

Kafka Server之kafka-consumer-groups.sh

消费者组查询 在 kafka server中查看有哪些消费者:./kafka-consumer-groups.sh --list --bootstrap-server localhost:9092 查询到有2个消费者组 消费者组描述 在 kafka server中查看指定消费者组信息:./kafka ......

Windows Server设置SqlServer2012远程连接和Mysql8远程连接经验

第一步,先设置阿里云,“网络与安全”》“安全组”》“管理规则”》“入方向”添加相应端口记录 SQLServer 首先,我们在登录时,选择Windows身份验证,然后连接到服务器。 ......
SqlServer Windows 经验 Server Mysql8

支付宝沙箱超详细教程+避雷经验,看这篇就够了

使用支付宝沙箱的时候经常踩坑 TAT 自己排查问题还要花好长时间。 今天总结了一下支付宝沙箱的使用教程,希望帮助到大家,避免重复踩坑~ψ(*`ー´)ψ ......
沙箱 经验 教程

kafka:brokers are down

producer发布消息失败 由于使用脚本:./kafka-server-stop.sh and ./zookeeper-server-stop.sh 关闭kafka后,jps查询服务还在,就打算把重启系统。 重启后,往kafka上发布消息失败,报错代码:brokers are down 。 一顿操 ......
brokers kafka down are

FRIDA 使用经验交流分享

原文 https://bbs.kanxue.com/thread-265160.htm Frida 是非常灵活的 Hook 框架,支持多平台。在这里就不过多介绍了,详细可以参看官网:https://frida.re/使用 Frida也挺长时间了,结合平时实战的经验,系统的梳理了一下开发环境、调试环境 ......
经验交流 经验 FRIDA

应届生第一次求职,也没啥经验

本文首发自公粽hao「林行学长」,欢迎来撩,免费领取20个求职工具资源包。 了解校招、分享校招知识的学长来了! 不知不觉现在就是接近校招尾声了。 回首 2024 届的秋招,相信有很多同学在求职的过程中也是一点点进步。 当然第一次求职,大家没啥经验,会犯一些小错。 今天,就和学长一起来看看咱们在求职过 ......
第一次 经验