proposals apache kafka zk
为你的 Apache2 服务器上添加用户认证
背景 在一些情况下，当我们使用web服务器作为下载服务器，默认情况下文件都会存放在/var/www目录下，如果是公网那将涉及到一定的安全性。在apache中，添加用户认证（User Authentication）是 Apache HTTP 服务器中一种常见的安全措施，用于限制对某些资源的访问。指定允 ......
Apache Kyuubi 讲解与实战操作
目录一、概述二、Spark Kyuubi 架构三、Hadoop 基础环境安装1）hadoop 下载部署包2）创建网络3）部署MySQL4）部署 Hadoop Hive四、Spark Kyuubi 安装1）下载 Kyuubi2）下载 Spark32）配置 Kyuubi （Spark3）3）启动 Kyu ......
Kafka 保证消息消费的全局顺序性问题
参考：https://mp.weixin.qq.com/s/A69gY_tDXrs4kQPiuUNJTQ Kafka 的设计目标是提供高吞吐量和低延迟，而不是强制保证全局有序性，所以Kafka使用多分区的概念，并且只保证单分区有序 如果想要实现消息的全局有序 方法1.单分区策略： 一个主题下只创建一 ......
Java学习之apache poi操作Excel文件
创建Java项目，然后加入Maven依赖如下： 读取指定的Excel文件 写入既存的Excel文件 创建新的Excel，添加文件内容 ......
apache HttpClient异常-ProtocolException: Target host is not specified
昨夜，甘肃临夏州积石山县发生6.2级地震，影响到甘肃、青海地区。截至目前，已有100多人遇难。百度了一下当地天气，还挺冷，夜间温度低到-15℃。祈祷难民早日得到救援吧。 分享今天解决的一个生产问题告警。 如下HTTP工具类中的httpClientPost方法使用apache（maven坐标：org. ......
Apache-httpd最新版本升级教程，解决漏洞（CVE-2017-9788、CVE-2017-9798、CVE-2016-2161等）
参考文档： https://blog.csdn.net/weixin_47444415/article/details/133682253 根据官网提供最新的版本号，下载最新版本即可； 这个教程试验过了，可以用； 注： 一.错误 报错：configure: error: You need a C++ ......
Linux系统下kafka集群安装部署
Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操 ......
报错：org.apache.hadoop.hbase.util.GetJavaProperty
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......
kafka常见问题
报错1 [root@slave1 data_mocker]# kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic topic_db [2023-12-19 18:31:12,770] WARN [Consumer clie ......
Kafka核心逻辑介绍
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数... ......
zookeeper及kafka在Linux下的安装与配置
一、Zookeeper的下载、安装、配置ZooKeeper服务器是用Java创建的，它需要在JVM上运行，所以需要使用JDK1.6及以上版本的支持。对于jdk的安装本文不做介绍。 1、zookeeper的下载：因为apache-zookeeper-3.5.5的在安装完启动时可能会报，"错误: 找不到 ......
linux安装kafka教程
一、安装kafka1、下载kafka1.到kafka的官网，去下载想用的kafka包：http://kafka.apache.org/downloads 2.我这里下载的是：kafka_2.12-3.4.1.tgz 3.将安装包传送到服务器并解压（默认这里解压了就是安装路径了，可以自己斟酌）： 比如 ......
mac安装php-kafka
首先，安装文档在: 如何使用PHPSDK接入消息队列Kafka版并收发消息_云消息队列 Kafka 版(ApsaraMQ for Kafka)-阿里云帮助中心 (aliyun.com) 但是按照这个文档，存在一个问题，一直报错: 1 ... 2 checking for rdkafka suppor ......
面试官问我：线程锁导致的kafka客户端超时，如何解决？
本文分享自华为云社区《线程锁导致的kafka客户端超时问题》，作者： 张俭 。 问题背景 有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程 我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在 ......
Apache ActiveMQ Jolokia 后台远程代码执行漏洞（CVE-2022-41678）
Apache ActiveMQ Jolokia 后台远程代码执行漏洞（CVE-2022-41678） Apache ActiveMQ是美国阿帕奇（Apache）软件基金会所研发的一套开源的消息中间件，它支持java消息服务、集群、Spring Framework等。 Apache ActiveMQ在 ......
apache相关漏洞
CVE-2021-41773 目录穿越 Apache HTTP Server 2.4.49、2.4.50版本对路径规范化所做的更改中存在一个路径穿越漏洞，攻击者可利用该漏洞读取到Web目录外的其他文件，如系统配置文件、网站源码等，甚至在特定情况下，攻击者可构造恶意请求执行命令，控制服务器。 启动环境 ......
kafka入门(四)：kafka生产者发送消息
创建生产者实例和构建消息之后，就可以开始发送消息了。 发送消息主要有三种模式：发后即忘、同步、异步。 发后即忘： 就是直接调用 生产者的 send方法发送。 发后即完，只管往 kafka中发送消息，而不关心消息是否正确到达。 这种发送方式的性能最高，可靠性也最差。 producer.send(rec ......
zk切换
配置文件 cat /etc/zookeeper/conf/zoo.cfg 监控主备 while :;do echo -n " ";date; for i in hdp1 hdp2 hdp3 bjc-hdp4 bjc-hdp5 ;do echo -n "$i:"; echo mntr|nc $i 21 ......
ThinkPHP5.0 apache服务器配置URL重写，index.php去除
本地环境wamp .htaccess文件代码 <IfModule mod_rewrite.c> Options +FollowSymlinks -Multiviews RewriteEngine on RewriteCond %{REQUEST_FILENAME} !-d RewriteCond % ......
Kafka 机制和 Kafka-Stream
Kafka 优势 异步和解耦：生产者和消费者间，没有直接关系，也不需要等待对方回应 压力自己控制：由于消费者使用 pull 消费数据，不会出现消费能力不足而丢数据的问题 高可靠：多节点，分布式，一致性，数据多个备份 安全：支持 TLS/SSL 认证 高吞吐量 可重复消费 是一个非常好用的高吞吐量的分 ......
helm部署Kafka集群
1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......
Kafka日志压实算法
概念介绍 我们有时候可以把Kafka当作key、value数据库用（当然kafka中的消息可以不指定key）。 __consumer_offsets 这个topic的数据，就是典型的key、value数据。 /usr/local/kafka2.8/bin/kafka-run-class.sh kaf ......
60道KafKa高频题整理（附答案背诵版）
废话不多说，直接上干货 简述什么是 Kafka 的 Topic ？ Kafka 的 Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别，这个类别就是 Topic。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有 ......
手动安装LAMP——在 CentOS 7 上安装 PHP、Apache 和 MariaDB（替代 MySQL）
在 CentOS 7 上安装 PHP、Apache 和 MariaDB（替代 MySQL）的过程如下： 1. 更新系统：sudo yum update 2. 安装 Apache：sudo yum install httpd 3. 启动 Apache 服务并设置开机自启：sudo systemctl ......
有关搭建Apache所遇到的问题
有关个人网站的搭建所遇问题请仔细检查自己的网卡看客户机和服务机之间是否能及时ping通 有关www的网页的搭建请仔细检查防火墙以及selinux [root@server conf.d]# systemctl status firewalld.service ● firewalld.service ......
kafka kafka-ui 单机部署
1. 下载 https://kafka.apache.org/downloads 解压压缩包，以/root/kafka为例 2. 启动zk /root/kafka/bin/zookeeper-server-start.sh /root/kafka/config/zookeeper.propertie ......
使用Apache POI 导入导出时出现You need to call a different part of POI to process this data (eg XSSF instead of HSSF)Java异常
问题复现 在学习导出功能时使用HSSFWorkbook导出了一个xxx.xlsx格式的文件，然后用XSSFWorkbook的读取方式来拿文件去导入时出现了这个bug 这是当时做导出测试代码 Workbook wb = new HSSFWorkbook(); CreationHelper creati ......
Docker安装Kafka安装zookeeper教程(超详细)
1 Docker安装Kafka安装zookeeper教程(超详细) 2 app-tier:网络名称 3 -driver:网络类型为bridge 4 1.docker network create app-tier --driver bridge 5 6 1、安装zookeeper 7 Kafka依赖 ......
apache 项目的php配置文件
<VirtualHost *:80> ServerAdmin webmaster@example.com DocumentRoot "/www/wwwroot/api.com" ServerName api.com ServerAlias api.com #errorDocument 404 /40 ......
[JMeter] Apache Jmeter导入jmx压测脚本时，报错CannotResolveClassException: xxx
1 问题描述 Jmeter导入jmx压测脚本时，报错CannotResolveClassException: xxx JMeter Version : 5.5 JDK : 8 报错的关键信息： kg.apc.jmeter.vizualizers.CorrectedResultCollector co ......