Pulsar
请注意，你的 Pulsar 集群可能有删除数据的风险
在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 ......
Pulsar3.0新功能介绍
在上一篇文章 Pulsar3.0 升级指北讲了关于升级 Pulsar 集群的关键步骤与灾难恢复，本次主要分享一些 Pulsar3.0 的新功能与可能带来的一些问题。 升级后所遇到的问题 先来个欲扬先抑，聊聊升级后所碰到的问题吧。 其中有两个问题我们感知比较明显，特别是第一个。 topic被删除 我们 ......
分享两种Pulsar消息积压topic级别策略老化办法
本文分享自华为云社区《Pulsar消息积压topic级别策略老化的两种方案》，作者： 张俭。 Pulsar像大多数消息中间件一样,支持按时间和大小对消息积压进行老化。但是默认的策略只能在namespace级别配置。本文将介绍如何在topic级别实现老化策略的两种方案。 方案一：开启 TopicLev ......
Pulsar3.0 升级指北
Pulsar3.0 介绍 Pulsar3.0 是 Pulsar 社区推出的第一个 LTS 长期支持版本。 如图所示，LTS 版本会最长支持到 36 个月，而 Feature 版本最多只有六个月；类似于我们使用的 JDK11,17,21 都是可以长期使用的；所以也推荐大家都升级到 LTS 版本。 作为 ......
如何编写一个 Pulsar Broker Interceptor 插件
背景 之前写过一篇文章 VictoriaLogs：一款超低占用的 ElasticSearch 替代方案讲到了我们使用 Victorialogs 来存储 Pulsar 消息队列的消息 trace 信息。 而其中的关键的埋点信息是通过 Pulsar 的 BrokerInterceptor 实现的，后面就 ......
升级到 Pulsar3.0 后深入了解 JWT 鉴权
背景 最近在测试将 Pulsar 2.11.2 升级到 3.0.1的过程中碰到一个鉴权问题，正好借着这个问题充分了解下 Pulsar 的鉴权机制是如何运转的。 Pulsar 支持 Namespace/Topic 级别的鉴权，在生产环境中往往会使用 topic 级别的鉴权，从而防止消息泄露或者其他因为 ......
Tencent Pulsar功能测试及数据流验证
1、物理集群上架 2、新建虚拟集群（上线20个？） 3、新建ns 4、新建topic 5、测试订阅消费1、创建虚拟集群： 后台只能查询到虚拟集群id： bash-4.2# ./pulsar-admin tenants list | grep pawk"pulsar-o4jj249gpawk" 2、创 ......
从 Pulsar Client 的原理到它的监控面板
 # 背景 前段时间业务团队偶尔会碰到一些 Pulsar 使用的问题，比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。 虽然我们有个监控页面可以根据 topic 维度查 ......
ReadPaper-Pulsar Survey
## 1. The Giant Metrewave Radio Telescope (GMRT) #####1, The GMRT High Resolution Southern Sky Survey for Pulsars and Transients. I. Survey Descriptio ......
Pulsar集群: instanceId xxx is not match with xxx
### Pulsar集群: instanceId xxx is not match with xxx  ##### 1.问题原因 pulsar本地存储的instanceId与zookeeper不一致导致，即使 ......
Apache Pulsar 分布式部署
#1.Pulsar 简介 Pulsar 是一个支持多租户的、高性能的消息中间件；最初是由 Yahoo 研发的开源，分布式pub-sub系统，现在是Apache的一个顶级开源项目 Pulsar 提供了四种订阅类型，它们可以共存在同一个主题上，以订阅名进行区分： - 独享（exclusive）订阅——一 ......
【Pulsar】
源自Yahoo 2012，2017开源 支持多租户 租户和命名空间（namespace）是 Pulsar 支持多租户的两个核心概念。 在租户级别，Pulsar 为特定的租户预留合适的存储空间、应用授权与认证机制。 在命名空间级别，Pulsar 有一系列的配置策略（policy），包括存储配额、流控、 ......
PRESTO pulsar 出版图编辑剪切
# 折叠，仅仅显示轮廓 prepfold -n 64 -npart 128 -accelcand 361 -accelfile NGC6517_20221231_DM182.50_ACCEL_20.cand -justprofs -noxwin -nosearch NGC6517_20221231_ ......
Apache Pulsar 在火山引擎 EMR 的集成与场景
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近年来，基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用，其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌，主要面向 To B 业 ......
Meerkat 2021 pulsar timing workshop 学习笔记（一）
The joy of pulsars，by Prof Matthew Baile，Swinburne University of Technology https://www.youtube.com/watch?v=qG_hMzTCEX4&t=988s 笔记不保证正确性（英语不行），最好观看原视频 ......
docker-pulsar
docker-pulsar 官方文档地址： http://pulsar.apache.org/docs/zh-CN/standalone-docker/ 检查端口是否冲突 netstat -nlt | grep 8080 netstat -nlt | grep 6650 在 Docker 中运行 P ......
云原生时代顶流消息中间件Apache Pulsar部署实操之Pulsar IO与Pulsar SQL
本篇重点了解Pulsar IO的基础，通过两个示例演示如何一步步实操安装Cassandra和JDBC PostgreSQL的年连接器，进而配置和创建Pulsar Sink 并验证结果，也进一步熟悉一些常见pulsar-admin命令，最后还演示Pulsar SQL简单使用。 ......
云原生时代顶流消息中间件Apache Pulsar部署实操之轻量级计算框架
本篇逐层递进了解Pulsar Functions的基本概念和理论，如工作原理、处理保证模式、窗口函数；进一步搭建Pulsar函数运行环境，一步步操作演示函数也包括窗口函数的示例使用，最后通过Java语言实现原生语言接口和Pulsar函数SDK两种方式的代码示例、打包、部署和结果验证。 ......
通过 Pulsar 源码彻底解决重复消费问题
背景 最近真是和 Pulsar 杠上了，业务团队反馈说是线上有个应用消息重复消费。 而且在测试环境是可以稳定复现的，根据经验来看一般能稳定复现的都比较好解决。 定位问题 接着便是定位问题了，根据之前的经验让业务按照这几种情况先排查一下： 通过排查：1,2可以排除了。 没有相关日志 存在异常，但最外层 ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
一个诡异的 Pulsar InterruptedException 异常
背景 今天收到业务团队反馈线上有个应用往 Pulsar 中发送消息失败了，经过日志查看得知是发送消息时候抛出了 java.lang.InterruptedException 异常。 和业务沟通后得知是在一个 gRPC 接口中触发的消息发送，大约持续了半个小时的异常后便恢复正常了，这是整个问题的背景。 ......
Pulsar负载均衡原理及优化
前言 前段时间我们在升级 Pulsar 版本的时候发现升级后最后一个节点始终没有流量。 虽然对业务使用没有任何影响，但负载不均会导致资源的浪费。 和同事沟通后得知之前的升级也会出现这样的情况，最终还是人工调用 Pulsar 的 admin API 完成的负载均衡。 这个问题我尝试在 Google 和 ......
对 Pulsar 集群的压测与优化
前言 这段时间在做 MQ（Pulsar）相关的治理工作，其中一个部分内容关于消息队列的升级，比如： 一键创建一个测试集群。 运行一批测试用例，覆盖我们线上使用到的功能，并输出测试报告。 模拟压测，输出测试结果。 本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。 一键创建集群和执行测 ......