队列disruptor内存 消息
golang解决kafka消息重复发送和重复消费
1、解决消息重复发送 当使用Kafka生产者发送消息时，可以设置消息的Key，使用Key来保证相同Key的消息不会被重复发送。在发送消息时，可以使用带Key的消息发送方式，如下所示： msg := &sarama.ProducerMessage{ Topic: "test", Partition: ......
面试官：ThreadLocal 为什么会内存泄漏吗？是怎么产生的？面试必问！
原文：blog.csdn.net/qunqunstyle99/article/details/94717256 ThreadLocal是什么 ThreadLocal是一个本地线程副本变量工具类。主要用于将私有线程和该线程存放的副本对象做一个映射，各个线程之间的变量互不干扰，在高并发场景下，可以实现无 ......
Linux 物理内存管理
Linux 物理内存管理 1. 前文回顾 在上篇文章 《深入理解 Linux 虚拟内存管理》 中，笔者分别从进程用户态和内核态的角度详细深入地为大家介绍了 Linux 内核如何对进程虚拟内存空间进行布局以及管理的相关实现。在我们深入理解了虚拟内存之后，那么何不顺带着也探秘一下物理内存的管理呢？ 所以 ......
Java内存区域学习笔记
源码 → 二进制字节码 → 解释器 → 机器码 → CPU 程序计数器(线程私有)：记住下一条jvm指令执行地址，解释器找到该条指令解释成机器码，运，如此往复 Java Virtual Machine Stacks （Java 虚拟机栈） 每个线程运行时所需要的内存，称为虚拟机栈 每个栈由多个栈帧（ ......
C++ 简易消息循环
前言 本文将向大家介绍如何使用 C++ 的标准库实现一个异步和并发编程中都非常重要的编程模式：消息循环（Event Loop）。尽管市面上存在不少库也提供了同样的功能，但有时候出于一些原因，我们并不想引入外部库，就想要一个小巧、只使用 C++ 标准库的实现。 话不多说，上代码 using sys_c ......
TA使用内存分析
最近使用这个函数来排除TA中内存泄露问题。 函数： #ifdef CFG_WITH_STATSstatic TEE_Result get_alloc_stat1() { struct malloc_stats stats; malloc_get_stats(&stats); strncpy(stat ......
如何防止队列中的信息丢失？
如何防止队列中的信息丢失？ 我们先用两个名词来概括往队列中放入消息的行为和处理队列中消息的行为，称之为生产者与消费者。 应用场景： 订单请求过来，为了快速的响应给前端，需要把相关订单信息直接放入消息队列也就是生产者，然后直接响应前端。 关于消息队列的订单信息，我们后端的业务会给予它们处理。（无论是保 ......
jenkins jvm内存调整以及一些说明
jenkins 调整jvm 内存有几个配置地方，比如通过/etc/sysconfig/jenkins 以及通过直接修改systemd 的服务定义（以centos 来说） systemd 配置 /usr/lib/systemd/system/jenkins.service 文件 参考修改 Enviro ......
记一次 rr 和硬件断点解决内存踩踏问题
在日常的调试过程中，我们总会遇到一些有趣的 bug，在本文我就遇到了一个有意思的查询结果不一致问题。 故事的开始 我们在测试 NebulaGraph 的 MATCH 语句的时候发现一个很神奇的事情： (root@nebula) [gdlancer]> match (v1)-[e*1..1]->(v2 ......
数组模拟栈和队列
https://www.acwing.com/problem/content/830/https://www.acwing.com/problem/content/831/ 相比数组模拟链表要简单的多,要注意的是tt的初始值,看个人习惯设置,栈一般为0,队列一般为1 //栈 #include<ios ......
(一)内存扫描器(面向过程版)
以下是一个基于C语言和Win32API的内存扫描器的实现代码 首先定义一个结构体MEMBLOCK，用来存储内存块的信息 点击查看代码 typedef struct _MEMBLOCK { HANDLE hProcess; //进程句柄 PVOID addr; //内存块地址 int size; // ......
(二)内存扫描器(面向对象版)
在此之前，我们实现了内存扫描器(面向过程版)。为了使用的简洁性及可重用性，我们将其模块化，改写为C++类的形式，将用户用不到的成员私有化，对外隐藏，只为其提供类似于首次扫描、再次扫描、内存读写等的接口。 修改后的内存扫描器源码如下： 点击查看代码 #pragma once #include<Wind ......
调试 Go 中简单的内存泄漏
内存泄漏 是一种即使当某块内存不再使用之后仍然没有被释放而产生的 bug。通常来说，它们是非常明显的，高度可见的，这使得它们成为学习程序调试的最佳选择。Go 是一门特别适合识别定位内存泄漏的语言，因为它有一套强大的工具链，这套工具链配备了非常强大的工具（pprof），它可以非常轻松地查明内存的使用情 ......
Redis内存碎片和Pipeline管道
本文已收录至Github，推荐阅读 👉 Java随想录 微信公众号：Java随想录 内存碎片 内存碎片如何产生的？ Redis内部有自己的内存分配器，默认是jemalloc，为了提高内存使用的效率，来对内存的申请和释放进行管理。 而内存分配器按照固定大小分配内存，并不是完全按照程序申请的内存大小来 ......
消息中心
using System;using System.Collections;using System.Collections.Generic;using UnityEngine;/// <summary>/// 消息中心/// 主要是为了解除耦合性 /// </summary>public clas ......
浅谈分布式环境下WebSocket消息共享问题
浅谈分布式环境下WebSocket消息共享问题 技术分析 我们在开发时会遇到需要使用即时通讯的场景，当然，实现方式很多，Socket、MQTT、Netty....等等。 具体用哪种就在于业务的需求了，去选择合理的方式实现。 今天小简要聊的场景便是分布式环境下，WebSocket的消息共享问题。 分布 ......
为什么不建议用redis做消息队列
redis的list做队列其实还是很爽的，简单，一个读一个写即可，而且基本每个系统都会使用redis，接入没有附加成本，也没有额外的学习成本。 如果需要订阅模型，写三个队列，然后三个消费者分别读自己的那个即可。 但是，也有一些问题： 无法回放，消费了即消失，没有记录。 消息体如果很大，会占用很多内存 ......
消息 7347，级别 16， 链接服务器 'XXX' 的 OLE DB 访问接口 'MSDASQL' 返回的数据与列 '[MSDASQL].ext' 所需的数据长度不匹配。所需的(最大)数据长度为 510，但返回的数据长度为 5570。
消息 7347，级别 16，状态 1，第 174 行链接服务器 'XXX' 的 OLE DB 访问接口 'MSDASQL' 返回的数据与列 '[MSDASQL].ext' 所需的数据长度不匹配。所需的(最大)数据长度为 510，但返回的数据长度为 5570。 ......
MQ消息中间件，面试能问写什么？
为什么使用消息队列 消息队列的常见使用场景有很多但是核心的有三个：解耦、异步、削峰 解耦：那种不需要直接同步调用接口的，可以考虑异步化解耦 异步：主业务执行结束后从属业务通过MQ，异步执行，减低业务的响应时间 削峰：高并发场景下，延缓用户请求，环节应用压力 消息队列的优点和缺点？ 优点： 特殊场景下 ......
Python查看对象所占内存大小
以下内容摘自ChatGPT 在Python中，可以使用sys模块中的getsizeof()函数来查看一个数据结构所占用的内存大小。 该函数返回对象占用的字节数，但是需要注意以下几点： 1. getsizeof()函数只能返回对象本身占用的内存大小，而不能返回其引用的其他对象所占用的内存大小。 2. ......
Linux 查看进程占用cpu/内存/io信息
Linux 查看进程占用cpu/内存/io信息 top Display dynamic real-time information about running processes. More information: https://manned.org/top. 单词解释： PID: 进程ID U ......
使用ansible统计内存和cpu
使用sar统计9号的cpu空闲率 ansible -i a abc -m shell -a "sar -f /var/log/sa/sa09 | grep -vE 'C|%|^$' | awk '{print \$NF}' | sort -rn |tail -1" --become| \ sed ' ......
服务器内存占用高，如何排查是哪个项目占用的资源？
服务器内存占用高，如何排查是哪个项目占用的资源？ 最直观的查看方式 ps -e -o pid,user,%mem,command --sort=-%mem | head A1 要查看服务器上的哪个项目占用资源，可以执行以下步骤： 使用 top 命令查看哪些进程占用了服务器的内存。打开终端，输入 to ......
消息队列
消息队列，顾名思义，就是传递消息的队列 消息队列有哪些应用 系统解耦 设计模式中有一个开闭原则，指的是软件实体应该对扩展开放、对修改关闭，尽量保持系统之间的独立，这里面蕴含的是解耦思想。而消息队列的使用，可以认为是在系统中隐含地加入了一个对外的扩展接口，能够方便地对业务进行解耦，调用方只需要发送消息 ......
RabbitMQ消息队列搭建以及迁移
一、RabbitMQ框架 rabbitmq系统架构图 通过路由将交换机和队列进行绑定，从而实现消息的发送和接收 rabbitmq基本概念 1、Message（消息） 消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键 ......
太坑了，我竟然从RocketMQ源码中扒出了7种导致消息重复消费的原因
大家好，我是三友~~ 在众多关于MQ的面试八股文中有这么一道题，“如何保证MQ消息消费的幂等性”。 为什么需要保证幂等性呢？是因为消息会重复消费。 为什么消息会重复消费？ 明明已经消费了，为什么消息会被再次被消费呢？ 不同的MQ产生的原因可能不一样 本文就以RocketMQ为例，来扒一扒Rocket ......
一文了解清楚kafka消息丢失问题和解决方案
前言 今天分享一下kafka的消息丢失问题，kafka的消息丢失是一个很值得关注的问题，根据消息的重要性，消息丢失的严重性也会进行放大，如何从最大程度上保证消息不丢失，要从生产者，消费者，broker几个端来说。 消息发送和接收流程 kafka生产者生产好消息后，会将消息发送到broker节点，br ......
消息队列简介
什么是消息队列 消息队列是一种异步的服务间通信方式，适用于无服务器和微服务架构。 消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。 消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。 提供消息的我们称为生产者；接收消息的我们称为消费者。 为什么要用消息队 ......
一种异步延迟队列的实现方式
目前系统中有很多需要用到延时处理的功能：支付超时取消、排队超时、短信、微信等提醒延迟发送、token刷新、会员卡过期等等。通过延时处理，极大的节省系统的资源，不必轮询数据库处理任务。
目前大部分功能通过定时任务完成，定时任务还分使用quartz及xxljob两种类型轮询时间短，每秒执行一次，对数据... ......