mapreduce性能hadoop
使用 BenchmarkDotNet 比较指定容量的 List 的性能
我们之前提到 List 是 .NET 中常用的数据结构，其在存储大量数据时，如果能够指定它的初始化容量，就会有性能提升。这个优化的方法并不是很明显，因此本文将使用 BenchmarkDotNet 库，通过定量对比的方式来证明这一点。 实验过程 引入 BenchmarkDotNet 首先，我们需要在项 ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
【Java难点攻克】「NIO和内存映射性能提升系列」彻底透析NIO底层的内存映射机制原理与Direct Memory的关系
Java类库中的NIO包相对于IO包来说有一个新功能就是 【内存映射文件】，在业务层面的日常开发过程中并不是经常会使用，但是一旦在处理大文件时是比较理想的提高效率的手段，之前已经在基于API和开发实战角度介绍了相关的大文件读取以及NIO操作的实现，而本文主要想结合操作系统(OS)底层中相关方面的内容... ......
Mqttnet内存与性能改进录
1 MQTTnet介绍 MQTTnet是一个高性能的 .NET MQTT库，它提供MQTT客户端和MQTT服务器的功能，支持到最新MQTT5协议版本，支持.Net Framework4.5.2版本或以上。 MQTTnet is a high performance .NET library for ......
一次TiDB GC阻塞引发的性能问题分析
背景 前不久从项目一线同学得到某集群的告警信息，某个时间段 TiDB duration 突然异常升高，持续时间6小时左右，需要定位到具体原因。 分析过程 第一招，初步判断 由于项目条件苛刻，历经苦难才拿到监控，在此之前只能靠现场同学的口述排查，oncall人太难了。。 既然是duration升高，那 ......
痞子衡嵌入式：低功耗&高性能边缘人工智能应用的新答案 - MCXN947
大家好，我是痞子衡，是正经搞技术的痞子。今天痞子衡给大家介绍的是恩智浦MCX系列MCU的新品MCXN947。 自 2015 年恩智浦和飞思卡尔合并成新恩智浦之后，关于它们各自的 Arm Cortex-M 内核通用微控制器代表作系列 LPC 和 Kinetis 接下来怎么发展一直没有定论（两个系列都在 ......
Hadoop如何保证自己的江湖地位？Yarn功不可没
前言 任何计算任务的运行都离不开计算资源，比如CPU、内存等，那么如何对于计算资源的管理调度就成为了一个重点。大数据领域中的Hadoop之所以一家独大，深受市场的欢迎，和他们设计了一个通用的资源管理调度平台Yarn密不可分，那Yarn是如何做进行资源管理的呢？它的通用性体现在哪里呢？它是如何保证Ha ......
JAVA中生成随机数Random VS ThreadLocalRandom性能比较
前言 大家项目中如果有生成随机数的需求，我想大多都会选择使用Random来实现，它内部使用了CAS来实现。 实际上，JDK1.7之后，提供了另外一个生成随机数的类ThreadLocalRandom，那么他们二者之间的性能是怎么样的呢？ Random的使用 Random类是JDK提供的生成随机数的类， ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
CAP 7.0 版本发布通告 - 支持延迟消息，性能炸了？
前言 今天，我们很高兴宣布 CAP 发布 7.0 版本正式版，我们在这个版本中带来了大批新特性以及对性能的优化和改进。 自从今年 1月份发布 6.0 版本以来，已经过去了快1年的时间。在过去的将近1年的时间里，我们也发布了几个次要版本和小版本(6.0.1, 6.1.0, 6.2.0, 6.2.1)， ......
Python：对程序做性能分析及计时统计
如果只是想简单地对整个程序做计算统计，通常使用UNIX下的time命令就足够了。由于我用的是Mac系统，和Linux系统的输出可能有不同，不过关键都是这三个时间：user: 运行用户态代码所花费的时间，也即CPU实际用于执行该进程的时间，其他进程和进程阻塞的时间不计入此数字；system: 在内核中... ......
.net6&7中如何优雅且高性能的使用Json序列化
.net中的SourceGenerator让开发者编可以写分析器，在项目代码编译时，分析器分析项目既有的静态代码，允许添加源代码到GeneratorExecutionContext中，一同与既有的代码参与编译。这种技术其实是把一些运行时才能去获取程序集相关资源的方式提前到编译前了。 .net6开始， ......
MySQL 性能压测工具-sysbench，从入门到自定义测试项
sysbench是一个开源的、基于LuaJIT（LuaJIT 是 Lua 的即时编译器，可将代码直接翻译成机器码，性能比原生 lua 要高） 的、可自定义脚本的多线程基准测试工具，也是目前用得最多的 MySQL 性能压测工具。 基于 sysbench，我们可以对比 MySQL 在不同版本、不同硬件配 ......
【性能优化】单一接口优化过程全记录（主要涉及Redis）
接口优化过程记录 问题背景 某个接口耗时长（247ms），但里面逻辑不算复杂，只进行了简单的对象引用以及操作了多次Redis 步骤1：链路追踪，确定业务耗时点 接口里通过链路追踪以及日志查询发现主要是操作Redis的这条链路耗时变长 步骤2：从Redis找问题，列出可能点 原因可能是： Redis本 ......
go slice不同初始化方式性能&数组比较
go语言开发中，slice是我们常用的数据类型之一，也是因为它的灵活性，自己也很少使用数组，当然我也知道它的一些特性，不过没有真实的去验证它，因为大多数使用场景没必要对code太过苛刻，但是如果封装作为包为其他逻辑提供使用的时候，我觉得还是要在意这些事的，毕竟作为公共包使用时，也就证明了使用的频率的 ......
.NET性能优化-使用内存+磁盘混合缓存
我们回顾一下上一篇文章中的内容，有一个朋友问我这样一个问题： 我的业务依赖一些数据，因为数据库访问慢，我把它放在Redis里面，不过还是太慢了，有什么其它的方案吗？ 其实这个问题比较简单的是吧？Redis其实属于网络存储，我对照下面的这个表格，可以很容易的得出结论，既然网络存储的速度慢，那我们就可以 ......