性能 环境linux kafka
CAP 7.0 版本发布通告 - 支持延迟消息，性能炸了？
前言 今天，我们很高兴宣布 CAP 发布 7.0 版本正式版，我们在这个版本中带来了大批新特性以及对性能的优化和改进。 自从今年 1月份发布 6.0 版本以来，已经过去了快1年的时间。在过去的将近1年的时间里，我们也发布了几个次要版本和小版本(6.0.1, 6.1.0, 6.2.0, 6.2.1)， ......
go操作Kafka
1. Kafka介绍 1.1.1. Kafka是什么 kafka使用scala开发，支持多语言客户端（c++、java、python、go等） Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。 Kafka是一个分布式的、分区化、可复制提交的日志服务 LinkedIn使用Ka ......
Python：对程序做性能分析及计时统计
如果只是想简单地对整个程序做计算统计，通常使用UNIX下的time命令就足够了。由于我用的是Mac系统，和Linux系统的输出可能有不同，不过关键都是这三个时间：user: 运行用户态代码所花费的时间，也即CPU实际用于执行该进程的时间，其他进程和进程阻塞的时间不计入此数字；system: 在内核中... ......
.net6&7中如何优雅且高性能的使用Json序列化
.net中的SourceGenerator让开发者编可以写分析器，在项目代码编译时，分析器分析项目既有的静态代码，允许添加源代码到GeneratorExecutionContext中，一同与既有的代码参与编译。这种技术其实是把一些运行时才能去获取程序集相关资源的方式提前到编译前了。 .net6开始， ......
前端学习 linux —— 软件安装(Ubuntu)
软件安装(Ubuntu) 本篇主要讲解 ubuntu 中软件的安装、apt 的源、内网部署案例（graylog 为例），最后是 python 开发准备。 apt 和 rpm 在linux 第一篇我们知道如果机器是 ubuntu 则可用 apt-get/dpkg 安装软件，如果是centos 则可用 ......
Linux系统各种库/软件版本输出指令
日常开发基于Linux系统（其实更多的是Ubuntu平台），平时总会遇到一些情况需要查看某个库或者软件的版本信息，在这里做一下简单的记录。 1. 查看glibc版本 方法一：使用ldd指令 cv@cv:~$ ldd --version ldd (Ubuntu GLIBC 2.23-0ubuntu11 ......
MySQL 性能压测工具-sysbench，从入门到自定义测试项
sysbench是一个开源的、基于LuaJIT（LuaJIT 是 Lua 的即时编译器，可将代码直接翻译成机器码，性能比原生 lua 要高） 的、可自定义脚本的多线程基准测试工具，也是目前用得最多的 MySQL 性能压测工具。 基于 sysbench，我们可以对比 MySQL 在不同版本、不同硬件配 ......
基于jenkins+kubernetes的cicd流程实践一：环境搭建及方案原理
1.基础环境：Centos7.9，kubernetes:v1.21.5 node-1@112（master）：docker，containerd，harbornginx（80），git，etcd node-2@109（master/worker）：docker，containerd，ingress_ ......
Multipass，多平台本地轻量级Linux体验！
Multipass 是由Ubuntu官方提供，在Linux，MacOS和Windows上快速生成Ubuntu虚拟机的工具。它提供了一个简单但功能强大的CLI，可让我们在本地快速进入Ubuntu系统环境并使用Linux命令，亦可以在本地计算机创建自己的迷你型云服务器。总的来说就是在本地创建Ubuntu... ......
Linux 系统环境监测
Linux系统环境监测 Linux系统环境主要监测CPU、内存、磁盘I/O和网络流量。 1. CPU （1） 查看CPU的负载情况：uptime 可以通过uptime查看系统整体的负载情况。 如果服务器的CPU为1核心，则1分钟的系统平均负载 >=3 说明负载过高，如果服务器的CPU为4核心，则lo ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
【性能优化】单一接口优化过程全记录（主要涉及Redis）
接口优化过程记录 问题背景 某个接口耗时长（247ms），但里面逻辑不算复杂，只进行了简单的对象引用以及操作了多次Redis 步骤1：链路追踪，确定业务耗时点 接口里通过链路追踪以及日志查询发现主要是操作Redis的这条链路耗时变长 步骤2：从Redis找问题，列出可能点 原因可能是： Redis本 ......
go slice不同初始化方式性能&数组比较
go语言开发中，slice是我们常用的数据类型之一，也是因为它的灵活性，自己也很少使用数组，当然我也知道它的一些特性，不过没有真实的去验证它，因为大多数使用场景没必要对code太过苛刻，但是如果封装作为包为其他逻辑提供使用的时候，我觉得还是要在意这些事的，毕竟作为公共包使用时，也就证明了使用的频率的 ......
Python：灵活的开发环境
如果你接手了别人的代码工程，却发现对方使用的 python 版本或者依赖库都和你的环境不兼容时，怎么办？打算卸掉自己原来的那一套环境再重来吗？真麻烦！ ......
Isaac SDK & Sim 环境
Isaac 是 NVIDIA 开放的机器人平台。其 Isaac SDK 包括以下内容： Isaac Apps: 各种机器人应用示例，突出 Engine 特性或专注 GEM 功能 Isaac Engine: 一个软件框架，可轻松构建模块化的机器人应用 Isaac GEMs: 感知、规划到驱动的模块化算 ......
redis集群之分片集群的原理和常用代理环境部署
上篇文章刚刚介绍完redis的主从复制集群，但主从复制集群主要是为了解决redis集群的单点故障问题，通过整合哨兵能实现集群的高可用；但是却无法解决数据容量以及单节点的压力问题，所以本文继续介绍redis的分片集群；分片集群即将不同的数据分发到不同的redis实例(或者主从集群)，每个redis实例 ......
Linux面试题1：用户态和内核态
内核态和用户态 我们开发的服务代码，都是基于操作系统抽象提供的功能接口，进而操作相应的硬件资源。而硬件资源对于安全性要求非常高，所以对于安全性和系统稳定性而言，需要划定不同的应用程序运行级别。 Intel对于CPU的权限划分了四个等级0 ~ 3，linux采用了其中的0和2这两个等级。运行在0级别的 ......
.NET性能优化-使用内存+磁盘混合缓存
我们回顾一下上一篇文章中的内容，有一个朋友问我这样一个问题： 我的业务依赖一些数据，因为数据库访问慢，我把它放在Redis里面，不过还是太慢了，有什么其它的方案吗？ 其实这个问题比较简单的是吧？Redis其实属于网络存储，我对照下面的这个表格，可以很容易的得出结论，既然网络存储的速度慢，那我们就可以 ......
.NET性能优化-ArrayPool同时复用数组和对象
前两天在微信后台收到了读者的私信，问了一个这样的问题，由于私信回复有字数和篇幅限制，我在这里统一回复一下。读者的问题是这样的： 大佬您好，之前读了您的文章受益匪浅，我们有一个项目经常占用 7-8GB 的内存，使用了您推荐的ArrayPool以后降低到 4GB 左右，我还想着能不能继续优化，于是 du ......
RocketMQ系列-搭建Namesrv源码调试环境
RocketMQ系列-搭建Namesrv源码调试环境 在学习任何一个技术框架的时候，我们通常都是先了解是什么，有什么作用、解决什么问题、设计亮点和设计思想是什么；当然对于技术学习上来说，这只是纸上谈兵，一开始比较基础的学习，当我们想要深入的时候，我们必不可少的就是希望能够去调试源码，能够在本地运行一 ......
Linux 基础-文件权限与属性
一个基本概念：任何装置在 Linux 下都是文件，数据沟通的接口也有专属的文件在负责，Linux 的文件种类繁多，常用的是一般文件(-)与目录文件(d)。 注意：Linux 文件类型和文件的文件名所代表的意义是两个不同的概念，在 linux 中文件类型与文件扩展名没有关系。它不像 Windows 那... ......
linux server设置开机自动连接WIFI
1.前言 之前买了一个工控机，装过几个OS（linux 发行版），但是一直没有细研究过流程，只是停留在能用就不管了，工控机自带无线网卡（和俩个有线网口），所以这篇文章好好介绍如何开机自动连接WIFI（无图形化界面）。 2.安装软件 首先系统我安装的是 ubuntu 18.04 server版 ，安装 ......
一步一图带你深入理解 Linux 物理内存管理
1. 前文回顾 在上篇文章 《深入理解 Linux 虚拟内存管理》 中，笔者分别从进程用户态和内核态的角度详细深入地为大家介绍了 Linux 内核如何对进程虚拟内存空间进行布局以及管理的相关实现。在我们深入理解了虚拟内存之后，那么何不顺带着也探秘一下物理内存的管理呢？ 所以本文的目的是在深入理解虚拟 ......