集群linux kafka
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
linux 基础（6）简单认识 bash
shell 和 bash 是什么？ shell 是一种应用程序，在这个程序里输入文字指令，系统就会做出响应的操作。这个“壳程序”是我们使用系统各种功能的接口，学会了 shell 就是学会操作 linux 系统。检索/etc/shells，可以看到当前系统的 shell 有哪些。而 bash （Bou ......
linux 基础（7）账号和群组的管理
了解账号和群组的基本信息 账号使用 如何查看 linux 计算机上有哪些账号呢？账号的信息储存在/etc/passwd中，打开就可以看到： less /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologi ......
Linux上安装jdk Tomcat mysql redis等
1.安装JDk 1.1这里使用xshell中xfxp进行文件的上传，将jdk二进制包上传到Linux服务器上 下载地址：https://www.oracle.com/java/technologies/downloads/#java8 或者这里有下载好的安装包：链接：https://pan.baid ......
linux 高效压缩工具之xz的压缩解压使用
xz是什么 高压缩率的工具，它使用 LZMA2 压缩算法，生成的压缩文件比传统使用的 gzip、bzip2 生成的压缩文件更小， 不过xz也有一个坏处就是压缩时间比较长，比7z压缩时间还长一些。不过压缩主要用于归档，不介意的可以忽略。 擅长压缩文本和日志文件，针对这块的压缩率，是目前我发现效率最高的 ......
linux环境编程(3): 使用POSIX IPC完成进程间通信
1. 写在前面 之前的文章总结了使用管道进行进程间通信的方法，除了pipe和fifo，Linux内核还为我们提供了其他更高级的IPC方式，包括共享内存，消息队列，信号量等，本篇文章会通过一个具有完整逻辑功能的示例说明如何使用这些IPC方法。毕竟单纯地查手册，写代码...周而复始，这个过程还是比较枯燥 ......
Python 同步和异步使用Redis集群的方法
目前在做Python项目用到同步和异步的方法使用Redis单机，现在要增加兼容Redis集群。也就说当前项目用到中同步单机，同步集群，异步单机，异步集群都用到了。 ......
Linux音频采集和在国产化平台中遇到的坑（一）
最近在做一个国产化平台的软件项目的开发，是基于国产芯片的银河麒麟系统。其中有一个重要模块，是采集和播放音频数据，播放不用多说了，采集的话，包括采集麦克风和采集桌面系统声音。很多人都觉得银河麒麟不就是linux么，那不直接用ALSA就好了，我原本也是这么想的，但是实际开发下来才发现，还是有各种坑需要自... ......
Linux音频采集和在国产化平台中遇到的坑（二）
ALSA采集这条路走不通，只能尝试其他途径，这里通过PulseAudio的接口成功实现了国产化平台上采集麦克风和系统声音的功能。 ......
深度剖析 Linux 伙伴系统的设计与实现
在上篇文章 《深入理解 Linux 物理内存分配全链路实现》 中，笔者为大家详细介绍了 Linux 内存分配在内核中的整个链路实现： 但是当内核执行到 get_page_from_freelist 函数，准备进入伙伴系统执行具体内存分配动作的相关逻辑，笔者考虑到文章篇幅的原因，并没有过多的着墨，算是 ......
嵌入式Linux—Framebuffer应用编程
Framebuffer 应用编程 Frame的意思是帧，buffer的意思是缓冲区。Framebuffer就是一块内存(硬件设备)，里面保存着一帧图像。 ioctl()函数解析 ioctl()函数非常强大。不同的驱动程序内部会实现不同的 ioctl() ，可以使用各种 ioctl() 跟驱动程序交互 ......
嵌入式Linux—文件IO
文件IO 在 Linux 系统中，一切都是“ 文件”：普通文件、驱动程序、网络通信等等。所有的操作，都是通过“文件 IO”来进行的。所以，很有必要掌握文件操作的常用接口。 Linux系统的文件有哪些 Linux 的文件既可以是真实保存到存储介质的文件也可以是自身内核提供的虚拟文件，还可以是设备节点 ......
Linux环境下：程序的链接, 装载和库[静态链接]
看以下例子 main.c extern int x; int main() { int y = 100; swap(&x,&y); return 0; } int x = 1; void swap(int* x, int* y) { int temp = *x; *x = *y; *y = temp ......
JumpServer(v2.28.6) 堡垒机添加Linux资产 (图文教程)
前面介绍了如何在《CentOS7下搭建JumpServer 堡垒机》，基于这篇文章的环境搭建过程，接着介绍安装后的的功能配置使用。 首次wbe登录，https://ip:80，默认账号密码：admin，admin；这里自定义密码修改：admin@123 用户管理项 创建系统角色 创建用户 创建用户组 ......
欠你们的 → k8s 集群搭建，除夕奉上！
开心一刻 有一天，qq收到一个好友申请，验证消息上写的是：哥哥加我，我是妹妹 我以为是性骚扰，就没加，直接回了一句：我喜欢少妇 过了一会儿，姑姑就给我打了个电话：你妹妹qq加你，你怎么不同意，她想问你几道数学题，你说你喜欢少妇 我：姑姑，你听我狡辩一下...... 祝大家除夕快乐！ 节点准备 基于 ......
一文详解 Linux Crontab 调度任务
在Linux环境中，Crontab是一个调度守护进程，可以按分钟、小时、每月的某天、每月、每周的某天来执行特定任务，这些特定的任务被称为 Cron 作业，基于这个特点，Crontab 经常被用于自动执行系统维护与管理。 ......
【原创】linux实时应用如何printf输出不影响实时性？
本文介绍为什么linux实时任务不能直接调用printf，首先简单介绍一下printf终端输出原理，然后就如何实现终端输出不影响实时任务实时性问题给出一个方案，最后介绍xenomai中是如何做到完美`printf()`的。 ......
1.5万字长文：从 C# 入门 Kafka
作者：痴者工良 个人网站：https://www.whuanle.cn 博客园：https://www.cnblogs.com/whuanle/ 本教程地址：https://kafka.whuanle.cn/ 本教程是关于 Kafka 知识的教程，从 C# 中实践编写 Kafka 程序，一边写代码一 ......
Windows Server上部署IoTDB 集群
本文是参考官方的 IoTDB 集群版（1.0.0）的安装及启动教程：https://iotdb.apache.org/zh/UserGuide/V1.0.x/Cluster/Cluster-Setup.html ，在Windows Server 2019上部署集群的实践记录。前置检查使用微软发布的O ......
linux 基础（2）文件权限及其修改
文件的权限属性 在 linux 中，每个文件都有唯一的“所属者”（user）和“所属群组”（group）。owner 和 group 都对文件有特殊的权限 输入ls -l，就可以详细查看每个文件的权限属性。 我们可以看到，用户名和群组名可以是相同的。一个群组可以只包含一个用户，也可以包含多个用户。 ......
Keepalived高可用集群部署
KeepAlived KeepAlived安装 1.yum源安装 yum install keepalived 2.官网源码包编译 KeepAlived官网提供可编译源码包，可直接下载。 官网地址： https://www.keepalived.org/ 官网提供的软件包，解压编译安装即可。 Kee ......
linux基础：1、linux简介，虚拟化软件的安装与配置，Xshell的安装与配置
Linux 一、linux简介 常见岗位 1、自动化运维 2、容器运维 3、DBA 4、IDC运维（机房运维员） 计算机种类 linux常用的计算机种类： 1、台式机 2、笔记本 3、服务器 作用： 1.相比较于笔记本和台式机数据的安全性更高、不易于丢失 2.可以24小时不间断地提供服务 3.提升用 ......
linux环境编程(1): 实现一个单元测试框架
写在前面 在开发的过程中，大多数人都需要对代码进行测试。目前对于c/c++项目，可以采用google的gtest框架，除此之外在github上搜索之后可以发现很多其他类似功能的项目。但把别人的轮子直接拿来用，终究比不过自己造一个同样功能的轮子更有成就感。作为“linux环境编程”系列文章的第一篇，本 ......
linux环境编程(2): 使用pipe完成进程间通信
1. 写在前面 linux系统内核为上层应用程序提供了多种进程间通信(IPC)的手段，适用于不同的场景，有些解决进程间数据传递的问题，另一些则解决进程间的同步问题。对于同样一种IPC机制，又有不同的API供应用程序使用，目前有POSIX IPC以及System V IPC可以为应用程序提供服务。后续 ......
【Linux】TCS34725 颜色传感器设备驱动
一、概述 此笔记主要是学习 Linux 中的 I2C 驱动，顺便验证一下 TCS34725 传感器的使用，主要内容还是程序记录，方便编写其他 I2C 设备驱动时做参考，所以关于 TCS34725 这里就不过多描述了，需要的小伙伴可以浏览我之前的笔记：TCS34725 颜色传感器设备驱动程序 二、添加 ......
Linux 驱动像单片机一样读取一帧dmx512串口数据
硬件全志R528 目标：实现Linux 读取一帧dmx512串口数据。 问题分析：因为串口数据量太大，帧与帧之间的间隔太小。通过Linux自带的读取函数方法无法获取到 帧头和帧尾，读取到的数据都是缓存区中的，数据量又大。导致缓冲区中一直有很多数据， 又由于dmx512数据协议中并没有帧头帧尾字段只有 ......
ActiveMQ 常见集群模式
Master Slave 架构模式 这种模式是基于文件共享锁的高可用集群，个人理解其实是一种 Failover 模式，可以是一主一从，也可以是一主两从。 本文使用 Docker 搭建一个主从模式的 ActiveMQ 5.8.0 集群，一个主节点，两个从节点。 ActiveMQ 镜像的创建可以参考 构 ......
对 Pulsar 集群的压测与优化
前言 这段时间在做 MQ（Pulsar）相关的治理工作，其中一个部分内容关于消息队列的升级，比如： 一键创建一个测试集群。 运行一批测试用例，覆盖我们线上使用到的功能，并输出测试报告。 模拟压测，输出测试结果。 本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。 一键创建集群和执行测 ......
Apache Kafka 的基本概念
基本概念 主题 Topic topic 是 Kafka 最基础的组织单位，类似于关系数据库中的数据表。做为使用 kafka 的开发者，你最应该考虑的是和 topic 相关的抽象。创建不同的 topic 保存不同种类的 events，或者通过不同的 topic 保存各种版本经过过滤、转换后的同类 ev ......
前端Linux部署命令与流程记录
以前写过一篇在Linux上从零开始部署前后端分离的Vue+Spring boot项目，但那时候是部署自己的个人项目，磕磕绊绊地把问题解决了，后来在公司有了几次应用到实际生产环境的经验，发现还有很多可以补充的地方，很多指令和下载地址每次用到的时候再找就相对麻烦，通过这篇文章可以做一个记录。 另外，之前 ......