定理 分布式linux cap
linux LVS负载均衡集群
摘要：高并发时需要高性能的服务器，集群可以很好的增加服务器的性能，完成高并发的处理。 目录 一、集群概念 二、集群应用场景 三、集群分类 四、负载均衡集群架构 五、集群工作模式 六、LVS虚拟服务器 七、LVS负载调度算法 八、总结 一、集群概念 1.集群概念 多台主机构成一个整体，每个主机有自己的 ......
Linux随机生成数
简介 在某些情况下，我们需要随机产生一个数来在一些场景中使用，例如验证码、ssh反向代理随机数的产生，又或者在一些shell脚本设计中需要用到随机数，这里介绍常用几个linux产生随机数的方法。 使用shuf shuf 命令在一些 Linux 系统中是自带的，但并不是所有系统都包含该命令。在 Ubu ......
Linux 虚拟文件系统四大对象：超级块、inode、dentry、file之间关系
转载：Linux 虚拟文件系统四大对象：超级块、inode、dentry、file之间关系 - 一口Linux - 博客园 (cnblogs.com) 一：文件系统 1. 什么是文件系统？ 操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。 通常文件系统是用于存储和组织文件的 ......
并发扣减库存不使用分布式锁用幂等性怎么实现
扣减库存接口 /** * Notes:修改或删除库存信息 复核提交，移位完成，调拨完成 后触发 * 原始库位扣减操作 * User: sl * Date: 2023-04-11 17:31 * @param $data * @param $type 1,复核完成 2调拨出库完成后扣减 3，源库位移位 ......
Linux安装RabbitMQ详细教程
一、环境准备1、RabbitMQ版本 和 Erlang 版本兼容性关系 https://www.rabbitmq.com/which-erlang.html 2、ErLang安装教程 https://blog.csdn.net/laterstage/article/details/131513793 ......
HDFS集群搭建：完全分布式
本文介绍了HDFS集群中单点故障：HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
【linux】日志合并
``` #!/bin/bash output_file="merged_logs.log" # 合并后的日志文件名 logs=$(ls | grep .access.log) # 获取满足条件的日志文件列表 # 清空或创建新的日志文件 > "$output_file" # 循环处理每个日志文件 fo ......
在linux开发板上加载.ko驱动文件时，出现“insmod: ERROR: could not insert module led.ko: Invalid module format”错误的原因及解决方法
本文档仅用于本人在学习过程中的记录，方便日后查找问题。 问题描述： 在ubuntu虚拟机编译出的xxx.ko文件，发送到linux开发板上，执行insmod xxx.ko时，出现“insmod: ERROR: could not insert module led.ko: Invalid modul ......
linux删除命令行快捷键
1、终端删除整行 Ctrl+u 删除命令行开始至光标处 Ctrl+k 删除光标至命令行结尾 Ctrl+a 光标移到最前 Ctrl+e 光标移到最后 2、vi删除整行 dd：删除光标所在一整行 ndd：删除光标所在向下n行 d1G：删除光标所在到第一行 dG：删除光标所在到最后一行 d$：删除光标处到 ......
分布式锁
# zk分布式锁 海豚调度通过zk来做分布式锁，保证同一个时刻只有一台Master的scheduler来执行 或者只有一台worker执行任务的提交 ## 1.zk分布式锁核心流程算法 ![image](https://img2023.cnblogs.com/blog/680792/202307/6 ......
PTE11-linux操作系统安全
linux操作系统分为账户安全、文件系统安全、日志分析等三类。 linux系统标识与鉴别 安全主体 安全主体 用户：身份标识userID；组：身份标识group ID 文件必须有所有者，必须属于某个或多个组，用户和组的关系灵活（一对多，多对多等都可以），根用户拥有所有权限。 信息存储-用户信息：/e ......
linux登录日志查询
### 1. #CentOS下查看最后登录的用户信息 tail /var/log/messages tail /var/log/secure ### 2. *查看所有登陆记录,过滤IP和用户。 who /var/log/wtmp |grep 10.0.1.30 |grep root ![](http ......
vscode 连接 wsl2 下 linux 配置纯 clang 编译调试环境
1. 安装 `clang`, ArchLinux 下 `sudo pacman -S clang`。 安装 `lldb`, ArchLinux 下 `sudo pacman -S lldb`。 2. vscode 安装 `clangd` 和 `codelldb`（调试用） 插件，其中 `codell ......
分布式锁解决集群下的方法抢占执行
问题描述： 启动两台heima-leadnews-schedule服务，每台服务都会去执行refresh定时任务方法 分布式锁：控制分布式系统有序的去对共享资源进行操作，通过互斥来保证数据的一致性。 分布式锁的解决方案： sexnx （SET if Not eXists） 命令在指定的 key 不存 ......
数据仓库MPP架构&分布式架构
数据仓库MPP架构&分布式架构 一、MPP架构 1.1MPP架构概述 MPP（Massively Parallel Processing）架构是一种分布式数据处理技术，能够通过将工作负载分散到多个节点上来提高数据处理性能。与传统的共享架构不同，MPP采用非共享架构（Share Nothing），将单 ......
linux问题排查方式
1. 背景 有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具， ......
linux随笔
1 定时任务 */2 * * * * root /usr/sbin/ntpdate 10.6.131.22 > /dev/null 2>&1 2 删除卡死namspace kubectl proxy curl -k -H "Content-Type: application/json" -X PUT ......
分布式锁
1 mysql唯一键 2 redis lua脚本保证原子性 setnx expire 看门狗保证执行的时间大于锁的时间 为了避免其他人误删除 值和对应的用户一一对应 保证唯一 比如值为uid 3 redisson 4 redis多台奇数master 超过一般就获取锁成功 5 zk 参考 https: ......
分布式数据库 Join 查询设计与实现浅析
相对于单例数据库的查询操作，分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路，了解分布式场景数据处理的设计方案。
文章从常用的关系型数据库 MySQL 的分库分表Join 分析，再到非关系型 ElasticSearch 来分析... ......
6.29 celery分布式异步任务框架
1.celery：分步式异步任务框架 /1 异步任务 /2 延迟任务 /3 定时任务 /4 celery架构 消息中间件（broker）：消息队列：可以使用redis，rabbitmq 任务执行单元（worker）：执行单元 执行提交的任务 任务执行结果存储（banckend）：可以使用mysql， ......
Linux系统iptables配置详解
(1)、防火墙概念 防火墙（Firewall）是一个架设在互联网与企业内网之间的信息安全系统，根据企业预定的策略来监控往来的传输。 防火墙可能是一台专属的网络设备或是运行于主机上来检查各个网络接口上的网络传输。它是目前最重要的一种网络防护设备，从专业角度来说，防火墙是位于两个(或多个)网络间，实行网 ......
分布式事务实践-seata
Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 官网：https://seata.io/zh-cn/docs/overview/what-is-sea ......
linux 中根据列的不同类别输出指定列的最小值、最大值以及平均值
001、最大值和最小值 [root@PC1 test03]# ls a.txt [root@PC1 test03]# cat a.txt ## 测试数据 a 6 a 9 a 7 b 5 b 10 b 5 b 9 c 5 c 3 c 4 c 1 ## 根据第一列输出最大值 [root@PC1 test ......
读发布！设计与部署稳定的分布式系统（第2版）笔记19_基础层之设备
 # 1. 物理主机 ## 1.1. 以前数据中心硬件就是建立在单个物理机器的高可靠性上的 ## 1.2. 如今通过 ......
linux生态
7月4号，因为被yinwang忽悠了去下载TexMacs，然后操作系统不出意外的又出意外了。 起因应该是一开始没在意的sudo apt autoremove。 总之刷新之后GUI崩了。 然后我就需要在CLI上登录wifi，然后修复桌面。 一开始因为教程命令不统一，很多教程上的命令在我的环境中没有或用 ......
UDF（Universal Disk Format）是一种用于光盘和可移动存储介质的文件系统标准，它支持多种操作系统平台和文件类型。UDF通过将存储介质分为若干区域来组织数据，每个区域可以包含不同类型的文件。因此可以在各种操作系统上使用，如Windows、Mac OS、Linux等
UDF（Universal Disk Format）是一种用于光盘和可移动存储介质的文件系统标准，它支持多种操作系统平台和文件类型。UDF通过将存储介质分为若干区域来组织数据，每个区域可以包含不同类型的文件。 以下是UDF文件系统中常见的几种区域和对应的文件类型： 会话（Session）区域： 临时 ......
linux 中判断一列数据是否连续递增
001、 [root@PC1 test03]# ls a.txt b.txt [root@PC1 test03]# cat a.txt ## 测试数据连续递增 1 2 3 4 5 6 [root@PC1 test03]# cat b.txt ## 测试数据，非连续递增 1 2 3 5 6 [root ......
Linux 6.5增加对高通开源GPU Adreno 690的支持
即将推出的Linux 6.5内核将把对高通Adreno 690 GPU的支持添加到开源的MSM内核图形/显示驱动程序中。A690主要用于骁龙8cx第三代（SC8280XP）平台，而联想ThinkPad X13s笔记本电脑和其他硬件也采用了该平台。 新的支持将包含近200行代码，并超过现有Adreno ......