碎片 集群 线程 进程
并发使用(多线程 多进程 进程池 线程池 协程和异步编程) 队列
目录一、多线程、多进程、进程池、线程池、协程与异步区别多线程（Multithreading）多进程（Multiprocessing）进程池（Multiprocessing Pool）线程池（Multithreading Pool）协程（Coroutine）异步编程（Asynchronous Prog ......
kubeadm安装k8s集群
1.机器准备 部署k8s集群的节点按照用途可以划分为如下2类角色： master：集群的master节点，集群的初始化节点，基础配置不低于2c 4g slave：集群的slave节点，可以多台，基础配置不低于1c 2g 这里教程是基于非高可用版本的k8s集群，高可用是指有多个k8s-master主节 ......
进程与端口的系统设计题
#####题目 1. FlowStatsSystem 在一台计算机上运行着多个网络程序的进程，每个进程可以绑定多个端口，每个端口同一时刻只能被绑定在一个进程上，每个端口在绑定成功后可以接收网络报文。 请设计一个流量统计的简易系统，实现下面接口： FlowStatsSystem() – 系统初始化。 ......
教你使用Prometheus-Operator进行K8s集群监控
本文分享自华为云社区《Promethues-operator入门使用指导》，作者：可以交个朋友。 一、 背景 在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配 ......
杀死进程
kill -9 pid ：杀死一个进程； kill -15 pid：终止一个进程； 这么描述这两个东东的定义似乎不太好理解，那么举个栗子：你现在在码字，然后你对象说快把洗衣机里面的衣服晾一下，你回答说“好的，等我把这点写完就去”，这个场景就相当于 kill -15 pid的执行过程，当收到 sign ......
prometheus监控k8s集群node节点/linux操作系统
prometheus监控k8s集群node节点/linux操作系统 一、监控linux操作系统 1、下载二进制包 wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0 ......
Python学习多线程、多进程、多协程记录
一、多线程 应用于 请求和IO #1. Python中关于使用多线程多进程的库/模块 #2. 选择并发编程方式 (多线程Thread、多进程Process、多协程Coroutine) 前置知识： 一、三种有各自的应用场景 1. 一个进程中可以启动多个线程 2. 一个线程中可以启动多个协程 二、各自优 ......
进程间通信-信号-pipe-fifo
进程间通信-信号-pipe-fifo 编译fifo文件夹的程序 运行fifo文件夹的程序 代码说明 1.consumer.c 文件包含一个用来从 FIFO（命名管道）读取数据的 C 程序。以下是它的主要组件和系统调用的分解： main() 函数: 初始化文件描述符（pipe_fd）、返回状态（res ......
使用CEF（七）详解macOS下基于CEF的多进程应用程序CMake项目搭建
由于macOS下的应用程序结构导致了CEF这样的多进程架构程序在项目结构、运行架构上有很多细节需要关注，这一块的内容比起Windows要复杂的多，所以本文将会聚焦macOS下基于CEF的多进程应用架构的环境配置，并逐一说明了CMake的相关用法和CEF应用配置细节。 前言 在进行搭建之前，我们首先必 ......
Java并发(十八)----常见线程安全类及实例分析
1、常见线程安全类 String Integer StringBuffer Random Vector Hashtable java.util.concurrent （JUC）包下的类 这里说它们是线程安全的是指，多个线程调用它们同一个实例的某个方法时，是线程安全的。 Hashtable table ......
检查进程页表 （翻译 by chatgpt）
原文：https://www.kernel.org/doc/html/v6.6/admin-guide/mm/pagemap.html 检查进程页表 pagemap是内核中的一组接口，允许用户空间程序通过读取/proc中的文件来检查页面表和相关信息。 pagemap包括以下四个组件： /proc/p ......
c++ 多线程
https://blog.csdn.net/sjc_0910/article/details/118861539 unique_lock 和 lock_guard 多线程是一种实现并发处理的有效方式，C++11开始引入了<thread>库，使得多线程编程更加容易和高效。以下是C++中多线程编程的一些 ......
Kafka集群搭建、注意事项及示例
1. 安装Zookeeper： Kafka依赖于Zookeeper来进行集群协调。确保安装了Zookeeper，并配置好。 2.下载和解压Kafka： 从官方网站下载Kafka，并解压到所需的目录。 3.配置Kafka： 修改Kafka的配置文件以适应集群环境。主要修改server.properti ......
笔记：Qt开发之多线程的实现(QThread、moveToThread)
目标：了解Qt实现多线程的两种基本方式(QThread、moveToThread)，各自的实现方式、使用场景。1，子类化QThread实现方式：继承QThread类，重写run()函数实现多线程class WorkerThread : public QThread { Q_OBJECT public ......
centos7搭建kubernetes-v1.25.1集群（Containerd作为运行时）
集群配置 节点名称内存硬盘处理器内核总数ip master 6GB 40GB 6 192.168.67.166 node1 6GB 40GB 6 192.168.67.167 node2 6GB 40GB 6 192.168.67.168 一、所有节点更改镜像源 curl -o /etc/yum.r ......
java多线程执行有返回值的任务示例
public static void main(String[] args) throws Exception { long startTime = System.currentTimeMillis(); //ConcurrentHashMap<String, String> map = new C ......
elasticsearch安装-集群
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
vue文件下载调取浏览器下载进程
fetch+streamSaver 前端在使用axios发送网络请求时，如文件下载，无法实时获取当前已经下载的文件流，只有当后端返回全部流时，才能在浏览器右下角显示已经完成的进度。 但是当文件很大时，就会出现长时间的等待，而且不显示下载进度。 此时可以通过fetch来发送网络请求实时获取已经下载的文 ......
智能检测/摄像头监控系统EasyCVR无法启动进程是什么原因？如何解决？
国标GB28181智慧安防平台EasyCVR支持高清视频的接入和传输、分发，平台采用了开放式的网络结构，提供实时远程视频监控、录像回放与存储等功能。视频安防监控汇聚平台可支持1、4、9、16个画面窗口播放，可同时播放多路视频流，也能支持视频定时轮播。视频监控汇聚平台EasyCVR支持多种播放协议，包 ......
ogg 清理 capture进程
SQL> select server_name, capture_name from dba_xstream_outbound ; SERVER_NAME CAPTURE_NAME OGG$E_EMP OGG$CAP_E_EMP 此功能主要是清理ogg集成模式在oracle中的capture进程 S ......
torch 多进程训练和分布式训练
通常来说，多进程没有涉及到梯度同步的概念。 分布式则设计梯度同步。分布式中，如果用cpu，则指定gloo后端。用gpu，则指定nccl后端。 多进程训练 只需要mp.spawn即可，每个进程只负责自己的模型训练，不涉及梯度同步。 例子 https://www.geeksforgeeks.org/mu ......
ThreadLocal 本地线程变量详解
概述 ThreadLocal 意为本地线程变量，即该变量只属于当前线程，对其他线程隔离 我们知道，一个普通变量如果被多线程访问会存在存在线程安全问题，这时我们可以使用 Synchronize 来保证该变量某一时刻只能有一个线程访问，从而解决并发安全问题 但如果这个变量并不需要被共享，那么就可以使用 ......
数据库集群主键为什么不用uuid
主键用数字还是UUID？ UUID 是通用唯一识别码的缩写，其目的是让分布式系统中的所有元素，都能有唯一的辨识信息，而不需要通过中央控制端来做辨识信息的指定。在数据库集群中，为了避免每个MySQL各自生成的主键产生重复，所以有人考虑采用UUID方式。 使用UUID的好处 使用UUID，分布式生成主键 ......
使用 shell 脚本启动指定数量的进程
经典用法 i=0 while true;do # 此文件里面可以放同时执行的数量 mod=$(cat process_count.plain.txt) # 并行执行数量, 默认为3个进程执行 if [ -z "$mod" ]; then mod=3 fi if [ $((i % mod)) -eq ......
DataX vs 腾讯云COS对象存储 -> StarRocks集群
本文将介绍使用DataX读出Cos的Orc文件往StarRocks里面写。 需求: 需要将腾讯云cos上84TB的数据, 同步到StarRocks某个大表。正常每个分区数据量20~30亿，600GB。 工具：DataX插件：hdfsreader、starrockswriter对象存储COS：非融合 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
Redis 3 种特殊数据类型详解、Redis内存碎片
Cache Aside Pattern（旁路缓存模式） Cache Aside Pattern 是我们平时使用比较多的一个缓存读写模式，比较适合读请求比较多的场景。 Cache Aside Pattern 中服务端需要同时维系 db 和 cache，并且是以 db 的结果为准。 下面我们来看一下这个 ......
超算集群安装OpenFOAM-LIGGGHTS-CFDEM(普通用户权限-以CSU HPC CentOS7.9为例)
普通用户权限超算集群安装OpenFOAM-LIGGGHTS-CFDEM，由于缺少root权限，无法根据CFDEM官方instruction进行安装。 本文以CSU超算平台为例，利用普通用户权限进行编译安装。文章修正了已有教程中部分问题，特别感谢希望先生与记得小蘋初见教程。 1. 安装必要依赖包 此部 ......
linux 多线程写同一个文件
来自： https://blog.popkx.com/linux-multithreaded-programming-in-io-read-write-security-functions-pread-pwrite-and-read-write-what-is-the-difference-and- ......
Java进程内线程数量限制的相关学习
Java进程内线程数量限制的相关学习 背景 还是之前出现 cannot create native thread 的问题的后续 周末在家学习了下如何在容器外抓取dump. 也验证了下能否开启超过宿主机 nofile 配置的进程数量. 想着总结一下学习到的东西, 不枉周六不午休, 周天晚上还开会到11 ......