碎片 集群 线程 进程

YARN集群架构

玩Hadoop的不知道YARN?这简直是天大的笑话!之前介绍Hadoop核心组件的时候(详见《Hadoop的“前世今生”》那篇博文)就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”,那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构,主要 ......
集群 架构 YARN

Java多线程面试题

我分析了上百份大中小厂的面经,整理了 Java 面试中最最最常问的一些问题!小伙伴们可以对照着网站里面的文章学习或者准备面试。网站的内容会继续完善,欢迎你在评论区说出你遇到的高频面试题!林老师带你学编程(「Java 学习+面试指南」是一份涵盖大部分 Java 程序员所需要掌握的核心知识网站,准备 J ......
线程 Java

查看占用端口的进程号

1) 通过下面的命令可以查看占用端口的进程号: netstat -nao | findstr "8080" 2)可以通过 taskkill -pid xxxx -f 命令杀死进程,也可以通过任务管理器,找到对应 pid 的进程,然后直接右键结束进程即可解除端口占用 taskkill -pid xxx ......
端口 进程

Hive和Spark生产集群搭建

1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
集群 Spark Hive

Hadoop生产集群搭建

1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
集群 Hadoop

Linux 进程探查

想监测Linux进程,需要熟悉 ps 命令的用法。 Linux系统中使用的GNU ps 命令支持3种不同类型的命令行参数:  Unix风格的参数,前面加单破折线;  BSD风格的参数,前面不加破折线;  GNU风格的长参数,前面加双破折线。 1. Unix风格的参数 Unix风格的参数是从贝 ......
进程 Linux

在线程或子程中改UI属性

1、在线程中改UI TThread.Synchronize(Nil,procedure begin Form1.Label12.Caption:='共'+IntToStr(zs)+'张图片,正在处理第'+IntToStr(i)+'张'; end); 2、在子程中改UI Application.Que ......
线程 属性

跨线程组关联技术

跨线程组关联技术 局部变量转为全局变量 ${__P}调用全局变量 ......
线程 技术

5.经典进程同步问题

生产者消费者问题 一组生产者进程和一组消费者进程共享一个初始为空,大小为n的缓冲区。当缓冲区没满时,生产者才能把消息放入缓冲区,否则必须等待,只有缓冲区不空时,消费者才能从中取出消息,否则必须等待。由于缓冲区是临界资源,它只允许一个生产者放入消息,或一个消费者从中取出消息。 semaphore mu ......
进程 经典 问题

4.进程同步与互斥

生产者消费者问题 一组生产者进程和一组消费者进程共享一个初始为空,大小为n的缓冲区。当缓冲区没满时,生产者才能把消息放入缓冲区,否则必须等待,只有缓冲区不空时,消费者才能从中取出消息,否则必须等待。由于缓冲区是临界资源,它只允许一个生产者放入消息,或一个消费者从中取出消息。 semaphore mu ......
进程

Lock、Monitor线程锁

Lock、Monitor线程锁 官网使用 https://learn.microsoft.com/zh-cn/dotnet/api/system.threading.monitor?view=net-8.0 一. Lock 1.1介绍 Lock关键字实际上是一个语法糖,它将Monitor对象进行封装 ......
线程 Monitor Lock

linux 内存碎片处理

Linux内存碎片化主要由于内存的分配和释放不均匀导致,会降低内存利用效率。可以通过以下方法对Linux内存进行碎片整理: 执行sync命令:该命令会强制将内存中的脏数据写回磁盘,释放内存。这可以腾出较大的连续内存块,减少碎片。执行echo 1 > /proc/sys/vm/drop_caches命 ......
碎片 内存 linux

面试官:什么是虚拟线程?为什么要有虚拟线程?

Java 中的虚拟线程,也叫做协程或“轻量级线程”,它诞生于 JDK 19(预览 API),正式发布于 JDK 21,它是一种在 Java 虚拟机(JVM)层面实现的逻辑线程,不直接和操作系统的物理线程一一对应,因此它可以减少上下文切换所带来的性能开销。 操作系统线程、普通线程(Java 线程)和虚 ......
线程

java多线程

一、进程 二、线程 三、通过继承Thread类实现多线程 1、Thread概述 示例: 2、设置和获取线程名称 3、线程优先级 示例: 4、线程控制 5、线程生命周期 四、通过实现Runnable接口实现多线程 1、概述 示例: 2、总结 五、线程同步 1、买票实例分析线程同步 问题思考: 下面进行 ......
线程 java

C++聊天集群服务器解决客户端注销登录问题

客户端如何处理注销登录问题? 问题描述: ​ 在客户端登录后进行注销选择,然后重新登录刚才注销的账号,直接卡死。注意这是概率发生,因为是主线程和子线程抢服务器发送的信息,只有子线程抢到才会发生卡死 问题产生原因分析: ​ 前置条件:主线程循环等待用户输入选择(第一张图是死循环,send后立马recv ......
集群 客户端 客户 服务器 问题

进程间通信-信号-pipe-fifo

1.运行结果 这三段代码实现了 FIFO(命名管道)的基本操作,允许进程之间进行通信。以下是对每个程序的简要说明: fifo_creator.c: 这个程序创建了一个 FIFO 文件,它使用 mkfifo 函数在指定路径下创建了一个名为 /tmp/myfifo 的 FIFO。 • mkfifo("/ ......
pipe-fifo 进程 信号 pipe fifo

集群模式

一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大,一主多从的模式已经无法支撑这么大量的数据存储,于是你首先考虑将多个主从模式结合在一起对外提供服务,但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
集群 模式

MySQL集群

一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点: 速度快 弱一致性 适用于低价值数据: 日志 新闻 帖子 1.2、PXC 特点: 速度慢 强一致性 适用于高价值数据: 订单 账户 财务 1.2.1、PXC原理 全称(Percona XtraDB Cluste ......
集群 MySQL

Redis 主从集群搭建并使用 RedisTemplate 实现读写分离

单机版的 Redis 能够承载并发访问的能力有限,对于绝大多数的系统而言,都是读多写少,系统之所以宕机,一般都是因为并发读操作太高导致的宕机,因此搭建 Redis 主从集群,实现读写分离,是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上,使用 docker-compose 模拟搭建一 ......
主从 集群 RedisTemplate Redis

Java线程池使用浅谈

1. 线程池相关基本概念 任务(Task):任务是线程池中要执行的工作单元。任务可以是实现了 Runnable 接口或 Callable 接口的对象。Runnable 任务没有返回值,而 Callable 任务可以返回一个结果。 线程池管理器(ThreadPool Manager):线程池管理器是用 ......
线程 Java

linux常用指令之系统和进程

1、top 查询所有进程 2、ps -ef | grep java 通过进程名查询进程 3、netstat -apn | grep 端口号 通过端口号查询进程,centos6专有 4、lsof -i:端口号 也是通过端口号查询进程,系统默认不自带,通过 yum install -y lsof安装 5 ......
指令 进程 常用 系统 linux

C++11 多线程

文章参考: C++ 教程 | 爱编程的大丙 (subingwen.cn) C++11的原子量与内存序浅析 - 兔晓侠 - 博客园 (cnblogs.com) 从C++11起,C++为用户提供一套新的多线程类。线程相关操作头文件:thread #include <thread> 一. std::thr ......
线程 11

4.PG的进程和内存结构

1.我们在启动PG数据库时,会先启动一个Postmaster的主进程,还会fork出一些辅助的子进程,其中辅助的子进程主要包含: 1)Logger(系统日志)进程 2)BgWriter(后台写)进程 3)WalWriter(预写式日志) 进程 4) PgArch(归档)进程 5) AutoVacuu ......
进程 内存 结构 PG

多线程

sleep方法: sleep方法使当前线程暂停执行指定的时间,然后继续执行。 在线程休眠期间,它不会释放任何锁资源。 sleep方法主要用于控制线程的执行速度或等待某个条件成立。 Thread.sleep(5000); // 休眠5秒钟 Thread t1 = new Thread(new Runn ......
线程

在linux上通过batch批量获取进程ID

实际上你用ps -eo args | grep myprocessname 再配合 | awk -F '=' '{print $2}',也就能拿出pid了,但是,如果你需要再进一步过滤呢,比如我在java参数上有个spring.profiles.active,我想指定有这些参数的进程,那么可以用下面 ......
进程 linux batch

prometheus监控k8s集群信息(通过kube-state-metrics)

prometheus监控k8s集群信息(通过kube-state-metrics) 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少,当然如果只需要监控POD的cpu、内存等信息,可能使用kubelet也够了,但是更多的信息还需要其他的工具,这里使用kube-st ......

Kubernetes集群存储解决方案GlusterFS

1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......

Linux系统下kafka集群安装部署

Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 操 ......
集群 系统 Linux kafka

【多线程笔记】Channel

在面对 生产者-消费者 的场景下, netcore 提供了一个新的命名空间 System.Threading.Channels 来帮助我们更高效的处理此类问题,有了这个 Channels 存在, 生产者 和 消费者 可以各自处理自己的任务而不相互干扰,有利于两方的并发处理,这篇文章我们就来讨论下如何 ......
线程 Channel 笔记

c语言中,获取线程id

#include <stdio.h> #include <sys/syscall.h> #include <unistd.h> #include <pthread.h> void *printThreadId(void *arg) { pid_t tid = syscall(SYS_gettid); ......
线程 语言