scheduling进程 心得lectrue
检查运行中的进程的堆栈信息
对于编译时添加了调试信息的程序，gdb可以导出正在运行中的进程的core文件: gcore -o [输出core文件的路径] [进程id] 然后进入gdb调试： gdb [程序路径] [core文件路径]进入gdb调试 ......
Python多进程代码调试工具
https://github.com/Lightning-AI/forked-pdb import sys import pdb class ForkedPdb(pdb.Pdb): """ PDB Subclass for debugging multi-processed code Suggest ......
请写一个用python3.x pool.map多进程下载文件的示例代码
自己改了一下要下载的url，一个网页，一个exe，一个PDF import requests import multiprocessing def download_file(url): local_filename = url.split('/')[-1] with requests.get(ur ......
Python 多进程编程：创建进程的三种模式之spawn、fork、forkserver
进程是操作系统分配资源的最小单位，进程之间是相互隔离的，一般一个应用程序就对应一个进程。进程中可以包含多个线程，同一进程内的多线程可以共享进程内的部分资源。由于进程之间有隔离机制，因此在并发编程中，进程之间更加注重通信（或者说资源共享），而多线程编程更加注重线程同步（协同执行）。 Python中有 ......
IMPDP ORA-31685: Object type PROCOBJ:<SCHEMA_NAME>.<SCHEDULER_JOB> failed due to insufficient privileges
问题原因 Impdp of PROCOBJ Objects Fails Due To 'Insufficient Privileges' After Applying 19.9 DBRU (Doc ID 2738314.1) The issue is started to be seen after ......
Python multiprocessing 多进程
进程：process 线程：thread Python多进程和多线程哪个快由于GIL的存在，很多人认为Python多进程编程更快，针对多核CPU，理论上来说也是采用多进程更能有效利用资源。但这不是说明多线程就没意义了，还是得根据实际场景来看。 对CPU密集型代码（比如循环计算），多进程效率更高。对I ......
进程管理 一 进程与线程
为什么要引入进程？ 多道程序环境下，程序之间因共享资源而相互制约着运行，因此体现出间断性的特征。 传统的程序是一组指令的集合，体现不出其在内存中的运行情况（间断性导致的何时停顿、何时运行）。 因此引入了进程的概念。 进程是怎么解决问题的？ 进程把能识别程序运行态的一些变量放在PCB中，通过这些变量能 ......
进程管理 三 同步与互斥问题
同步与互斥 多道程序环境下，进程并发执行，不同进程之间存在不同的相互制约关系。同步——直接制约关系互斥——间接制约关系 临界区互斥的实现方法 软件实现方法 单标志法 标志turn用于指示允许进入临界区的进程。 双标志先检查法 双标志后检查法 Peterson算法 硬件实现方法 通过硬件支持实现临界互 ......
进程管理 二 处理机调度问题
调度的三个层次 多道批处理系统中大多配有作业调度，而其他系统中通常不需要配置作业调度。 中级调度实际上就是存储器管理中的对换功能。 进程正在进行I/O操作时不能换出内存，否则其I/O数据区将被新换入的进程占用，导致错误。不过可以开辟I/O缓冲区，将数据从外设输入或将数据输出到外设的I/O活动在缓冲区 ......
windows下使php实现守护进程
github: 仓库地址： https://github.com/kohsuke/winsw下载地址： https://github.com/winsw/winsw/releases 步骤： 1.先到 https://github.com/kohsuke/winsw/releases 下载对应文件， ......
linux 根据进程名称kill进程
经常需要Kill多个进程，这些进程包含共同的关键字，可以用一条命令Kill掉它们。 ps aux | grep "common" | cut -c 9-15| xargs kill -9 管道符“|”用来隔开两个命令，管道符左边命令的输出会作为管道符右边命令的输入。下面说说用管道符联接起来的几个命令 ......
Go's work-stealing scheduler 新建goroutine 与饥饿模式
小结： 1、多核处理器 从其他核的任务队列中偷取任务 新建goroutine 与饥饿模式 Go's work-stealing scheduler · rakyll.org https://rakyll.org/scheduler/ Go's work-stealing scheduler Sun, ......
Two-Processor Scheduling
Two-Processor Scheduling 问题：给定 DAG，每次可以选至多 2 个入度为 0 的点同时删除，问最少几次删完。 记 $u\prec v$ 表示 $u$ 在 DAG 上能走一条路径到达 $v$，读作 “$u$ 到达 $v$”。记 $u\to v$ 表示 $u\prec v$ 且 ......
在Linux下使用pipe()实现父子进程之间相互通信时遇到的问题及解决
今天在做MIT6.S081操作系统课程的lab1时，有这样一个题目： 实现父子进程之间通信，达到'ping-pong'指令的效果。 其实是个很简单的实验，对吧？ 准备两个管道，父进程写 子进程读 子进程写 父进程读。 但是今天我遇到了这样一个问题： 起初，是一个bug，我发现子进程可以read到父- ......
Linux 查看进程占用cpu/内存/io信息
Linux 查看进程占用cpu/内存/io信息 top Display dynamic real-time information about running processes. More information: https://manned.org/top. 单词解释： PID: 进程ID U ......
《操作系统导论》读书笔记1——CPU虚拟化，进程
系列文章目录和关于我 一丶CPU的虚拟化 一个桃子，我们称之为物理（physical）桃子。但有很多想吃这个桃子的 人，我们希望向每个想吃的人提供一个属于他的桃子，这样才能皆大欢喜。我们把给每个 人的桃子称为虚拟（virtual）桃子。我们通过某种方式，从这个物理桃子创造出许多虚拟桃子。重要的是，在 ......
idea 调试小心得
1、为什么需要Debug 目的：开发过程中 查找或定位错误或者阅读源码 程序运行的结果（4种情况） 情况1:没有任何bug,程序执行正确! 情况2: 运行以后，出现了错误或异常信息。但是通过 日志文件或控制台 ，显示了异常信息的位置。 情况3: 运行以后，得到了结果，但是结果不是我们想要的。 情况4 ......
听说大家很感兴趣玮子的学习心得，采访来了
哪有那么多人生开挂，不过都是厚积薄发 —— 哲理熊 上次玮子投稿以后，大家都很好奇，为什么他可以坚持在朋友圈打卡几百天，想技术问题那么有深度，今天就随熊哥走进科学，揭秘玮子的内心世界。 建议收藏反复观看。 学习的心得 记住两个概念，终值和峰值。这是一个心理学专家提出来的。 峰值是指这段体验中的最高峰 ......
linux 基础（10）进程管理
使用 ps 观察程序 ps -l ps程序可以查询当前在运行的进程信息。ps -l可以列出详细的信息，默认仅列出当前 bash 相关的进程。 sudo -i ps -l F S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD 4 S 0 2133 2 ......
ADG无法同步：TT00进程报错 Error 12514
环境： Oracle 19.16 ADG (Single Instance -> RAC) 在配置ADG的场景，发现ADG不能同步。 1.查看报错信息 2.oerr查看该错误说明 3.尝试sqlplus连接到standby 4.尝试relocate监听 5.继续排查发现是参数问题 6.总结和延伸 1 ......
linux环境编程(3): 使用POSIX IPC完成进程间通信
1. 写在前面 之前的文章总结了使用管道进行进程间通信的方法，除了pipe和fifo，Linux内核还为我们提供了其他更高级的IPC方式，包括共享内存，消息队列，信号量等，本篇文章会通过一个具有完整逻辑功能的示例说明如何使用这些IPC方法。毕竟单纯地查手册，写代码...周而复始，这个过程还是比较枯燥 ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......
windows11预览版装WSA心得
这两天心血来潮想要装个WSA（安卓windows子系统），原来一直用的安卓模拟器（mumu啊蓝叠啊逍遥啊），但感觉像wsa这种安卓系统与主系统融合的模式更带感，于是开始了我艰苦的安装（瞎捯饬）之路 我也是真惨，别人安装失败都是一两个原因，我安装失败倒是把几乎所有失败原因都搭上了。 因为我年少轻狂，当 ......
linux环境编程(2): 使用pipe完成进程间通信
1. 写在前面 linux系统内核为上层应用程序提供了多种进程间通信(IPC)的手段，适用于不同的场景，有些解决进程间数据传递的问题，另一些则解决进程间的同步问题。对于同样一种IPC机制，又有不同的API供应用程序使用，目前有POSIX IPC以及System V IPC可以为应用程序提供服务。后续 ......
COM 进程注入技术
COM PROCESS INJECTION for RUST 项目地址：https://github.com/0xlane/com-process-inject Process Injection via Component Object Model (COM) IRundown::DoCallba ......
【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的，为啥还是会出现OOMKilled？
为什么我设置的大小关系没有错，还会OOMKilled？ 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题：在大多数情况下，JVM将一般默认会采用宿主机Node节点的内存为Native VM空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。 ......
【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？
我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。
该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？ ......
Docker进阶-Dockerfile建立一个自定义的镜像执行自定义进程
前言 docker对我来说是一个很方便的工具，，上一篇文章也写了docker基本的一些使用，这篇文章重点描述一下Dockerfile的使用，从零建立一个自己定制化的镜像，并可以执行我们需要的任务。 作者：良知犹存 转载授权以及围观：欢迎关注微信公众号：羽林君 或者添加作者个人微信：become_me ......
【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）
在我们日常的工作当中，通常应用都会采用Kubernetes进行容器化部署，但是总是会出现一些问题，例如，JVM堆小于Docker容器中设置的内存大小和Kubernetes的内存大小，但是还是会被OOMKilled。在此我们介绍一下K8s的OOMKilled的Exit Code编码。 ......