三剑客 文本linux awk
自动化文件管理：使用Python创建匹配Excel数据的文本文件
介绍 在日常工作中，我们经常需要处理大量的数据和文件。尤其是在处理涉及多层嵌套目录和数据文件时，手动操作变得极其繁琐和耗时。为了提高效率，自动化这一过程显得尤为重要。 本博客介绍了一个实用的Python脚本，它能够自动读取Excel表格中的数据，并在相应的文件夹中创建文本文件。这个程序首先读取Exc ......
Linux 查看磁盘空间
一、查看文件系统使用率 df -h 二、查看目录下文件大小 du -sh * # 包含隐藏目录 du -sh .[^.]* * |sort -h ......
linux - 文件与目录权限的设置与修改
文件权限说明 [-][rwx][r-x][r--] 文件权限分为四部分： 1. 第一部分表示文件类型，- 代表普通文件，d代表目录, l代表链接文件 2. 第二部分表示文件所有者权限，r 代表可读， w代表可写， x代表可执行 3. 第三部分表示所属用户组权限，r 代表可读， x代表可执行 4. 第 ......
zookeeper及kafka在Linux下的安装与配置
一、Zookeeper的下载、安装、配置ZooKeeper服务器是用Java创建的，它需要在JVM上运行，所以需要使用JDK1.6及以上版本的支持。对于jdk的安装本文不做介绍。 1、zookeeper的下载：因为apache-zookeeper-3.5.5的在安装完启动时可能会报，"错误: 找不到 ......
linux安装kafka教程
一、安装kafka1、下载kafka1.到kafka的官网，去下载想用的kafka包：http://kafka.apache.org/downloads 2.我这里下载的是：kafka_2.12-3.4.1.tgz 3.将安装包传送到服务器并解压（默认这里解压了就是安装路径了，可以自己斟酌）： 比如 ......
Linux搭建FTP服务器
一、概念简介 vsftpd（very secure FTP daemon）是Linux下的一款小巧轻快、安全易用的FTP服务器软件，本次实验介绍如何在Linux上安装并配置vsftpd。 FTP（File Transfer Protocol）是一种文件传输协议，基于客户端/服务器架构，支持以下两种工 ......
Linux开机启动自定义脚本
方式一：chkconfig命令 首先编写好自启的脚本 /etc/init.d/test.sh #!/bin/sh # chkconfig: 2345 10 90 # 创建个文件 touch /opt/script/1.txt 再给脚本添加上可执行权限： chmod +x test.sh 将脚本添加到 ......
【不断更新】linux命令
解压/生成压缩包 # .zip格式：-r 目录递归遍历 unzip 待解压的压缩包.zip zip -r 待生成的压缩包.zip 被压缩目录 # .gz格式使用gzip命令压缩、gunzip命令解压缩 # .bz2格式使用bzip2命令压缩、bunzip2命令解压缩 # 但.gz或.bz2不能压缩目 ......
Linux下4种快速创建大文件的方法
1. 使用 dd 命令创建大文件 dd 命令是实际写入硬盘，文件产生的速度取决于硬盘的读写速度，根据文件的大小，该命令将需要一些时间才能完成。创建一个名为 test.img 的 2 GB 大小的文本文件，执行以下操作：dd if=/dev/zero of=test.img bs=2G count=1 ......
linux环境变量（转载）
阅读目录一、Linux 环境变量介绍1.1 Linux 环境变量介绍1.2 Linux 环境变量分类1.3 Linux 常用的环境变量二、Linux 查看环境变量三、Linux 添加环境变量3.1 添加系统级环境变量（需root权限、针对所有用户、永久生效）3.2 添加用户级环境变量3.3 SSH/ ......
关于再次踩坑windows下新建文本文件默认没有换行符
windows下编辑文件，每行的行尾不会默认插入换行符。 Linux下编辑文件，每行行尾会插入换行符LF ......
Python 提取 Word 文档中的文本和图片
将内容从 Word 文档中提取出来可以方便我们对其进行其他操作，如将内容储存在数据库中、将内容导入到其他程序中、用于 AI 训练以及制作其他文档等。第三方库 Spire.Doc for Python 提供了一个简单的方法直接提取 Word 文档中的内容，包括文本和图片，而不需要大量的复制粘贴操作，也 ......
Linux 安装 Harbor Docker镜像仓库&&远程访问
Harbor 是为企业用户设计的容器镜像仓库开源项目，包括了权限管理(RBAC)、LDAP、审计、安全漏洞扫描、镜像验真、管理界面、自我注册、HA 等企业必需的功能，同时针对中国用户的特点，设计镜像复制和中文支持等功能。 下面介绍如何在Linux安装并且使用cpolar内网穿透工具实现远程访问Har ......
linux 使用 mwget 实现多线程下载
mwget和curl/multicurl一样，m就是multi多线程的意思。mwget是wget的升级版，支持多线程下载 【使用方法】 git clone https://github.com/rayylee/mwget.git cd mwget yum -y install pkg-config ......
Linux内核中的同步机制
Linux内核中的同步机制是用来确保在多任务、多处理器环境下的并发操作的正确性和一致性。以下是一些主要的同步机制： 原子操作： 原子操作是不可分割的操作，也就是说，它们在执行过程中不会被中断。这对于保护共享数据非常关键，特别是在多处理器环境中。 信号量（Semaphore）： 信号量是一种用于控制多 ......
linux安装nginx
安装依赖 //一键安装四个依赖环境 yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel 上传压缩包并解压 上传nginx压缩包到/usr/local/nginx目录下 tar xvf nginx-1.24.0.tar ......
Linux服务器快速安装MongoDB-5.0
最近开始体验FastGPT开源知识库问答系统，用他们试着开发调试一些小助手。这中间需要使用到MongoDB，就在自己服务器上进行了安装，特此记录下。 环境说明：阿里云ECS，2核8G，X86架构，CentOS 7.9操作系统。 选择版本 1.打开MongoDB社区版下载页面，选择我们想要安装的版本、 ......
在linux中，用-r还是-p处理递归的文件夹
在 Linux 中，递归处理文件夹用 -r 还是 -p选项 1. 使用 -r： -r 来表示递归，例如 cp 和 rm。例如： -r 通常用于表示递归操作，例如在复制目录或删除目录时使用。 示例： 复制目录及其内容：cp -r source_directory destination_directo ......
linux Slab高处理
SLAB是Linux操作系统的一种内存分配机制。其工作是针对一些经常分配并释放的对象，您可以看看哪些应用进程的slab占用的内存比较多，是否这些应用需要频繁的请求和释放内存，比如进行一些小文件的读写。如果都是应用的正常使用，可以考虑升级服务器内存，如果内存不足影响业务，需要临时释放一下slab占用的 ......
linux防止常见的网络攻击
什么是syn，ddos，ping SYN (Synchronize)： 在 TCP（传输控制协议）中，SYN 是握手过程的一部分。当客户端尝试与服务器建立连接时，它发送一个带有 SYN 标志的数据包。服务器收到 SYN 数据包后，通常会回复一个带有 SYN 和 ACK（确认）标志的数据包，表示接受连 ......
[自动化]bash linux脚本编程
今天新开一个知识点。linux脚本编程。先开着。 知识点1： bc计算数学运算 更多知识点可以参考https://www.cnblogs.com/emanlee/p/4351889.html 故意用了不同的算法： #!bin/bash read a read b echo $[a+b] echo ` ......
Linux系统目录结构
├── bin -> usr/bin ： bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。 ├── boot 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。 ├── dev dev 是 Device(设备) 的缩写, 该目录 ......
Linux 学习笔记
vim使用打开vim资源文件（可配置vim）：vim .vimrc 打开学习vim资料：vimtutor（英文版）vimtutor zh（中文版） 模式转换：普通模式(😃——>命令模式(ESC)——>普通模式 普通模式(I、i、A、a、O、o)——>插入模式(ESC)——>普通模式 I：行首插入 ......
linux---内核笔记
semaphore 用于进程和进程之间的同步 允许有多个进程进入临界区代码执行 进程获取不到信号量锁会陷入休眠，让出cpu 信号量本质是基于进程调度器，UP和SMP下的实现无差异。 被信号量锁保护的临界区代码允许睡眠，这是和自旋锁最大的区别之一。 不支持进程和中断之间的同步，这是和自旋锁最大的区别之 ......
linux系统编程第九章
目录 1.I/O库函数 2.I/O库函数与系统调用 3.I/O库函数的算法 3.1fread算法 3.2fwrite算法 3.3fclose算法 4.I/O库模式 4.1字符模式 4.2行模式I/O 4.3其他I/O库函数 4.4限制混合fread-fwrite 5.文件流缓冲 6.变参函数 7.苏 ......
linux 挂载共享磁盘
linux 挂载共享磁盘 A系统,IP为10.11.48.134 磁盘/data 有500G， B系统 IP为10.11.48.130 C系统IP为10.11.48.131 现要将A系统的磁盘挂载到B系统和C系统 A系统 安装nfs和rpcbind # 安装 yum install -y nfs-u ......
linux进程管理
Linux是一种多用户操作系统，也是一种多任务系统。多任务意味着可以同时运行多个程序。运行程序的实例通常被称为 进程 。Linux提供了相关的工具列出运行中的进程，监视系统的使用情况以及在必要时停止（或杀死）进程。可以通过shell启动、暂停、停止或者杀死进程，此外，还可以将进程放到后台以及带到前台 ......
linux虚拟机固定ip
1、查看宿主机IP信息 在windows宿主机上，键盘输入win+r，输出cmd，打开终端命令行： 输入ipconfig /all，查看宿主机IP信息： 2、修改Linux虚拟机的配置文件 Linux虚拟机上打开网络配置文件：cd /etc/sysconfig/network-scripts/vi ......
linux 进程间通信 --- 共享内存（POSIX 版本）
POSIX 进程间通信 POSIX 进程间通信 (Interprocess Communication, IPC) 是 System V 进程间通信的变体。它是在 Solaris 7 发行版中引入的。与 System V 对象类似，POSIX IPC 对象的属主、属主的组以及其他用户具有读取和写入权 ......
Linux配置成代理服务器
简介： 代理服务器（Proxy Server）是一种位于计算机网络中的中间服务器，它充当了客户端和目标服务器之间的中介，用于转发客户端请求并获取目标服务器的响应。代理服务器的主要功能包括以下几点： 什么是代理服务器 代理服务器（Proxy Server）是一种位于计算机网络中的中间服务器，它充当了客 ......