磁盘balancer hdfs disk
linux 磁盘清理
在CentOS 7环境中处理磁盘空间，可以按照以下步骤进行： 首先查询磁盘空间占用情况。你可以使用df -ah命令来查看每个分区的使用情况。 定位到根目录，然后查询大文件与目录。可以使用cd /命令进入根目录，然后运行du -sh * | sort -n命令查看当前目录下所有文件和目录的大小，并按大 ......
redis报错MISCONF Errors writing to the AOF file: No space left on device，磁盘满无法写入数据报错
查询报错远程调用接口异常，F12查看网络和标投和预览到是mgr的接口此错误#根据报错提示：Error in execution; nested excepti on is io.lettuce.core.RedisCommandExecutionException: MISCONF Errors w ......
Linux：磁盘管理
一、磁盘查看 df命令可以查看文件系统磁盘空间使用 df -h 二、磁盘分区 查看磁盘设备文件和分区 ls /dev/sd* 其中就一个磁盘文件 /dev/sda ，该磁盘文件创建了2个分区，分别是 /dev/sda1 和 /dev/sda2 为什么要将磁盘文件分区？ 用过Windows系统可能知道 ......
linux网络磁盘映射到windows
在linux中按照以下步骤执行 第一步： 安装samba套件： sudo apt-get install samba sudo apt-get install smbclient 第二步： 修改配置文件：sudo vim /etc/samba/smb.conf 第三步： 添加参数设置： 可以在末 ......
centos 磁盘扩容
lvextend -l +100%FREE /dev/centos/root #扩展逻辑分区至分区组最大可用空间 xfs_growfs #逻辑分区扩容 resize2fs #逻辑分区扩容 partprobe #fdisk分区建完 lsblk不显示 lsblk #查看磁盘情况 fdisk -l #查看 ......
CodeForces 1237H Balanced Reversals
洛谷传送门 CF 传送门 容易想到把 \(s, t\) 分成长度为 \(2\) 的段考虑。容易发现 \(00, 11\) 的个数在操作过程中不会改变，所以若两串的 \(00\) 或 \(11\) 个数不相等则无解。 考虑依次对 \(i = 2, 4, \ldots, n\) 构造 \(s[1 : i ......
磁盘空间不足|删除文件后空间不释放
现象： 磁盘空间不足告警，运维人员手工删除日志文件后，磁盘空间仍旧是没有释放出来 原因： 使用 rm -rf *.log 删除日志文件时， 进程仍旧在往日志文件里面写入数据,删除的文件仍旧被进程虎占用着 解决方法： (1) 通过 lsof | grep deleted 查出来已经删除未被释放的文件， ......
作业2 分布式文件系统HDFS
一. 单选题（共10题，20分） 1. (单选题, 2分)分布式文件系统指的是什么？ A. 把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 B.用于在Hadoop与传统数据库之间进行数据传递 C. 一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 D. 一种高吞吐 ......
磁盘占用查询
1、 check_quota 查询配置quota的磁盘情况 2、 ma insight query_quota 查询配置quota的磁盘情况 3、 ncdu 查询当前路径的磁盘情况 ncdu - Wikipedia 4、 du_here 查询当前路径的磁盘情况 5、 du_home 查询home的磁 ......
docker磁盘空间清理
docker运行一段时间后，它会一不小心占用太多磁盘，这就意味着我们必须及时清理。 查看Docker的磁盘使用情况 docker system df 命令提供了 Docker 对象（镜像、容器、本地卷和构建缓存）的磁盘使用概览。 % docker system df TYPE TOTAL ACTIV ......
文件批量拷贝的脚本（尤其适用于大小写敏感向不敏感的磁盘拷贝时发生冲突的情形）
在Linux系统下，NTFS可以支持文件名大小写区分；但在MaxOS的exFAT格式中，则无法区分大小写。 当从NTFS向exFAT拷贝文件时，当同一个目录下而在文件名相同但大小写不同的两个及以上文件时，向exFAT写入会中断，使得文件拷贝操作无法完成。 因此，特别编写了下面这个脚本，用来解决这个问 ......
shell脚本监控cpu,内存,磁盘
#!/bin/bash free=$(free -h | grep "Mem" | awk '{print $4}' | cut -d "." -f 1) if [ -n "$free" ];then if [ $free -le 3 ];then echo "free height ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
vm - 释放linux删除文件后的物理磁盘
关闭vm的需要释放磁盘的虚拟机 然后进入vm 的安装根目录 需要用到里面的 vmware-vdiskmanager.exe 工具 找到需要释放的虚拟机的vmdk文件 拼接指令后执行 vmware-vdiskmanager.exe -k "F:/vm/xxx/CentOS 7 64 位-cl4.vmd ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
P3464 [POI2007] WAG-Quaternary Balance 题解
数位DP。 首先分析下题目，将 \(n\) 表示成一些 \(4^k\) 的数之和/差的形式 ，就可以理解为一个天平，\(n\) 放在左边，可以选一些数值为 \(4\) 的幂的砝码，放左/右都行，在让天平平衡，求方案数。 \(4^k\) 很容易联想到四进制，于是考虑把 \(n\) 转换为四进制后进行数 ......
HDFS 转dataframe
import pyarrow.parquet as pq from pyarrow import fs # 创建Hadoop文件系统对象 fs = fs.LocalFileSystem() hadoop_path = "hdfs://<your-hdfs-address>/<csv-file>" # ......
k8s云原生的服务-Load Balancer服务以及三种服务对比
Kubernetes本身提供了Load Balancer类型的服务，但没有提供该服务的实现。目前除了使用公有云的LB，已经有MetalLB、OpenELB等可用的私有化第三方实现。本文将使用MetalLB在私有实验环境中安装MetalLB，并建立可用的Load Balancer服务。作为对比，详细给... ......
[原]挂载oVirt虚拟机磁盘
转载请注明作者(think8848)和本文链接http://think8848.cnblogs.com 挂载oVirt虚拟机磁盘 目标： oVirt Engine挂了后虚拟机无法启动，在其他Linux系统中挂载虚拟机磁盘找回数据。 此文目的是记录找回数据的过程，使用的方法不一定是最佳方案，欢迎有更好 ......
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
Linux 查看磁盘空间
一、查看文件系统使用率 df -h 二、查看目录下文件大小 du -sh * # 包含隐藏目录 du -sh .[^.]* * |sort -h ......
VMware虚拟机 centos 7 系统磁盘扩容
最近在使用之前 centos 7 虚拟机环境时，发现先前分配的磁盘空间不够用，个别目录占用量已接近100%，对此问题的解决过程做一些记录。 软件及环境： workstation 15.5 pro centos 7 内容提要： 虚拟机设置磁盘扩容 centos 7 系统内部设置扩容 虚拟机设置磁盘扩容 ......
Linux核心组件（CPU，内存，磁盘，网络，进程）
一、CPU 不同组件，每秒的运算、读写次数 命令集：lscpu+top/htop/uptime+mpstat+sar # 查看CPU静态信息 cat /proc/cpuinfo # 查看CPU统计信息 lscpu uptime Load Average(平均负载)：就是一段时间内（1分钟、5分钟、1 ......
gcc & fio磁盘性能测试
参考文档：https://baijiahao.baidu.com/s?id=1782101210392489357&wfr=spider&for=pchttps://blog.csdn.net/qq_42680332/article/details/110392126 安装前准备：到百度网盘下载安装 ......
Centos 7查看内存、CPU核数、磁盘、文件夹大小
查看内存大小 cat /proc/meminfo | grep MemTotal查看cpu物理核数 cat /proc/cpuinfo | grep "cpu cores" | uniq查看cpu逻辑核数 cat /proc/cpuinfo | grep "processor" | wc -l查看系 ......
wsl2删除文件后Windows磁盘不减问题
一个大佬的解决方案 停止Ubuntu运行wsl --shutdown找到wsl存储位置，一般是在"C:\Users\你的用户名\AppData\Local\Packages\CanonicalGroupLimite.XXX\LocalState\ext4.vhdx"，其中xxx根据不同的Ubuntu ......
linux系统磁盘管理（磁盘阵列）
1 磁盘阵列简介 RAID（Redundant Array of Independent Disks）即独立硬盘冗余阵列，简称磁盘阵列。磁盘阵列是由很多价格较便宜的磁盘，以硬件（RAID卡）或软件（MDADM）形式组合成一个容量巨大的磁盘组，利用多个磁盘组合在一起，提升整个磁盘系统效能。利用这项技术 ......
查看磁盘分区情况
lsblk df -h file_path # 查看磁盘分区 lsblk [henry@192 henry-sylar]$ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 100G 0 disk ├─sda1 8:1 0 300M 0 ......
linux磁盘管理、网络
一 磁盘管理 1 查看磁盘空间的占用 df -h 显示人类易读的方式 linux下磁盘命名格式 /dev/sd[a-z] 2 查看目录的占用空间 du -s 查看目录 -h 显示人类易读的方式 du -sh /* 3 dd dd if=/dev/zero of=file bs=size count= ......
KVM虚拟机怎么扩容磁盘
当KVM虚拟机磁盘不够用则可以扩容磁盘 扩容虚拟磁盘 在宿主机操作扩容 # 需满足以下条件才能执行扩容 # 1. 虚拟机已关机 # 2. 虚拟机无快照 qemu-img resize /kvm/CentOS7K8SHarbor061.qcow2 +100G 主机格式化磁盘 磁盘扩容后需要格式化才能使 ......