linux 磁盘空间满导致服务不可用

发布时间 2023-04-18 11:04:12作者: NagaResst

前些天 share 文件夹无法打开
可以通过 SSH 进入系统 发现运行了很多 crond 和 postdrop 还有 mail 的进程
使用命令发现磁盘空间满 无法创建临时文件
使用df -h 查看磁盘空间占用 发现根路径已用 100%
使用du -shd 1 命令查看根路径哪个文件夹最大 发现 nas 文件夹占用 27G
因为需要把 nas 备份到 azure 上 ,azure 的磁盘账户连接不上,只能将 nas 物理设备迁移到一个 windows 主机上才能备份到 azure
所以 share 本地的 nas 是个把 windows 主机上共享的 nas 挂载到本地进行操作的,挂载本身有不稳定性。此次故障的起因就是 nas 文件夹的挂载中断了。
share 服务器将 azure 上需要自动备份的文件从远端拖回本地,没有正确放入 nas 里,所以塞满了本地磁盘。导致服务异常。

解决:

删除本地 nas 文件夹里的内容,重新挂载 nas 文件夹到本地。服务恢复正常,22 日凌晨的备份因为故障失效,未完成备份。
更新 fstab 文件夹,使用 crond 服务每天重新挂载一次文件夹。防止再发生类似的事故。