Discourse 的无效附件清理

发布时间 2023-09-07 23:08:02作者: huyuchengus

Discourse 对上传的附件会进行清理,对于一些没有任何被引用的附件,Discourse 会认为是垃圾而清理掉。

原因应该是为了降低存储空间的使用,但是我们目前使用的是 S3 ,所以对存储空间并没有太多的要求。

根据官方的说法,如果满足下面的条件的上传附件将会被清理掉:

https://github.com/discourse/discourse/blob/master/app/jobs/scheduled/clean_up_uploads.rb

TL;DR: an image is orphaned if and only if it’s not referenced

  • in the latest version of a post
  • in a draft
  • in a queued post
  • in a logo site setting
  • in a custom emoji
  • in a theme
  • in a user avatar/background/card image
  • in a category logo/background image

官方的讨论地址为:How to make an image orphaned so that it gets removed? - support - Discourse Meta

通过代码,我们会看到,Discourse 使用了一个查询来判断附件是否被引用。

这个表是:upload_references

如果附件没有被关联到主题中,这个附件就会被认为是没有关联的附件而被清理掉。

 

 

根据我们备份恢复的情况来看,我们估计可能是这个表 upload_references 丢数据了,导致 uploads 中标的数据被清理掉了。

本地查询

我们本地查询了下操作前 3 天的记录。

发现这个表中有:9000 多条记录。

 

 

服务器查询

同时,我们对服务器上的表进行了查询。

查询结果返回的是:6000 多。

很明显这里有差距,那肯定是在恢复的过程中可能丢数据了。

2023-09-07_10-31-11

我们需要做的就是把本地表中的数据恢复到服务器上。

 

运行 SQL: select count(*) from upload_references;

来查看下服务器上的记录,貌似服务器上的参考引用全部被恢复了。

2023-09-07_10-38-09

因为我们禁用了自动清理程序,所以我们现在应该可以把自动清理进程打开了。

 

https://www.isharkfly.com/t/discourse/14713