可能有帮助的链接：https://paperswithcode.com/task/single-image-deraining
合成数据集
Rain100H
出自 CVPR 2017 论文 Deep Joint Rain Detection and Removal from a Single Image: [arxiv] [cvf]
原始的图像是从 BSD-200 数据集中选出的，然后添加合成的雨迹。
Rain100H 的每张图都包含 5 个不同方向的雨迹。相比下面的 Rain100L，Rain100H 的雨迹更加密集（heavy）。
论文中给出的链接现在已经 404，但我找到了一个可用的 Project 链接：https://www.icst.pku.edu.cn/struct/Projects/joint_rain_removal.html 可以在其中获取下载链接，其中 Google Drive 已经挂掉，百度网盘仍然可用。
训练集包含 1800 组图，每组图有 rain、norain、rainstreak、rainregion 4 个变种。测试集包含 100 对图像，每对图像有一个干净版本和一个带雨迹版本，共 200 张图。
PReNet 的 GitHub 页 https://github.com/csdwren/PReNet 也放出了 Rain100H 数据集，但有以下说明：
- 上面链接提供的数据集后续有更新，但考虑到现有工作大多基于原始的数据集，因此 PReNet 放出的是原始数据集。
- 原始的训练集和测试集有交集，有 546 张图是重复的，而 PReNet 放出的版本严格地从训练集中排除了这 546 张图，因此 PReNet 放出的训练集版本实际有 1254 张图。
Rain100L
和 Rain100H 出自同一项工作。相比 Rain100H，Rain100L 的雨迹更加稀疏（light），且仅包含单一方向的雨迹。
原始的图像是从 BSD-200 数据集中选出的，然后添加合成的雨迹。
在 PReNet 的 GitHub 页下载到的 Rain100L 训练集包含 200 组图，每组图有 rain、norain、rainstreak、rainregion 4 个变种，共 800 张图片。测试集包含 100 对图像，每对图像有一个干净版本和一个带雨迹版本，共 200 张图。
Test100（Rain800）
出自 TCSVT 2020 论文 Image de-raining using a conditional generative adversarial network: [arxiv] [ieeexplore]
包括 700 张训练图像和 100 张测试图像，这些图像是从 UCID 数据集和 BSD-500 数据集中随机选出的，然后使用 Photoshop 添加合成的雨迹。训练集占比为 0.875。
该数据集在 https://github.com/hezhangsprinter/ID-CGAN 提供，但目前几个分享链接都已经挂掉。我也没有找到其他提供该数据集的地方。
Test1200
出自 CVPR 2018 论文 Density-aware Single Image De-raining using a Multi-stream Dense Network，与上面的 Test100 出自同一团队。
训练集包括 12000 张图像，按照合成的雨迹密度（density）分成三组：light、medium、heavy，每组 4000 张图。
测试集包括 1200 张图像，同样分为三组。
原始代码和数据集可在 https://github.com/hezhangsprinter/DID-MDN 找到。
Rain1400（Test2800）、Rain12600
出自 CVPR 2017 论文 Removing rain from single images via a deep detail network: [cvf]
总共包含 14000 张图像。作者从 UCID 数据集和 BSD-500 数据集以及谷歌图片中收集了 1000 张干净图像，然后对每张干净图像合成 14 张带有不同模式雨迹的图像。在作者的原始工作中，随机选择其中的 9100 张图像生成训练用的 patch 进行训练，剩下的 4900 张图像用于测试。训练集占比为 0.65。
该数据集连同代码在厦门大学网站提供：https://smartdsp.xmu.edu.cn/cvpr2017.html 但目前该网页无法访问。
数据集可以在 PReNet 的 GitHub 页下载：https://github.com/csdwren/PReNet，在 PReNet 中，原始的数据集被分割为训练集 Rain12600，包含 \(900\times 14\) 张图像，和测试集 Rain1400，包含 \(100\times 14\) 张图像。
Restomer 论文 [cvf] 中用“Test2800”引用了这个数据集，但我不清楚为什么是2800。
Test12（Rain12）
出自 CVPR 2016 论文 Rain Streak Removal Using Layer Priors: [cvf] [GItHub]
很小的数据集，仅包含 12 张测试图像。
可以在 PReNet 的 GitHub 页下载到：https://github.com/csdwren/PReNet
RainCityscapes
出自 CVPR 2019 论文 Depth-Attentional Features for Single-Image Rain Removal [cvf]
前述的各种合成数据集都是简单地在干净图像上添加雨迹，但真实的雨天图像往往伴随着雾。该数据集考虑了更多现实的因素来合成带雨迹图像。
该数据集的图片是从 Cityscapes 数据集中选出的，使用了复杂的合成技术（具体可见论文），包含 9432 张训练图像和 1188 张测试图像。
根据说明，数据集可以在 https://www.cityscapes-dataset.com/downloads/ 下载，但该网站需要注册，我没有进一步查看。
TransWeather 使用的数据集
出自 CVPR 2022 论文 TransWeather: Transformer-based Restoration of Images Degraded by Adverse
Weather Conditions [cvf] [GitHub] 这项工作同时考虑了去雨、去雪和去雾。
该数据集中的数据从 Snow100K、NYU-Rain 和 下文提到的雨滴数据集 中选出。
数据集可以在 GitHub 页下载，通过 Google Drive 提供，体积约 10 GB。
NYU-Rain（Outdoor-Rain）
出自 CVPR 2019 论文 Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning [cvf] [arxiv] [GitHub] 这项工作专注于大雨图像的去雨，考虑了大雨带来的雨迹积累和雨幕效应。因此数据集也针对这方面进行了定制。
下载链接可在 GitHub 页找到，通过 DropBox 提供，体积约 7 GB。
包含 16200 张图片，其中 13500 张用于训练。
真实数据集
Real Rain Dataset
出自 CVPR 2019 论文 Spatial Attentive Single-Image Deraining with a High Quality Real Rain Dataset [cvf] [arxiv] [GitHub]
下载链接可在 GitHub 页找到，通过 OneDrive 提供。
一个雨滴数据集
出自 CVPR 2018 论文 Attentive Generative Adversarial Network for Raindrop Removal from A Single Image [cvf] [arxiv] 这项工作主要是去除雨滴，而不是雨迹。
该数据集专注于一个典型场景：雨滴聚集在玻璃上。
后记
去雨任务的合成数据集和真实数据集的差别还是挺大的，合成的一眼就能看出来是合成的。真实数据集罕见，应该主要是因为真实的雨迹照片很难收集。不过现在合成数据集也变得越来越真实。
现有的很多方法都在合成数据集上达到了非常好的效果，但是放在真实数据集上，表现就很惨淡了。