论文复现01. RestainNet

发布时间 2023-10-30 16:36:46作者: Liang-ml

论文名称:RestainNet: a self-supervised digital re-stainer for stain normalization

arxiv: https://arxiv.org/pdf/2202.13804.pdf

论文的核心内容:自监督网络,把 ”灰度图“ 重新上色成HE染色的效果

训练阶段

  在训练阶段,将原始的RGB图像分别提取Lab空间的L通道和HE染色矩阵,LHE作为训练数据送入网络,网络结构不需要特别复杂,原文中提到UNet

可以作为再染色器的网络结构,同时具有有限编码数的自动编码解码器 (论文用的是两个下采样和两个上采样) 同样可以满足任务需求。

训练损失共分为三部分,分别为

1. 输入图像和重染色图像之间的损失  

2. 输入图像Lab三通道与输出结果三通道的损失

3. 输入图像和重染色图像分解出的HE矩阵的损失

整个损失被定义为

原文中三个系数分别设置为0.1、1、1

训练细节:Adam优化器,β = 0.5,lr = 0.0002,decay = 0.6

验证阶段

      

验证阶段,需要将模型输出的L通道替换为输入图像的L通道,保证图像的原始结构不被改变

 

 

Tips:

1. 为什么使用Lab颜色空间

Lab颜色空间(Lab color space)是颜色-对立空间,其最大的优势为色域宽阔,弥补了RGB彩色模型分布不均的问题;

其中维度L表示亮度,a、b表示颜色对立维度,其中+a为红,-b为蓝(一定程度上能对应HE染色的红蓝)。

2. 论文中没有明确指出HE染色矩阵拆分的方法,可能是提到的将RGB拆分成H、E和DAB?

3. 复现所使用的HE染色矩阵拆分方法是vahadane,拆分出来的HE图像是3通道的彩色图像,送入网络的是HE图像的灰度图,

拆分耗时稍长,每张图像大概需要1s多一点,训练过程相当费时