2023CVPR_Low-Light Image Enhancement via Structure Modeling and Guidance(代码暂无公布)

发布时间 2023-05-30 15:32:30作者: helloWorldhelloWorld

大佬链接:CVPR2023 低光照图像增强论文阅读 基于结构先验的图像增强 - 知乎 (zhihu.com)

一 motivation

1. 现有低光照图像增强方法忽视了在低光照区域结构信息建模对增强的作用(ignore the explicit modeling of structural details in dark areas)从而导致增强效果不理想,比如细节模糊。

2. 虽然有些方法提出利用边缘结构信息去增强,但是他们经常不能得到理想的边缘结构信息引文低光照的影响。

二 contribution

1 提出了一种新的低光增强框架,通过同时进行结构建模和引导来促进外观增强。

2 提出了一种基于GAN Loss的模型去对结构信息建模

三 Method

Network

分解:

(1) 图像增强:使用了一个U-Net结构进行增强得到Ia ,   网络结构使用的是

 

 

 约束:重建损失和感知损失

 (2)

 SAFE:Structure-Aware Feature Extractor 

对于输入特征图,首先计算八个方向的梯度,使用一阶梯度,得到的是八个方向的梯度特征图加上一个原本的空间特征图。然后分别通过一个Long-Range Encoder (LRE)模块和 Short-Range Encoder (SRE)模块得到全局特征和局部特征,其实就是Transformer和CNN双支路。然后再通过一个Long-Short-Range Fusion (LSR-F)模块去融合,结构论文里说了是MLP结构。最后,还要通过一个Gradient Fusion (Grad-F) 模块去融合提取到的梯度的特征和空间特征图

约束二元交叉熵损失     真值   , C is the Canny detector,   C边缘检测的方法:

 SAG: Structure-Aware StyleGAN Generator

得到结构特征提取编码器的最后一层特征以后,根据StyleGAN的理论,将提取到的特征通过一个mapping network(全连接层)到隐空间。

约束:

 

(3)Structure-Guided Enhancement Module:

 

得到建模的结构信息后,进行基于结构信息指导的增强Structure-Guided Enhancement Module。这里提出了一个基于结构信息的特征融合,其中包含一个结构信息指导的卷积Structure Guided Convolutions (SGC)和结构信息指导的归一化Structure Guided Normalizations (SGN)模块。

Structure Guided Convolutions (SGC) :

用得到的结构信息图预测出一个卷积核与原来的特征图做卷积。

Structure Guided Normalizations (SGN):

用得到的结构信息图预测出α,γ,然后原来的特征图乘以α再加上γ,最后加上一个残差连接。

 约束:重建损失和感知损失