IDM:Implicit Diffusion Models for Continuous Super-Resolution超分辨率

发布时间 2023-10-11 23:09:57作者: TTS-S

摘要

当今超分辨领域的模型普遍存在过度平滑(难以保持放大后图像的锐利和纹理,导致高频信息丢失和视觉上变得平滑)和伪影(生成的高分辨率图像中可能出现的不希望出现的失真或瑕疵,包括模糊、马赛克效应或者不自然纹理等)的现象,作者据此提出了IDM模型,IDM模型是在一个统一的端到端框架中集成了隐式神经表示去噪扩散模型,其中隐式神经表示被用于解码过程中以学习连续分辨率表示。为了满足图片不同分辨率要求,另外设计了一种尺度自适应的条件机制,该机制包括低分辨率条件网络和一个放缩因子,放缩因子调整LR信息和生成特征在最终输出中的比例,使模型能够满足连续分辨率的要求。

隐式神经表示

想要理解什么是隐式神经表示,我们首先要理解什么是隐式表示

隐式表示

现实世界有很多东西是不能用一个公式或事物直接表示出来,需要用一些其他可以直接表示的事物间接表示,这就是隐式表示。当然,并不是说只有难以直接表示的东西才能使用隐式表示。

例:y = ax + b
那么x可以由y表示出来:x = y/a - b
下图中粉色部分所代表的图形就是根据两个半圆容斥出来的,这也算是隐式表示。
image

隐式神经表示

这是一种神经网络模型。图像常见表现形式为离散的像素点,但是在现实世界中,我们所看到的世界是连续的或者说近似连续的。因此我们可以考虑用一个连续函数来表示图片的状态,但是这些函数通常不具有解析性,即我们无法”写下“将自然图像参数化为数学公式的函数。而神经网络可以对某个函数进行逼近得到近似解,所以我们可以训练一个神经网络对图像进行近似表示。

去噪扩散模型(DDPM - Denoising Diffusion Probabilistic Model 扩散概率模型)