2023.3.21学习记录

发布时间 2023-03-23 13:40:19作者: MementoMorizx

图像超分辨率技术

一.传统图像超分辨率技术,主要包括

  1.基于插值的技术(最近邻插值,双线性插值,双三次插值)

  2.基于重建的方法(主要使用数学中概率论和集合论的方法包括,凸集投影法,贝叶斯分析法,迭代反投影法,后验概率方法,正规化法,混合方法)

  3.基于学习的方法(非深度学习,机器学习,example_base方法,邻域嵌入方法,支持向量回归方法,稀疏表示法)

二.定义基于深度学习的图像超分辨率重建问题

  为监督学习问题,先将原图缩小为一张缩小图,对比后调整模型,并通过模型重建,根据各项指标来判定重建后的好坏,图示如下:

 

  

 

 

 

  模型学习目标:寻找一个参数,使得损失函数L最小

 

 

 

三.如何获得低分辨率图像

 

  降级公式如下:

 

 

 

 

         

 

 

  降级方式分为简单的下采样和加入模糊与噪声的下采样,其中,加入模糊与噪声的下采样,里面加入了卷积操作和噪声

 

 

四.如何评价超分图像的质量

 

  峰值信噪比(客观)

 

  

 

 

 

 

  结构相似度(客观)

      

 

 

 

 

 

  标准差(客观)

 

  意见平均分(主观)

 

五.超分网络的结构分类

预上采样:

  先上采样到和目标同样大小,然后输入网络进行学习,无需要考虑输入图像和输出图像不匹配的问题,简化了建模的过程。缺点:上采样的过程会产生一些纹理干扰模型学习,在训练过程中所有的计算都在高维空间进行,增加了计算的复杂度。

        

 

 

  

 

 

 

后上采样:

 

  在网络的最后一层上采样到目标大小,训练过程中最后上采样,上采样之前的计算是在低维空间进行,降低了模型的复杂度,另外可以让网络自适应的学习上采样,缺点:上采样倍数较大时,由于信息的缺失,一个上采样层也是不堪重负的,学习难度快速升高,这种方法不能适应不同的放大倍数,要为每一种放大倍数重新训练一次模型,很不方便。

 

          

 

 

 

 

逐步上采样:

 

  通过多次上采样,逐步获得目标尺寸的超分图像,这种设计不仅降低学习难度,一定程度上兼容不同的放大倍数,架构复杂性训练难度很高

           

 

 

 

 

交替式上下采样:

 

  能够挖掘高清与低清之间的依赖关系,实验证明这样的关系能得到更好的效果,网络结构复杂还需要进一步研究和探索

      

 

 

 

 

 

 

 

参考:

 

基于深度学习的图像超分辨率重建_哔哩哔哩_bilibili

超分辨率重建基础