前言

好久没更博客了,这次就爆肝两篇。

摘要

原来的图像重建都很少基于transformer如IPT和VSR-transformer但是这两个都是patch-wise对图像重建不是很合适,这篇文章借鉴了swin transformer的架构并且参数量更少,还能提点也不是patch-wise(但是看后面也没有着重强调这一点)。

方法

网络架构

网络包括浅层特征提取+深层特征提取+图像重建模块,如下图:

对于不同的任务,图像重建模块不同,但是浅层和深层模块都一样:

浅层模块就是一个3X3卷积,深层模块是k个有shortcut 的swin transformer的堆叠,最后也是加一个3X3卷积层。

但是对于任务不同,图像重建模块是不同的:

  • 图像超分:因为最后要上采样,所以要加一层sub pixel。
  • 图像去噪,jpeg去伪影:就是单纯的一层卷积层(也没有说是什么卷积层)。

文章还解释了一下几个创新点:

  • 为什么要在外层加入short cut:因为深层特征提取会忽视低频特征,留下高频特征,用shortcut可以最后加入低频特征。
  • 为什么内层RSTB也要有short cut:shortcut能聚合不同层次的特征 因为short cut nb
  • 为什么RSTB里面需要一层卷积层:transformer可以看作空间变换的一个特例,但是卷积具有空间滤波不变性能增加平移方差。(不是很懂这个理论)

loss

同样,对于不同任务的loss也不同:

  • 图像超分:经典的和轻量级的图像超分直接用L1 pixel loss,现实图像超分使用pixel loss+gan loss+percep loss
  • 图像去噪:使用charbonnier loss

消融实验

具体实验结果图如下:

  • 3X3卷积的通道数:与PSNR呈正比,论文取180。
  • RSTB数量:与PSNR成正比,论文取6层
  • STL数量:与PSNR成正比,论文取6层。
  • RSTB中的卷积层:在有short cut的条件下尝试了1x1,3x3和三个3x3,发现一个3x3效果最好,因为1x1没有提取到图像邻近信息,文章没有说为什么3个3x3效果会变差。
  • RSTB中的short cut:去掉short cut 下降了0.16db。

后记

读完这篇论文,感觉只有trick 又多了一个,这篇似乎只验证了short cut的可行性,平均比sota高0.3%。

ensemble-strategy

这个分为epoch ensemble strategy和self ensemble strategy:

  • epoch ensemble strategy:取两次不同的epoch对同一张图片进行测试对结果求平均。
  • self ensemble strategy:对一张图片进行水平反转+垂直反转+原图+水平垂直翻转,测试后再转回去取平均。

卷积的空间平移方差增大

未解决。。。