您的位置:365体育投注官网 > 资讯频道 > 智能科学 > Twitter在超分辨率技术上取得新进展,能还原打码图片

Twitter在超分辨率技术上取得新进展,能还原打码图片

2017-04-26  编辑:陌路 

365体育投注官网AI科技评论按:ICLR 2017 于4月24-26日在法国土伦举行,365体育投注官网AI科技评论的编辑们也将从法国带来一线报道。近期,365体育投注官网也围绕会议议程及论文先容展开一系列的覆盖和专题报道,敬请期待。

图像超分辨率 (Super-Resolution, SR)是一个不确定的逆向问题,相同的一张下采样(Downsampled)图像,进过图像超分辨率处理后,得出与原图相似的高分辨率图像却往往是不止一张,而是有很多张。当前大多数的单一图像进行超分辨率处理的方法是运用经验风险最小化 (Empirical Risk Minimisation, ERM) 原则,这时候一般情况下会出现单像素大小的均方误差 (Mean Squared Error, MSE) 损失。

但是,采用经验风险最小化原则处理得出的图像,像素之间的过度往往过度平滑,从而造成图像模糊,整体效果看起来与原图差别较大。比使用经验风险最小化原则更理想的方法,是使用最大后验概率( Maximum a Posteriori, MAP)推断。在图像先验的前提下,得到高像素图像的可能性更高,因此得出的图像往往更接近原图。

Twitter 及哥本哈根的研究人员在获得ICLR 2017 oral paper的《Amortised MAP Inference for Image Super-Resolution》中表示,在超分辨率处理过程中,直接对低像素图像进行最大后验概率估值是非常重要的,就像如果想要确保样图图像先验,就需要先构建一个模型一样地重要。想要进行摊销最大后验概率推断,从而直接计算出最大后验概率估值,本文在这一步引入的新方法是使用卷积神经网络。而为了确保网络输入低分辨率图像后,能始终如一地输出相应的高分辨率图像,研究人员创造性地引入了新型神经网络架构,在这个网络里,有效解决超分辨率的方法是,向仿射子空间进行投影。使用新型架构的结果显示,摊销最大后验概率推理,能减少到两个分布之间的最小化交叉熵,这个结果与生成模型经过训练后得到的结果相类似。如何对结果进行优化,论文里提出了三种方法:

(1)生成式对抗网络 (GAN)

(2)去噪引导超分辨率,从去噪过程中反向推导去噪的梯度估值,从而训练网络

(3)基线法,该方法使用最大似然训练图像先验

实验表明,使用真实图像数据,基于生成式对抗网络得到的图像最接近原图。最后,在变分自动编码器的举例中,成功建立了生成式对抗网络和摊销变异推断之间的联系。

论文结果展示:

58fc8c15d2a14.jpg

四组经过超像素处理的青草质感对比图

顶行中x 为输入模型的低分辨率图像,y 为高分辨率原图;剩余顶行各栏为模型根据相应算法输出的图像。 底行为顶行相应图像的局部放大图。从局部放大图可知, AffGAN 得出的图像比 AffMSE 得出的图像效果更锐利更清晰。 请注意,AffDAE 和 AffLL 都只能得出非常模糊的图像。图中第三列是未经仿射投影训练的模型输出的图像,这个模型采用基线法,例图已经是该模型得出最佳上采样效果的图像。