论文阅读——关于边缘作为网络条件

目前提出的网络都是带有条件的网络,也可以称之为带有先验的网络,比较常见的条件有label,语义图,mask,人脸关键点和人体姿态估计点。有些是原本就存在的条件,有些则需要某种方法去获取。文章分析将边缘作为一个条件/先验,用于本征分解的指导和图像修复的结构先验。

Revisiting Deep Intrinsic Image Decompositions

这是17年出的一篇论文。

先将图片放入直接本征分解的网络中,得到粗略的albedo图像和shading图像。同时,将输入图像和其边缘图一起放进一个指导网络中,输出一个指导特征。利用特征指导和粗略的albedo图像经过Domain Filter得到细化的albedo图像,最后利用原图得到细化的shading图像。

论文主要有两个网络:粗略的本征分解网络和边缘特征指导网络。下图是网络框架:

aa

然后再利用传统的算法去细化albedo图像。因为本征分解的一个难点就是图像边缘处理不是很好。本文用边缘图作为一种特征指导,可以改善albedo图像的边缘。

其实还可以用到估计深度图,生成的深度图也是不同深度物体之间的边缘比较模糊。

EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

这是19年刚出的一篇论文。GitHub:https://github.com/knazeri/edge-connect

bb
边缘生成网络G1:它先利用candy算子提取图像边缘,再将源图像灰度处理后与边缘图像一起进行mask处理。得到的Mask+Edge+Grayscale作为网络的输入。训练时真实的边缘图作为监督。该网络的用处是补全丢失掉的边缘信息,解决了以前图像修补缺少结构信息的问题。

补全网络G2:将G1输出的补全边缘图作为条件,和待修补的图像一起送进GAN网络得到补全图像。

论文的亮点就是创建了边缘生成网络。还有就是如下图所示,论文提到的将两个图像的边缘图融合在一起生成新的图像,也是一个图像合成的新点子
cc