一对多图像翻译MISO

Mutual Information Loss with Stochastic Style Representations for Multimodal Image-to-Image Translation
用于多模态图像到图像翻译的随机风格特征的互信息损失

多模态:源域中的一张图像迁移到目标域的多张图像。(一对多)

当前的方法:主要是图像重建损失中的特征解缠绕

提出的方法:使用源域中的内容表征,目标域风格表征作为条件。使用Mutual Information Loss 互信息loss代替重建loss。

引言

现有的模型是将风格和内容进行分离,论文认为内容和风格存在层次关系(hierarchy),内容作为基础,风格作为条件以实现高质量的迁移。所以,对于好的迁移,源图像的内容特征应该被保留且风格特征轻微的覆盖在内容特征中。条件编码器要学习如何使用风格特征来调节内容特征以生成高质量图像。


现有的重建损失不能提取细节信息,使多模态缺乏多样性,提出了一个新的互信息损失。将潜在变量解释为随机变量,并基于互信息定义新的随机损失函数以反映这种解释。

模型

upload successful
upload successful

目标函数

Mutual Information Loss 互信息损失:
upload successful
VAE网络输出的是潜在向量的均值和方差, za= 标准正太分布*VAE(a)方差+VAE(a)均值 , Out 是VAE(fake_a)得到的均值和方差。

Adversarial Loss:
upload successful

一个是IFI阶段,za=vae(a) 作为条件的对抗损失,一个是FIF阶段,z=标准正太分布 作为条件的对抗损失。

Cycle-Consistency Loss:
upload successful
KL-divergence loss KL散度损失:
upload successful
Latent Reconstruction Loss:
upload successful