【技术实现步骤摘要】
跨域图像转换
技术介绍
图像转换指的是将一幅源图像转换为具有不同风格的图像。不同图像类型可以被认为是不同图像域。例如，照片、漫画、油画、漫画、素描、水彩画等可以被认为是不同的图像域。不同图像域中的图片的风格和/或几何变形呈现通常是不同的。当前有很多图像转换技术能够实现跨域图像转换。然而，大多数图像转换技术专注于将源图像的风格变换期望的其他风格，但保留图像中呈现的内容基本保持不变。例如，可以将照片转换为素描风格的图像，但图像中的对象形状基本保持不变。在一些情况中，如果期望将源图像变换到具有不同几何形状呈现的目标图像，例如将展现真实人物的照片转换为具有夸张变形风格的漫画图像或者反之，仅仅转换照片的风格将不足以呈现漫画的效果。
技术实现思路
根据本公开的实现，提出了一种用于跨域图像转换方案。在该方案中，基于第一图像域中的第一图像和第二图像域中的第二图像来确定用于从第一图像域到第二图像域的几何变形的第一学习网络，第一图像域和所述第二图像域的图像具有不同的风格并且其中的对象相对彼此具有几何变形。对第二图像执行从第二图像域到第一图像域的几...
【技术保护点】
1.一种计算机实现的方法，包括：/n基于第一图像域中的第一图像和第二图像域中的第二图像来确定用于从所述第一图像域到所述第二图像域的几何变形的第一学习网络，所述第一图像域和所述第二图像域的图像具有不同的风格并且其中的对象相对彼此具有几何变形；/n对所述第二图像执行从所述第二图像域到所述第一图像域的几何变形，以生成中间图像，所述中间图像保持与所述第二图像相同的风格；以及/n基于所述第一图像和所述中间图像来确定用于从所述第一图像域到所述第二图像域的风格变换的第二学习网络。/n
【技术特征摘要】
1.一种计算机实现的方法，包括：
基于第一图像域中的第一图像和第二图像域中的第二图像来确定用于从所述第一图像域到所述第二图像域的几何变形的第一学习网络，所述第一图像域和所述第二图像域的图像具有不同的风格并且其中的对象相对彼此具有几何变形；
对所述第二图像执行从所述第二图像域到所述第一图像域的几何变形，以生成中间图像，所述中间图像保持与所述第二图像相同的风格；以及
基于所述第一图像和所述中间图像来确定用于从所述第一图像域到所述第二图像域的风格变换的第二学习网络。
2.根据权利要求1所述的方法，其中确定所述第一学习网络包括：
提取所述第一图像中的对象的几何形状的第一特征点和所述第二图像中的对象的几何形状的第二特征点；
确定所述第一特征点的第一主成分分析(PCA)表示和所述第二组特征点的第二PCA表示；以及
基于所述第一PCA表示和第二PCA表示来确定所述第一学习网络。
3.根据权利要求1所述的方法，其中所述第一学习网络基于第一生成式对抗网络(GAN)，并且其中确定所述第一学习网络包括：
利用所述第一GAN的第一子网络对所述第一图像执行从所述第一图像域到所述第二图像域的几何变形，以将所述第一图像中的对象的第一几何形状变形为第一变形几何形状；
确定所述第一几何形状与第一平均几何形状之间的第一差异以及所述第一变形几何形状与第二平均几何形状之间第二差异，所述第一平均几何形状是所述第一图像域中的多个图像中的对象的几何形状的平均，所述第二平均几何形状是所述第二图像域中的多个图像中的对象的几何形状的平均；以及
更新所述第一GAN的所述第一子网络，以使得所述第一差异与所述第二差异之间的差异降低，
其中更新后的第一子网络被确定为所述第一学习网络。
4.根据权利要求3所述的方法，其中更新所述第一GAN的所述第一子网络进一步包括：
利用所述第一GAN的第二子网络对所述第二图像执行从所述第二图像域到所述第一图像域的几何变形，以将所述第二图像中的对象的第二几何形状变形为第二变形几何形状；
确定所述第二几何形状与所述第二平均几何形状之间的第三差异以及所述第二变形几何形状与所述第一平均几何形状之间的第四差异；以及
联合更新所述第一GAN的所述第一子网络和所述第二子网络，以进一步使所述第三差异与所述第四差异之间的差异降低。
5.根据权利要求4所述的方法，其中执行从所述第二图像域到所述第一图像域的几何变形包括：
利用更新后的第二子网络来执行从所述第二图像域到所述第一图像域的几何变形。
6.根据权利要求1所述的方法，其中所述第二学习网络基于第二生成式对抗网络(GAN)，并且其中确定所述第二学习网络包括：
利用所述第二GAN的第一子网络对所述第一图像执行从所述第一图像域到所述第二图像域的风格变换，以将具有第一风格的所述第一图像变换为具有第二风格的第一预测图像，所述第二风格从所述第二图像域中的多个风格中随机选择；以及
更新所述第二GAN的所述第一子网络，以使所述第一预测图像与所述第一图像在内容上的差异降低，
其中更新后的所述第一子网络被确定为所述第二学习网络。
7.根据权利要求6所述的方法，其中更新所述第二GAN的所述第一子网络进一步包括：
利用所述第二GAN的第二子网络对所述中间图像执行从所述第二图像域到所述第一图像域的风格变换，以将具有第三风格的所述中间图像变换为具有第四风格的第二预测图像，所述第四风格从所述第一图像域中的多个风格中随机选择；以及
联合更新所述第二GAN的所述第一子网络和所述第二子网络，以进一步使所述第二预测图像与所述中间图像在内容上的差异降低。
8.一种计算机实现的方法，包括：
基于第一图像域中的第一图像和第二图像域中的第二图像来确定用于从所述第一图像域到所述第二图像域的几何变形的第一学习网络，所述第一图像域和所述第二图像域的图像具有不同的风格并且其中的对象相对彼此具有几何变形；
对所述第一图像执行从所述第一图像域到所述第二图像域的几何变形，以生成中间图像，所述中间图像保持与所述第一图像相同的风格；以及
基于所述中间图像和所述第二图像来确定用于从所述第一图像域到所述第二图像域的风格变换的第二学习网络。
9.根据权利要求8所述的方法，其中确定所述第一学习网络包括：
提取所述第一图像中的对象的几何形状的第一特征点和所述第二图像中的对象的几何形状的第二特征点；
确定所述第一特征点的第一主成分分析(PCA)表示和所述第二组特征点的第二PCA表示；以及
基于所述第一PCA表...
【专利技术属性】
技术研发人员：廖菁，袁路，曹凯迪，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。