【技术实现步骤摘要】
使用梳状神经网络架构的自动图像合成相关申请的交叉引用本申请要求于2019年5月20日提交的、标题为“用于高分辨率、多对象脸部交换的梳状网络(CombNetworksforHigh-Resolution,Multi-SubjectFaceSwapping)”的美国临时专利申请No.62/850,439的权益和优先权，在此通过引用将其全部内容并入本申请。
技术介绍
将视觉图像从源域转移到目标域是视觉效果中的重要问题。这种图像转移的一种示例性应用是将目标表演者的表演转移至源演员，当该源演员去世或必须扮演不同年龄的角色时，这是必要的。不足的是，执行图像转移的许多常规方法会生成带有大量伪像的低分辨率图像。尽管存在能够生成更高分辨率图像的技术，但它们通常需要耗时且费力的人工处理，并且需要仔细地对拍摄场景进行结构化处理、将物理特征点放置在目标表演者身上以及将计算机生成的相似图像手动匹配到目标表演者的脸上。此外，尽管使用这种手动且昂贵的方法可获得更高的分辨率，但通常仍会存在奇怪的美术效果。
技术实现思路
本文公开了提供了使用梳...
【技术保护点】
1.一种图像合成系统，包括：/n计算平台，所述计算平台具有硬件处理器和存储软件代码的系统存储器，所述软件代码包括神经编码器和多个神经解码器，所述多个神经解码器分别对应于多个角色中的相应角色；/n所述硬件处理器配置为执行所述软件代码以：/n接收目标图像数据和源数据，所述源数据标识所述多个角色中的一个；/n使用神经编码器将所述目标图像数据映射至所述目标图像数据的隐空间表示；/n基于由所述源数据标识的所述多个角色的一个，标识所述多个神经解码器中的一个，以用于对目标图像数据的隐空间表示进行解码；/n使用所述多个神经解码器中所标识的一个神经解码器，将所述目标图像数据的隐空间表示解码为...
【技术特征摘要】
20190520 US 62/850,439;20190620 US 16/447,7681.一种图像合成系统，包括：
计算平台，所述计算平台具有硬件处理器和存储软件代码的系统存储器，所述软件代码包括神经编码器和多个神经解码器，所述多个神经解码器分别对应于多个角色中的相应角色；
所述硬件处理器配置为执行所述软件代码以：
接收目标图像数据和源数据，所述源数据标识所述多个角色中的一个；
使用神经编码器将所述目标图像数据映射至所述目标图像数据的隐空间表示；
基于由所述源数据标识的所述多个角色的一个，标识所述多个神经解码器中的一个，以用于对目标图像数据的隐空间表示进行解码；
使用所述多个神经解码器中所标识的一个神经解码器，将所述目标图像数据的隐空间表示解码为由所述源数据标识的所述多个角色中的一个，以产生交换图像数据；以及
将交换的图像数据与目标图像数据融合，以生成一个或多个合成图像。
2.根据权利要求1所述的图像合成系统，其中，所述多个神经解码器包括至少三个神经解码器。
3.根据权利要求1所述的图像合成系统，其中，所述多个神经解码器与所述神经编码器的输出并联耦合。
4.根据权利要求1所述的图像合成系统，其中，所述神经编码器和所述多个神经解码器中的每一个包括卷积神经网络(CNN)。
5.根据权利要求1所述的图像合成系统，其中，所述目标图像数据包括目标视频序列，并且其中，所述一个或多个合成图像包括所述目标视频序列的一系列合成视频帧，其中所述目标视频序列带有由所述源数据标识的所述多个角色中的一个。
6.根据权利要求1所述的图像合成系统，其中，所述一个或多个合成图像具有百万像素分辨率。
7.根据权利要求1所述的图像合成系统，其中，所述目标图像数据描绘第一表演者的表演，并且所述源数据标识第二表演者，并且其中，所述一个或多个合成图像将所述第一表演者的表演传递给所述第二表演者。
8.根据权利要求1所述的图像合成系统，其中，所述目标图像数据包括目标脸部表示，并且所述源数据标识所述多个角色中的一个的脸部表示，并且其中，所述一个或多个合成图像将所述多个角色中的一个的脸部表示替换为目标图像数据中的目标脸部表示。
9.根据权利要求1所述的图像合成系统，其中，所述神经编码器和所述多个神经解码器渐进式地训练，该训练以低分辨率数据开始，并以逐步更高的分辨率训练数据继续训练直到合成能够满足预定分辨率阈值的训练输出图像。
10.根据权利要求1所述的图像合成系统，其中，所述多个神经解码器中的每个均包括若干个解码器层，所述若干个解码器层各自与一权重因子相关联，其中对应于一些解码器层的权重因子在所有的神经解码器中均是被关联在...
【专利技术属性】
技术研发人员：J·纳伦涅茨，R·韦伯，C·施罗尔斯，
申请(专利权)人：迪士尼企业公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。