【技术实现步骤摘要】
本公开的实施例总体涉及机器学习和图像编辑，并且更具体地，涉及图像的针对性的生成视觉编辑。
技术介绍
1、最近的技术进步已经引起了能够以语义上有意义的方式修改或编辑图像的机器学习模型。例如，机器学习模型可以被训练来执行图像编辑任务，诸如去噪、锐化、模糊、着色、合成、超分辨率、修补(例如，填充图像的缺失区域)和/或修复(例如，将图像延伸到原始边界之外)。这些图像编辑任务通常使用基于文本的描述来指导生成的输出图像。例如，机器学习模型可以通过利用反映来自用户的基于文本的提示的内容填充图像的缺失区域来执行修补。
2、然而，与给定的基于文本的描述匹配的视觉内容在外观上可能存在很大差异。因此，使用基于文本的描述来执行图像编辑的机器学习模型可以生成符合基于文本的描述但不包括期望的视觉属性的输出图像。继续上面的示例，用户可能提供指定了红色汽车的图像的缺失区域应该利用某个形状或样式的蓝色车门来填充的基于文本的提示。虽然机器学习模型可以生成与提示匹配的输出图像，但输出图像中描绘的车门可能包括与用户所期望的颜色外观不同的色调、饱和度、明度、亮度和/...
【技术保护点】
1.一种用于组合源图像和驱动图像的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，还包括：
3.根据权利要求2所述的计算机实现的方法，还包括：基于所述训练输出图像的第一重建和所述训练驱动图像的第二重建来训练所述神经网络的一个或多个附加组件。
4.根据权利要求2所述的计算机实现的方法，其中所述变换包括所述第五区域的随机化的裁剪。
5.根据权利要求2所述的计算机实现的方法，其中所述损失包括负对数似然。
6.根据权利要求1所述的计算机实现的方法，其中生成所述输出图像包括：
7...
【技术特征摘要】
1.一种用于组合源图像和驱动图像的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，还包括：
3.根据权利要求2所述的计算机实现的方法，还包括：基于所述训练输出图像的第一重建和所述训练驱动图像的第二重建来训练所述神经网络的一个或多个附加组件。
4.根据权利要求2所述的计算机实现的方法，其中所述变换包括所述第五区域的随机化的裁剪。
5.根据权利要求2所述的计算机实现的方法，其中所述损失包括负对数似然。
6.根据权利要求1所述的计算机实现的方法，其中生成所述输出图像包括：
7.根据权利要求6所述的计算机实现的方法，其中生成所述输出图像还包括：
8.根据权利要求1所述的计算机实现的方法，其中将所述源图像的所述第二区域输入到所述神经网络中包括：
9.根据权利要求1所述的计算机实现的方法，其中所述神经网络包括自回归模型，所述自回归模型实现与所述输出图像、所述源图像、所述驱动图像和所述源图像的所述第一区域相关联的条件概率分布。
10.根据权利要求1所述的计算机实现的方法，其中所述第一区域包括边界框或语义分割中的至少一项。
11.一种或多种非暂态计算机可读介质，存储指令，所述指令在由一个或多个处理器...
【专利技术属性】
技术研发人员：N·加拉格尔，A·托苏尔，Y·谢，CY·付，A·韦达尔迪，O·M·帕基，T·博格，A·布朗，S·何，T·向，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。