图像替换修复制造技术

一种替换图像中对象的方法。该方法可以包括识别第一图像内的一位置处的第一对象，基于第一图像和第一对象的位置掩蔽目标区域以产生掩蔽图像，基于掩蔽图像和修复机器学习模型生成不同于第一图像的第二图像，使用训练图像的目标区域和在与训练图像的目标区域相对应的位置处生成的图像的内容之间的差异来训练修复机器学习模型，基于掩蔽图像和第二图像生成第三图像，并且向第三图像添加不同于第一对象的新对象。象的新对象。象的新对象。

【技术实现步骤摘要】
【国外来华专利技术】图像替换修复


[0001]本文档涉及一种使用修复(impainting)来替换图像部分的方法。

技术介绍

技术实现思路

[0002]一般而言，本说明书中描述的主题的一个创新方面可以体现在用于替换图像中的对象的计算机实现的方法中。该方法可以包括识别第一图像内的一位置处的第一对象，基于第一图像和第一对象的位置掩蔽目标区域以产生掩蔽图像，基于掩蔽图像和修复机器学习模型生成不同于第一图像的第二图像，使用训练图像的目标区域和在与训练图像的目标区域相对应的位置处生成的图像的内容之间的差异来训练修复机器学习模型，基于掩蔽图像和第二图像生成第三图像，并且向第三图像添加不同于第一对象的新对象。
[0003]这些和其他实施例可以各自可选地包括一个或多个以下特征。
[0004]在一些实施方式中，使用损失函数来训练修复机器学习模型，该损失函数表示训练图像的目标区域和在与训练图像的目标区域相对应的位置处生成的图像的内容之间的差异。
[0005]在一些实施方式中，第一图像是视频帧。
[0006]在一些实施方式中，基于掩蔽图像和第二图像生成第三本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于替换图像中的对象的计算机实现的方法，包括:识别第一图像内的一位置处的第一对象；基于第一图像和第一对象的位置，掩蔽目标区域以产生掩蔽图像；基于掩蔽图像和修复机器学习模型，生成不同于第一图像的第二图像，修复机器学习模型是使用训练图像的目标区域和在与训练图像的目标区域对应的位置处生成的图像的内容之间的差异来训练的；基于掩蔽图像和第二图像，生成第三图像；以及向第三图像添加不同于第一对象的新对象。2.根据权利要求1所述的计算机实现的方法，其中，所述第一图像是视频帧。3.根据权利要求1所述的计算机实现的方法，其中，所述修复机器学习模型是使用示训练图像的目标区域和在与所述训练图像的目标区域相对应的位置处生成的图像的内容之间的差异的损失函数来训练的。4.根据权利要求1所述的计算机实现的方法，其中，基于所述掩蔽图像和所述第二图像生成第三图像包括:基于第二图像和与第一图像的目标区域相对应的位置，掩蔽反向目标区域以产生反向掩蔽图像；以及基于掩蔽图像和反向掩蔽图像，生成第三图像。5.根据权利要求4所述的计算机实现的方法，其中，所述反向目标区域包括所述第二图像的位于与所述第一图像的目标区域相对应的位置之外的区域。6.根据权利要求4所述的计算机实现的方法，其中基于所述第二图像和与所述第一图像的目标区域相对应的位置来掩蔽反向目标区域以产生反向掩蔽图像包括从所述第二图像生成反向掩蔽图像，所述反向掩蔽图像包括所述第二图像的在所述目标区域内的至少一些内容，并且不包括所述第二图像的在所述目标区域外的至少一些内容。7.根据权利要求4所述的计算机实现的方法，其中，生成第三图像包括将反向掩蔽图像与掩蔽图像合成。8.根据权利要求1所述的计算机实现的方法，还包括基于所述第三图像外推第四图像，其中所述第一图像、第二图像、第三图像和第四图像中的每一个都是视频帧。9.一种系统，包括:一个或多个处理器；以及一个或多个存储器元件，包括当被执行时使所述一个或多个处理器执行操作的指令，所述操作包括:识别第一图像内的一位置处的第一对象；基于第一图像和第一对象的位置，掩蔽目标区域以产生掩蔽图像；基于掩蔽图像和修复机器学习模型，生成不同于第一图像的第二图像，修复机器学习模型是使用训练图像的目标区域和在与训练图像的目标区域对应的位置处生成的图像的内容之间的差异来训练的；基于掩蔽图像和第二图像，生成第三图像；以及向第三图像添加不同于第一对象的新对象。10.根据权...

【专利技术属性】
技术研发人员：NJ弗雷，VK斯里兰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：