图像替换修复制造技术

一种替换图像中对象的方法。该方法可以包括识别第一图像内的一位置处的第一对象，基于第一图像和第一对象的位置掩蔽目标区域以产生掩蔽图像，基于掩蔽图像和修复机器学习模型生成不同于第一图像的第二图像，使用训练图像的目标区域和在与训练图像的目标区域相对应的位置处生成的图像的内容之间的差异来训练修复机器学习模型，基于掩蔽图像和第二图像生成第三图像，并且向第三图像添加不同于第一对象的新对象。象的新对象。象的新对象。

【技术实现步骤摘要】
【国外来华专利技术】图像替换修复


[0001]本文档涉及一种使用修复(impainting)来替换图像部分的方法。

技术介绍

技术实现思路

[0002]一般而言，本说明书中描述的主题的一个创新方面可以体现在用于替换图像中的对象的计算机实现的方法中。该方法可以包括识别第一图像内的一位置处的第一对象，基于第一图像和第一对象的位置掩蔽目标区域以产生掩蔽图像，基于掩蔽图像和修复机器学习模型生成不同于第一图像的第二图像，使用训练图像的目标区域和在与训练图像的目标区域相对应的位置处生成的图像的内容之间的差异来训练修复机器学习模型，基于掩蔽图像和第二图像生成第三图像，并且向第三图像添加不同于第一对象的新对象。
[0003]这些和其他实施例可以各自可选地包括一个或多个以下特征。
[0004]在一些实施方式中，使用损失函数来训练修复机器学习模型，该损失函数表示训练图像的目标区域和在与训练图像的目标区域相对应的位置处生成的图像的内容之间的差异。
[0005]在一些实施方式中，第一图像是视频帧。
[0006]在一些实施方式中，基于掩蔽图像和第二图像生成第三图像包括基于第二图像和与第一图像的目标区域相对应的位置掩蔽反向(inverse)目标区域以产生反向掩蔽图像，以及基于掩蔽图像和反向掩蔽图像生成第三图像。反向目标区域可以包括第二图像的在与第一图像的目标区域相对应的位置之外的区域。基于第二图像和与第一图像的目标区域相对应的位置，掩蔽反向目标区域以产生反向掩蔽图像可以包括从第二图像生成反向掩蔽图像，该反向掩蔽图像包括第二图像在目标区域内的至少一些内容，并且不包括第二图像在目标区域外的至少一些内容。生成第三图像可以包括将反向掩蔽图像与掩蔽图像合成。
[0007]在一些实施方式中，该方法包括基于第三图像外推第四图像，其中第一图像、第二图像、第三图像和第四图像中的每一个是视频的帧。
[0008]该方面的其他实施例包括对应的系统、装置和被配置为执行该方法的动作并被编码在计算机存储设备上的计算机程序。
[0009]可以实现本文档中描述的主题的特定实施例，以便实现一个或多个以下优点。在一些环境中，先前没有办法替换文件中的图像部分，例如视频或图像的最终渲染，而不创建围绕要被替换的在视觉上与原始视频或图像不一致的部分的区域。例如，视频的最终渲染中的隐藏式字幕不能简单地被改变或替换以提供翻译、校正或更新，因为先前的方法通常将围绕原始隐藏式字幕的区域替换为单一颜色的实心形状，或者试图使用修复技术移除原始隐藏式字幕，并将翻译后的字幕渲染在框或移除的字幕上。这些先前的方法是不和谐的和/或不准确的，并且会对用户观看视频或图像时的体验产生负面影响，进而影响用户对视频或图像内容的反应。一般而言，用于修复的现有解决方案是使用整个图像来训练的，并且
可能由于图像上的结构和细节的变化而不能有效地重建图像的较小区域，并且该缺点由本文讨论的技术、设备和系统来解决。本文中描述的技术使得系统能够通过掩蔽要被替换的区域，使用利用图像内围绕特定类型的对象的区域训练的修复机器学习模型(也称为修复模型)来修复(例如，预测性地创建或重建)小于图像的图像的真子集(例如，对应于被掩蔽的区域)，并在修复的区域上渲染替换图像，来提供图像替换的改进解决方案。
[0010]这个新系统支持替换最终渲染的视频中的图像或者具有自然和合成背景的图像的部分。因为当前的修复模型训练技术使用视觉特性变化很大的图像来训练模型，所以现有的修复方法在应用于具有在结构、颜色和纹理以及其他视觉特性方面变化的区域的图像时产生不准确的结果。这种新的图像替换方法使用深度学习模型，该模型被在重建围绕特定类型对象的图像的有限区域上训练。例如，当目标内容是简单立体形状时，该新系统可以使用被训练来重构围绕简单立体形状的区域的修复模型，并且当目标内容是文本时，该新系统可以使用被训练来重构围绕文本的区域的修复模型。因为修复模型被训练成集中在围绕目标对象的有限区域(例如，在被掩蔽的区域内)，所以模型可以更准确地重建该区域内的细节和变化。更具体地，修复模型的损失函数可以集中在新生成的图像的对应于被掩蔽区域的部分，而不是允许被掩蔽区域之外的区域支配损失函数，因为被掩蔽区域之外的内容应该是容易再现的，导致原始图像和新生成的图像的那些部分之间的差异非常小。此外，修复模型可以被训练用于特定类型的对象，使得修复模型可以被训练用于围绕具有多个透明区域的复杂对象和在其内部的重建；特定样式和间距的文本；表示标志的特定图像；以及其他特定的应用。
[0011]该系统提供了一种有效的解决方案，该解决方案允许在图像最终被渲染之后，基于原始图像来改变和/或定制视频和图像。该系统通过实现使用测试数据的经调整(tailored)部分来训练修复模型以提高系统重建具有各种视觉特性的区域的准确度的新颖解决方案，来提高使用修复方法从图像中掩蔽和移除目标区域的准确度。此外，该系统允许基于包括用户偏好在内的特定特性来动态更新内容。例如，如果用户正在观看包括英文音频和西班牙文隐藏式字幕的视频，并且用户偏好的语言是中文，则系统允许改变和重新渲染该视频，使得该视频包括中文隐藏式字幕。在一些实施方式中，系统可以自动检测所需的变更或定制。例如，系统可以基于指示用户偏好的语言是中文的用户信息，确定用生成的中文隐藏式字幕替换英文隐藏式字幕。在一些实施方式中，系统被提供要进行的变更或定制。例如，该系统可以接收一组中文的隐藏式字幕以及要替换的对象是一组西班牙文的隐藏式字幕的指示。此外，还可以根据需要替换非文本内容。例如，可以修改视频以替换被认为不适合当前观众的项目，或者违反分发视频的服务条款的项目(例如，过多的图形内容)。在一些实施方式中，系统允许内容相对于其框架移动。例如，可以重新定位模糊背景中内容的顶层中的标志，使得背景中的内容可见。
[0012]利用这种方法允许针对特定应用、用户偏好和地理位置等因素来定制图像和视频。此外，改进的移除和重新渲染过程通过允许单个视频项目被改编(adapt)并用于不同的应用和用户来减少所消耗的资源总量，从而提供了视频和图像内容制作的高效率。这允许减少跨网络传输视频的带宽，因为仅一个视频项目需要被传送到节点，并且减少渲染多于一个视频项目所需的处理资源，因为由系统修改的视频项目的方面明显少于正在渲染(然后传送到节点)的整个新视频项目。该系统为视频设计者、开发者和内容提供商提供了在设
计、编辑和后处理阶段之后调整图像和视频内容的途径，这需要大量的资源支出。
[0013]此外，这种方法的好处还包括允许视频创作者只改变视频项目的一部分。该方法允许针对特定应用、用户偏好和地理位置等因素来定制视频项目。除了减少为每个请求定制和渲染视频所需的资源量之外，该系统还通过允许单个视频项目被改编和用于不同的应用和用户来减少所消耗的资源总量。
[0014]本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。
附图说明
[0015]图1是用于改本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于替换图像中的对象的计算机实现的方法，包括:识别第一图像内的一位置处的第一对象；基于第一图像和第一对象的位置，掩蔽目标区域以产生掩蔽图像；基于掩蔽图像和修复机器学习模型，生成不同于第一图像的第二图像，修复机器学习模型是使用训练图像的目标区域和在与训练图像的目标区域对应的位置处生成的图像的内容之间的差异来训练的；基于掩蔽图像和第二图像，生成第三图像；以及向第三图像添加不同于第一对象的新对象。2.根据权利要求1所述的计算机实现的方法，其中，所述第一图像是视频帧。3.根据权利要求1所述的计算机实现的方法，其中，所述修复机器学习模型是使用示训练图像的目标区域和在与所述训练图像的目标区域相对应的位置处生成的图像的内容之间的差异的损失函数来训练的。4.根据权利要求1所述的计算机实现的方法，其中，基于所述掩蔽图像和所述第二图像生成第三图像包括:基于第二图像和与第一图像的目标区域相对应的位置，掩蔽反向目标区域以产生反向掩蔽图像；以及基于掩蔽图像和反向掩蔽图像，生成第三图像。5.根据权利要求4所述的计算机实现的方法，其中，所述反向目标区域包括所述第二图像的位于与所述第一图像的目标区域相对应的位置之外的区域。6.根据权利要求4所述的计算机实现的方法，其中基于所述第二图像和与所述第一图像的目标区域相对应的位置来掩蔽反向目标区域以产生反向掩蔽图像包括从所述第二图像生成反向掩蔽图像，所述反向掩蔽图像包括所述第二图像的在所述目标区域内的至少一些内容，并且不包括所述第二图像的在所述目标区域外的至少一些内容。7.根据权利要求4所述的计算机实现的方法，其中，生成第三图像包括将反向掩蔽图像与掩蔽图像合成。8.根据权利要求1所述的计算机实现的方法，还包括基于所述第三图像外推第四图像，其中所述第一图像、第二图像、第三图像和第四图像中的每一个都是视频帧。9.一种系统，包括:一个或多个处理器；以及一个或多个存储器元件，包括当被执行时使所述一个或多个处理器执行操作的指令，所述操作包括:识别第一图像内的一位置处的第一对象；基于第一图像和第一对象的位置，掩蔽目标区域以产生掩蔽图像；基于掩蔽图像和修复机器学习模型，生成不同于第一图像的第二图像，修复机器学习模型是使用训练图像的目标区域和在与训练图像的目标区域对应的位置处生成的图像的内容之间的差异来训练的；基于掩蔽图像和第二图像，生成第三图像；以及向第三图像添加不同于第一对象的新对象。10.根据权...

【专利技术属性】
技术研发人员：NJ弗雷，VK斯里兰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：