使用用于图像修复的深度视觉引导补丁匹配模型生成修改的数字图像制造技术

本公开涉及用于利用实现由深度视觉引导通知的补丁匹配模型的引导修复方法准确地、高效地和灵活地生成修改的数字图像的系统、方法和非瞬态计算机可读介质。具体地，所公开的系统可以利用视觉引导算法来自动生成引导图，以帮助标识用于利用补丁匹配模型来修复数字图像的区域的替换像素。例如，所公开的系统可以生成结构图、深度图或分割图形式的引导图，它们分别指示数字图像的不同部分的结构、深度或分割。附加地，所公开的系统可以实现补丁匹配模型，以依照数字图像的结构、深度和/或分割来标识用于填充数字图像的区域的替换像素。标识用于填充数字图像的区域的替换像素。标识用于填充数字图像的区域的替换像素。

【技术实现步骤摘要】
使用用于图像修复的深度视觉引导补丁匹配模型生成修改的数字图像

技术介绍

[0001]近年来，用于数字图像修复以重建数字图像的缺失或缺陷区域的软件和硬件平台有了显著的发展。实际上，一些数字图像编辑应用利用修复功能来从数字图像中移除不想要的对象或分散注意力的元素，并利用可靠的结果自动填充移除像素的区域。例如，许多数字图像编辑系统可以利用基于补丁的方法来从数字图像的其他部分借用示例像素来填充缺陷区域。其他数字图像编辑系统通过实现基于学习的深度网络来填充数字图像的区域，以通过训练大数据集来学习自然图像分布。尽管取得了这些进步，但传统的数字图像编辑系统仍然面临许多障碍或劣势，特别是在准确性、效率和灵活性方面。

技术实现思路

[0002]本文描述的一个或多个实施例利用系统、方法和非瞬态计算机可读介质提供益处并解决本领域中的一个或多个前述或其他问题，这些系统、方法和非瞬态计算机可读介质利用引导修复方法准确地、高效地和灵活地生成修改的数字图像。具体地，在一个或多个实施例中，所公开的系统实现混合引导补丁匹配模型，该模型在唯一的数字图像处理流水线中实现基于补丁的深度网络方法。具体地，所公开的系统将基于补丁的方法的高质量纹理合成能力与深度网络方法的图像语义理解能力相结合。在一些实施例中，所公开的系统自动生成引导图以帮助标识用于修复数字图像区域的替换像素。例如，所公开的系统生成结构图、深度图、分割图(或其他视觉引导)形式的引导图。所公开的系统可以使用修复神经网络结合视觉引导算法或者通过利用诸如生成器神经网络或教师
‑
学生网络体系结构的独立的视觉引导算法来生成这些引导图。此外，在一些实施例中，所公开的系统实现补丁匹配模型，以根据这些深度视觉引导标识用于填充数字图像区域的替换像素。通过利用深度视觉引导和补丁匹配模型，所公开的系统可以准确地、高效地和灵活地生成各种分辨率的逼真的修改的数字图像。
[0003]本公开的一个或多个实施例的附加特征和优点在下面的描述中概述，并且部分地将从该描述中显而易见，或者可以通过这样的示例实施例的实践来了解。
附图说明
[0004]本公开通过参考附图以附加的具体性和细节描述了本专利技术的一个或多个实施例。以下各段简要描述了这些附图，其中：
[0005]图1示出了根据一个或多个实施例的在其中引导修复系统操作的示例系统环境；
[0006]图2示出了根据一个或多个实施例的通过利用补丁匹配模型和深度视觉引导修复输入数字图像的一个或多个区域来生成修改的数字的概览；
[0007]图3示出了根据一个或多个实施例的通过利用根据修复数字图像生成的深度视觉引导来生成修改的数字图像的示例过程；
[0008]图4示出了根据一个或多个实施例的利用生成器神经网络根据输入数字图像生成
深度视觉引导的示例过程；
[0009]图5示出了根据一个或多个实施例的利用教师
‑
学生神经网络框架根据输入数字图像生成深度视觉引导的示例过程；
[0010]图6示出根据一个或多个实施例的利用多个深度视觉引导和补丁匹配模型来标识替换像素；
[0011]图7示出了根据一个或多个实施例的由传统补丁匹配系统和结构引导修复系统生成的修改的数字图像的比较；
[0012]图8示出了根据一个或多个实施例的由传统补丁匹配系统和深度引导修复系统生成的修改的数字图像的比较；
[0013]图9示出了根据一个或多个实施例的由传统补丁匹配系统和分割引导修复系统生成的修改的数字图像的比较；
[0014]图10示出了根据一个或多个实施例的引导修复系统的示意图；
[0015]图11示出了根据一个或多个实施例的用于通过利用引导补丁匹配模型标识替换像素来生成修改的数字图像的一系列动作的流程图；以及
[0016]图12示出了根据一个或多个实施例的示例计算设备的框图。
具体实施方式
[0017]本文描述的一个或多个实施例包括一种引导修复系统，该系统利用引导修复方法准确地、高效地且灵活地生成修改的数字图像。具体地，在一个或多个实施例中，引导修复系统生成深度视觉引导，其通知补丁匹配模型标识用于修复数字图像的区域的替换像素。为了生成深度视觉引导，引导修复系统利用视觉引导算法，诸如分割图像神经网络、图像深度神经网络、结构图像模型或上述两项或更多项的组合。实际上，在一些实现中，引导修复系统根据数字图像生成结构图像引导、图像深度引导或分割图像引导中的一项或多项。此外，引导修复系统实现补丁匹配模型，以标识由深度视觉引导指示的替换像素，并使用替换像素修复数字图像的区域。通过利用深度视觉引导和补丁匹配模型，引导修复系统可以准确地、高效地和灵活地生成几乎任何分辨率的逼真的修改的数字图像。
[0018]如上所述，在一个或多个实施例中，引导修复系统利用深度视觉引导和补丁匹配模型来修复数字图像的缺失、模糊或其他不期望的区域。例如，引导修复系统利用视觉引导算法来生成用于标识替换像素以填充数字图像的区域的深度视觉引导。在一些情况下，引导修复系统接收编辑数字图像的请求，该数字图像在一个或多个区域中包括缺失或不期望的像素。在一些实施例中，基于该请求，引导修复系统利用预先训练的修复神经网络生成数字图像的修复版本。例如，引导修复系统利用修复神经网络来处理数字图像，并用初始替换像素集填充要替换的像素区域。在某些情况下，修复数字图像是数字图像的较低分辨率版本，并且初始替换像素集是数字图像区域的初步的替换。
[0019]如上所述，在某些实施例中，引导修复系统生成深度视觉引导以帮助准确填充数字图像的区域。在某些情况下，引导修复系统从初步的修复数字图像生成深度视觉引导。在其他情况下，引导修复系统直接从具有缺失或不期望的区域的数字图像生成深度视觉引导。
[0020]例如，为了根据修复数字图像生成深度视觉引导，引导修复系统利用视觉引导算
法。更具体地，在一个或多个实施例中，引导修复系统利用视觉引导算法，诸如结构图像模型、图像深度神经网络或分割图像神经网络中的一项或多项。例如，引导修复系统利用结构图像模型来生成结构图像引导形式的深度视觉引导，该结构图像引导指示修复数字图像内的一个或多个结构。在一些实施例中，引导修复系统利用图像深度神经网络来生成图像深度引导形式的深度视觉引导，该图像深度引导指示修复数字图像内的不同深度。在这些或其他实施例中，引导修复系统利用分割图像神经网络来生成分割图像引导形式的深度视觉引导，该分割图像引导指示修复数字图像内的不同语义分割。
[0021]如上所述，在一些实施例中，引导图像修复系统直接根据具有缺失或不期望区域的初始数字图像生成深度视觉引导。例如，引导修复系统利用生成器神经网络或教师
‑
学生神经网络框架中的一项或多项。具体而言，在一个或多个实施例中，引导修复系统利用生成器神经网络，该生成器神经网络包括编码器神经网络和解码器神经网络，以通过预测缺失或不期望的(多个)区域内的结构来生成深度视觉引导。例如，引导修复系统利用生成器神经网络通过处理初始数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括指令，所述指令在由至少一个处理器执行时，使计算设备通过以下操作替换数字图像的区域内的像素以生成修改的数字图像：利用修复神经网络根据所述数字图像生成修复数字图像，所述修复数字图像包括用于所述区域的初始替换像素集；利用视觉引导算法根据所述修复数字图像生成深度视觉引导；利用补丁匹配模型和所述深度视觉引导，根据所述数字图像标识用于所述数字图像的所述区域的替换像素；以及通过利用所述替换像素替换所述数字图像的所述区域来生成所述修改的数字图像。2.根据权利要求1所述的非瞬态计算机可读介质，其中生成所述深度视觉引导包括生成深度视觉引导图像，所述深度视觉引导图像指示以下一项或多项：所述数字图像的所述区域内的结构、深度或语义分割。3.根据权利要求2所述的非瞬态计算机可读介质，其中标识所述替换像素包括利用所述补丁匹配模型来标识所述数字图像内的、与所述深度视觉引导所指示的所述数字图像的所述区域内的所述结构、所述深度或所述语义分割相对应的像素。4.根据权利要求1所述的非瞬态计算机可读介质，其中生成所述深度视觉引导包括利用包括结构图像模型的所述视觉引导算法以根据所述修复数字图像生成结构图像引导，以用于根据所述修复数字图像内标识的一个或多个结构标识所述替换像素。5.根据权利要求1所述的非瞬态计算机可读介质，其中生成所述深度视觉引导包括利用包括图像深度神经网络的所述视觉引导算法以根据所述修复数字图像生成图像深度引导，以用于根据所述修复数字图像的深度图标识所述替换像素。6.根据权利要求1所述的非瞬态计算机可读介质，其中生成所述深度视觉引导包括利用包括分割图像神经网络的所述视觉引导算法以根据所述修复数字图像生成分割图像引导，以用于根据所述修复数字图像的语义分割标识所述替换像素。7.根据权利要求1所述的非瞬态计算机可读介质，还包括指令，所述指令在由所述至少一个处理器执行时，使所述计算设备利用所述补丁模型的成本函数以根据所述数字图像和所述深度视觉引导标识所述替换像素。8.根据权利要求7所述的非瞬态计算机可读介质，其中根据所述数字图像标识所述替换像素包括利用所述成本函数以依照结构图像引导、图像深度引导和分割图像引导的加权组合来标识所述替换像素。9.一种系统，包括：一个或多个存储器设备，包括：修复神经网络；视觉引导算法，所述视觉引导算法包括以下至少一项：结构图像模型、图像深度神经网络或分割图像神经网络；补丁匹配模型；以及包括要替换的像素区域的数字图像；以及一个或多个计算设备，被配置为使所述系统：利用所述修复神经网络根据所述数字图像生成修复数字图像，所述修复数字图像包括用于所述区域的初始替换像素集；利用所述视觉引导算法根据所述修复数字图像生成深度视觉引导，所述深度视觉引导
包括以下至少一项：结构图像引导、图像深度引导或分割图像引导；以及利用所述补丁匹配模型，根据所述数字图像，标识用于来自所述深度视觉引导的所述区域的替换像素。10.根据权利要求9所述的系统，其中所述一个或多个计算设备还被配置为使所述系统通过利用所述补丁匹配模型来标识以下各项中的一项或多项，来根据所述数字图像标识所述替换像素：利用所...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：