利用活动掩码的图像合成制造技术

本发明专利技术的各实施例总体上涉及利用活动掩码的图像合成。具体地，本发明专利技术的实施例提供用于在利用活动掩码的图像合成处的系统、方法和计算机存储介质。在一个实施例中，接收识别图像内的要被合成的目标区域的输入。补丁合成技术能够之后被执行以基于由补丁合成技术识别的源区域的部分来合成目标区域。在实施例中，补丁合成技术包括针对至少一次迭代，生成将目标区域的一个或多个部分指示为不活动的活动掩码。该活动掩码能够由补丁合成技术的至少一个过程利用以忽略如由针对补丁合成技术的至少一次迭代的活动掩码指示为不活动的一个或多个部分。可以描述和/或要求保护其他实施例。

Image synthesis using active masks

The embodiments of the present invention generally relate to image synthesis using active masks. In particular, embodiments of the present invention provide systems, methods, and computer storage media for image compositing in use of active masks. In one embodiment, an input to a target area to be synthesized is recognized within the recognition image. The patch synthesis technique can then be executed to synthesize the target region based on a portion of the source region identified by patch synthesis techniques. In an embodiment, the patch synthesis technique includes generating an active mask indicating at least one iteration to indicate that one or more portions of the target area are inactive. The active mask can be utilized by at least one of the patch synthesis techniques to omit one or more portions such as an active mask indicated by an active mask for at least one iteration of the patch synthesis technique. Other embodiments can be described and / or claimed.

【技术实现步骤摘要】
利用活动掩码的图像合成
本专利技术各实施例总体上涉及图像处理，具体地涉及利用活动掩码的图像合成。
技术介绍
数字图像编辑已经随着数字图像捕获设备已经在某种程度上变得普遍存在而变得越来越流行。个体例如可以携带移动电话、专用相机、或者个体能够用于捕获感兴趣的场景(例如，风景、房间、运动事件、等等)的数字图像的类似装置。在一些实例中，这些数字图像不能如期望地捕获场景。在这样的实例中，数字图像编辑技术能够被用于修改数字图像以实现期望的结果。这些数字图像编辑技术中的一些利用能够被用于合成数字图像的区域的补丁合成技术。这些补丁合成技术通常执行迭代分析以识别在来自一幅或多幅图像的要被合成的区域与对应的区域之间的对应关系。这些对应的区域可以包括出现在要被合成的区域的外部的数字图像本身的对应的区域。这些对应的区域能够之后被用于生成经合成的区域。这样的数字图像编辑技术可以包括例如图像修复、图像重组、或纹理合成。传统补丁合成技术执行大量计算，其可能需要大量时间和计算资源来完成。因此，传统补丁合成技术可能对于用户而言不是充分交互的并且可能不容易能够在具有有限计算功率的设备(例如，移动电话)上执行。
技术实现思路
本专利技术的实施例涉及利用活动掩码来识别目标区域内的仍然活动的或者尚未收敛的那些像素以及目标区域内的不再活动的或者已经收敛的那些像素。利用该活动掩码结合补丁合成技术的一次或多次迭代能够将针对那些一次或多次迭代的对位于目标区域内的像素的处理限制于活动掩码内的被指示为活动的那些像素。因此，能够通过防止对不会从额外的处理获益的像素的额外处理来节省大量处理时间和资源。提供本专利技术内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本
技术实现思路
不旨在确定要求保护的主题的关键特征或必要特征，也不旨在用作确定要求保护的主题的范围的辅助。附图说明本专利或申请文件包含以彩色执行的至少一个附图。具有(一幅或多幅)彩色附图的本专利或专利申请公布的副本将在请求和必要的费用的支付后由官方提供。图1图示了表示根据本公开内容的各种实施例的示例数字图像编辑技术的一般概述的视觉序列。图2描绘了根据本公开内容的各种实施例的说明性图形编辑环境的各方面。图3图示了根据本公开内容的各种实施例的描绘了示例补丁合成技术的过程流程。图4图示了根据本公开内容的各种实施例的描绘了示例近似最近邻搜索的过程流程。图5图示了根据本公开内容的各种实施例的描绘了示例活动掩码生成的过程流程。图6A到图6C示出了根据本公开内容的各种实施例的作为补丁合成技术的一部分而被执行的搜索过程的说明性示例。图7是根据本公开内容的各种实施例的补丁合成技术的一次迭代的各方面的视觉描绘。图8是根据本公开内容的各种实施例的补丁合成技术的一次迭代的各方面的另一视觉描绘。图9是图示了在其中可以采用本公开内容的各实施例的示例计算设备的框图。具体实施方式数字图像编辑技术时常被用于修改数字图像以实现期望的结果。这些数字图像编辑技术中的一些实现如以上提到的能够被用于合成数字图像的区域的补丁合成技术。这样的数字图像编辑技术可以包括例如图像修复、图像重组、纹理合成、图像重定向、图像扭曲、图像融合、纹理插值、图像调和、风格转变、按编号的纹理或者利用补丁合成技术的任何其他数字图像编辑技术。作为这些数字图像编辑技术中的一个的示例，在一些实例中，对象可以出现在不期望的所捕获的数字图像内(例如，电力传输线或杆、人、汽车、等等)。在这样的实例中，图像修复可以用于填充、或替换包含不期望的对象的数字图像的部分。为了完成该图像修复，通过将对象从数字图像中移除而产生的洞能够利用补丁合成技术来填充以找到数字图像的一个或多个对应的部分或单独的数字图像。这些对应的部分能够由补丁合成技术在填充洞时利用。这样的补丁合成技术可以包括搜索图像中与图像的位于洞内的部分相对应的源补丁。一旦已经找到了对应的部分，就能够开始通过利用这些对应的部分确定洞内的每个像素的颜色的投票过程来填充洞。该过程能够被重复许多次以逐渐地找到更好的对应的部分并且由此得到针对洞的最好的填充。在补丁合成技术的这些迭代中的每次迭代中，洞内的所有像素被单个地处理。这是甚至在个体像素已经收敛或者达到其中不能够找到针对像素的更好的颜色的状态的情况。因此，在当前技术状态下，在这些补丁合成技术中针对不能从由这些补丁合成技术进行的进一步处理获益的像素进行大量不必要的处理。该问题在补丁合成技术的其中相对大量的像素可能已经收敛并且相对少量的像素将仍然从额外的处理获益的稍后阶段中被放大。本专利技术的实施例大体涉及生成和/或利用活动掩码来将对目标区域(例如，以上描述的洞)内的像素的处理限制于尚未收敛的那些像素。活动掩码被用于在目标区域内的仍然活动的或者尚未收敛的那些像素与目标区域内的不再活动的或者已经收敛的那些像素之间进行区分。在补丁合成技术的一次或多次迭代中利用这样的活动掩码能够将对位于目标区域内的像素的处理限制于活动掩码内的被区分为活动的那些像素。为了这么做，跳过将已经在当前技术状态下被应用的对已经收敛的那些像素的处理，其能够节省大量处理时间和资源。在实施例中，活动掩码能够通过将已经被确定为已经收敛的像素的分组识别为不活动来生成。在一些实施例中，识别已经收敛的像素的分组能够基于如下面广泛地讨论的一致性分析。这样的活动掩码的剩余部分将识别尚未收敛并且因此仍然活动的那些像素。本文描述的补丁合成技术能够被配置为利用这样的活动掩码并且不再处理在活动掩码内被识别为不活动的那些像素的分组。图1图示了表示根据本公开内容的各种实施例的示例数字图像编辑技术的广泛的一般概述的序列100。将认识到，因为序列100的意图是提供广泛的一般概述，所以从该讨论中省略了许多具体细节。然而，参考剩余的附图来讨论这些具体细节。如所描绘的，序列100在102a处利用数字图像104开始。数字图像104表示以数字格式被存储的图像。这样的数字格式能够例如为联合照片专家组(JPEG)格式、位图(BMP)格式、标记图像文件格式(TIFF)、便携式网络图形(PNG)格式、图形交换格式(GIF)、或任何其他适当的格式。数字图像104包括目标区域106。如本文中所使用的，数字图像的目标区域是指要利用已经通过补丁合成技术合成的区域替换的数字图像的区域。如所描绘的，目标区域106描绘数字图像104的利用作为源的数字图像104的剩余部分的部分填充的区域。因此，在目标区域106外部的区域能够在本文中被称为源区域。将认识到，在其他实施例中，源区域能够为一个或多个额外的数字图像。目标区域106能够利用使用例如本文广泛地描述的那些能够识别源区域内的与目标区域中的补丁相对应的补丁的补丁合成技术生成的经合成的区域来填充。如本文中所使用的，补丁能够是指数字图像中的像素的区段或分组。该区段可以具有固定形状或变化的形状。例如，补丁可以被定义为固定形状5x5或7x7，其中尺寸指示由补丁覆盖的像素的数量(例如，7x7补丁覆盖7x7像素的区域，或者总计49个像素)。每个补丁能够以单个像素为中心并且能够与以相邻像素为中心的补丁交叠。因此，每个像素能够被多个交叠的补丁覆盖。例如，考虑尺寸7x7的补丁，每个像素将被总计49个交叠的补丁覆盖。移动到102b，已经执行补丁合成技术的本文档来自技高网...

【技术保护点】
一个或多个其上存储有指令的计算机可读存储介质，所述指令当由计算设备的一个或多个处理器运行时，向所述计算设备提供图形编辑器，所述图形编辑器用于：接收识别图像内的要被合成的目标区域的输入；执行补丁合成技术以基于由所述补丁合成技术识别的源区域的部分来合成所述目标区域，所述补丁合成技术的至少一次迭代包括：生成活动掩码，所述活动掩码将所述目标区域的一个或多个部分指示为不活动的，所述一个或多个部分由已经收敛的像素的分组组成，其中所述补丁合成技术的至少一个过程忽略由针对所述补丁合成技术的所述至少一次迭代的所述活动掩码指示为不活动的所述一个或多个部分。

【技术特征摘要】
2015.11.18 US 14/945,3081.一个或多个其上存储有指令的计算机可读存储介质，所述指令当由计算设备的一个或多个处理器运行时，向所述计算设备提供图形编辑器，所述图形编辑器用于：接收识别图像内的要被合成的目标区域的输入；执行补丁合成技术以基于由所述补丁合成技术识别的源区域的部分来合成所述目标区域，所述补丁合成技术的至少一次迭代包括：生成活动掩码，所述活动掩码将所述目标区域的一个或多个部分指示为不活动的，所述一个或多个部分由已经收敛的像素的分组组成，其中所述补丁合成技术的至少一个过程忽略由针对所述补丁合成技术的所述至少一次迭代的所述活动掩码指示为不活动的所述一个或多个部分。2.根据权利要求1所述的一个或多个计算机可读存储介质，其中生成活动掩码还包括：执行对所述目标区域的个体像素的一致性分析；以及至少部分地基于所述一致性分析来识别已经收敛的像素的所述分组。3.根据权利要求2所述的一个或多个计算机可读存储介质，其中识别已经收敛的像素的分组基于在像素的所述分组内所确定的每个像素的相邻像素的集合的一致性。4.根据权利要求2所述的一个或多个计算机可读存储介质，其中生成活动掩码还包括：基于所述一致性分析来识别已经潜在收敛的像素的分组，其中所述识别已经收敛的像素的所述分组进一步基于由预定数量的像素对已经潜在收敛的像素的所述分组的腐蚀。5.根据权利要求4所述的一个或多个计算机可读存储介质，其中所述预定数量的像素基于在所述补丁合成技术中利用的补丁大小。6.根据权利要求1所述的一个或多个计算机可读存储介质，其中执行补丁合成技术包括：执行近似最近邻搜索过程以识别要在合成所述目标区域中利用的、所述源区域的部分；以及基于所识别的所述源区域的部分执行投票过程以生成针对所述目标区域内的个体像素的颜色。7.根据权利要求6所述的一个或多个计算机可读存储介质，其中忽略由所述活动掩码指示为不活动的所述一个或多个部分的所述补丁合成技术的所述至少一个过程包括所述投票过程。8.根据权利要求6所述的一个或多个计算机可读存储介质，其中所述补丁合成技术的所述至少一次迭代利用来自所述补丁合成技术的先前迭代的活动掩码，并且其中对所述近似最近邻搜索过程的执行忽略在来自所述先前迭代的所述活动掩码内的被识别为不活动的那些像素。9.一种用于合成数字图像的计算机实现的方法，包括：接收识别图像内的要利用经合成的区域替换的目标区域的输入；执行补丁合成技术以基于由所述补丁合成技术识别的源区域的部分来合成所述目标区域，所述补丁合成技术的至少一次迭代包括：执行对所述目标区域内的像素的一致性分析；以及基于所述一致性分析的结果来生成活动掩码，所述活动掩码将经合成的区域的一个或多个部分指示为不活动的，所述一个或多个部分由已经被确定为已经收敛的像素的分组组成，其中所述补丁合成技术的至少一个过程忽略由针对所述补丁合成技术的至少一次迭代的所述活动掩码指示为不活动的所述一个或多个部分。10.根据权利要求9所述的计算机实现的方法，还包括：基于在像素的所述分组内所确定的每个...

【专利技术属性】
技术研发人员：S·亚米格霍德思，E·舍施特曼，D·R·戈德曼，A·达拉比，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US