使用基于预言的概率采样的图像补丁匹配制造技术

本公开指向用于图像补丁匹配的系统和方法。具体地，本文描述的系统和方法对图像补丁进行采样来标识与目标图像补丁匹配的那些图像补丁。本文描述的系统和方法基于预言而概率性地接受图像补丁提议作为潜在的匹配。预言进行评估在计算上是廉价的，但是比相似度启发法更近似。系统和方法使用预言来快速地将搜索引导到更可能具有匹配的搜索空间的区域。当标识可能包括匹配的区域时，系统和方法使用更精确的相似度函数来标识补丁匹配。

Image patch matching using predictive probability sampling

This disclosure refers to a system and method for image patch matching. Specifically, the system and method described in this paper sample the image patches to identify those patches that match the patches of the target images. The systems and methods described in this paper accept probabilistic image patches as potential matches based on prediction. Prediction is cheap in computation, but it is more approximate than similarity heuristic. Systems and methods use prophecies to quickly search for regions that are more likely to have matching search spaces. When the logo may include matching areas, the system and method use more accurate similarity functions to identify patch matching.

【技术实现步骤摘要】
使用基于预言的概率采样的图像补丁匹配
技术介绍
存在许多软件应用程序来帮助用户使用各种编辑工具创建和编辑图像和视频。这些工具的功能范围从初步调整大小和裁剪到更复杂的灯光调整和对象操纵。补丁匹配是图像编辑软件中经常使用的一个过程。补丁匹配搜索共享一个或多个属性的图像的部分。补丁匹配技术允许从图像中去除不需要的对象、绘制新对象以匹配图像、立体匹配、纹理合成以及以各种方式改变数字图像。补丁匹配基于空间相干性搜索类似的图像补丁。具体地，常规补丁匹配是基于使用随机采样来找到良好的匹配并且使用图像中的自然一致性将这种匹配快速传播到周围区域。常规的补丁匹配在数字图像的相应的图像补丁上进行扫描，并计算距离或相似度得分。一个这种相似度得分涉及像素值之间的平方和距离。相同的补丁(即匹配)具有零的平方和距离。通常，为图像中每个像素的找到最佳补丁匹配需要大量的平方和距离的评估。虽然补丁匹配比强力搜索更快，但常规补丁匹配技术存在问题。例如，常规补丁匹配在大型搜索空间中较慢。由于搜索空间的高维度，当允许补丁旋转和缩放(即，使用广义补丁匹配)时，常规补丁匹配的速度进一步减慢。
技术实现思路
本文所描述的一个或多个实施例利用以更高速度提供图像补丁匹配的系统和方法提供了优点并解决了本领域中的一个或多个前述或其他问题。具体地，本文描述的系统和方法通过采用预言(oracle)来提高查找补丁匹配的收敛速度。预言进行评估在计算上是廉价的，但是比诸如平方和距离的相似度函数更近似。系统和方法使用预言来快速地将搜索引导到更有可能具有匹配的搜索空间的区域。更具体地，系统和方法使用在基于预言的概率的基础上接受图像补丁的概率算法来从图像中采样补丁，以进一步进行评估。基于预言的概率算法使得系统和方法花费更多的时间来探索搜索空间中可能匹配的区域。当标识出可能包含匹配的区域时，系统和方法使用更准确的相似度启发法(heuristic)来标识补丁匹配。本申请的附加特征和优点将在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践这些示例性实施例来了解。附图说明本公开将通过参考附图以额外的明确性和细节来描述本专利技术的一个或多个实施例。以下段落简要地描述了这些图，其中：图1图示了计算设备上的屏幕，其示出了根据一个或多个实施例的标识出与目标图像补丁匹配的图像补丁的补丁匹配系统的示例；图2图示了示意图，其示出了根据一个实施例的近似相似度启发法引导朝向可能的补丁匹配的搜索的方式；图3图示了示例数字图像，其示出了根据一个或多个实施例的其中补丁匹配系统标识图像补丁匹配的采样的简化示例；图4A-图4B图示了示出根据一个或多个实施例的广义补丁匹配的结果与由补丁匹配系统产生的结果的比较的示例重建图像；图5图示了量化图4A和图4B的结果的误差绘图；图6图示了根据一个或多个实施例的补丁匹配系统的示意图；图7图示了根据一个或多个实施例的补丁匹配系统在其中操作的示例环境；图8图示了根据一个或多个实施例的标识图像补丁匹配的方法中的一系列动作的流程图；图9图示了根据一个或多个实施例的基于近似相似度启发法来执行用于概率性地接受所选择的提议图像补丁中的图像补丁的步骤的算法的图；以及图10图示了根据一个或多个实施例的示例计算设备的框图。具体实施方式本文描述的一个或多个实施例利用补丁匹配系统来提供优点并且解决本领域中的一个或多个前述或其他问题，该补丁匹配系统提供了更快收敛到匹配的图像补丁匹配搜索。本文描述的补丁匹配系统通过使用预言将采样偏向更可能包含匹配的搜索空间的那些部分来提高查找补丁匹配的收敛速度。具体地，补丁匹配系统使用预言概率性地标识具有匹配目标图像补丁的高可能性的图像补丁。补丁匹配系统对所标识的图像补丁进行更深入的分析，以确定概率性地标识的图像补丁中的任何一个是否与目标图像补丁实际匹配。如上所述，补丁匹配系统使用预言随机分析数字图像，以搜索与目标图像补丁相匹配的数字图像的图像补丁。通常，预言是用作快速标识可能具有匹配的图像区域的方位的近似相似度启发法。补丁匹配系统使用近似相似度启发法来确定图像的图像补丁的近似相似度得分。补丁匹配系统随机或均匀地选择提议补丁，并基于确定的近似相似度得分概率性地确定是否接受提议补丁。通常，补丁匹配系统使用与近似相似度得分成反比的接受概率接受具有近似相似度得分的提议补丁。补丁匹配系统然后使用相似度启发法来确定所标识的图像补丁的相似度得分。补丁匹配系统然后基于所确定的相似度得分标识与目标图像补丁匹配的一个或多个图像补丁。如本文所使用的，相似度启发法或距离函数是输出相似度得分的算法(或多个算法的组合)。两个图像补丁的相似度得分允许确定两个图像补丁是否匹配。示例相似度启发法包括平方和距离、L2距离、归一化相关性、补丁的描述符之间的距离等。如本文所使用的，预言或近似相似度启发法是输出近似相似度得分的算法或函数(或多个算法或函数的组合)。两个图像补丁的近似相似度得分允许近似确定两个图像补丁是否匹配。近似相似度启发法没有相似度启发法复杂，并且不如相似度启发法那样精确。换句话说，近似相似度启发法要求较少的计算功率/时间来进行确定。补丁匹配系统使用不太复杂的近似相似度启发法来决定是否评估更复杂和更精确的相似度启发法。换句话说，补丁匹配系统使用近似相似度启发法来快速标识不太可能匹配的补丁，并避免花费时间和计算功率来评估更复杂的相似度启发法。沿着相关的思路，补丁匹配系统使用近似相似度启发法来快速标识更可能是匹配的补丁，然后评估更复杂的相似度启发法以验证所标识的补丁是否确实与目标图像补丁匹配。更具体地，补丁匹配系统通过随机或均匀地对搜索空间进行采样来选择提议图像补丁。补丁匹配系统然后基于近似相似度启发法(即，预言)概率性地来确定是否接受提议图像补丁作为近似补丁匹配。在一个或多个实施例中，补丁匹配系统使用基于与相似度启发法粗略成正比的访问搜索空间的预言的概率采样算法对搜索空间进行采样。概率采样算法创建一个马尔可夫链，其值接近来自后验分布(例如，相似度启发法)中的样本。补丁匹配系统使用概率采样算法从提议分布(例如，近似相似度启发法)中采样，其尝试通过接受/拒绝样本以标识后验分布的样本而收敛于后验分布。在一些实施例中，图像的概率分布是有条件的，即补丁提议的接受的概率是基于接受之前补丁提议的概率。在其他实施例中，概率分布独立于(即，不依赖于)先前的补丁提议。在任何情况下，补丁匹配系统将搜索偏向于更可能(例如，具有更高概率)包含补丁匹配的图像的那些区域。补丁匹配系统比其他备选的系统更快地执行图像补丁匹配。通过使用基于预言的概率采样算法，补丁匹配系统更快速地对图像补丁进行采样和测试，以绘制在图像内的任何给定区域中找到实际补丁匹配的可能性。另外，使用基于预言的概率采样算法使系统能够在更为复杂的搜索空间(即在直接采样困难的图像中，诸如高分辨率图像、多维图像和/或当允许补丁旋转和缩放时)创建这种概率模型。在这些实施例的每一个中，补丁匹配系统通过使用补丁的近似相似度得分(例如，预言)以引导搜索补丁匹配，而不需要进行逐像素计算，来节省计算时间。补丁匹配系统只对接受的补丁(即，由概率采样算法接受的那些补丁)执行更精确的相似度得分的详细分析。该补丁匹配系统比其他补丁匹配系统使用更少的存储器。通过使用本文档来自技高网...

【技术保护点】
一种在用于执行数字图像修改或数字图像对象识别中的一个或多个的数字媒体环境中进行图像补丁匹配的计算机实现的方法，包括：选择提议图像补丁；用于基于近似相似度启发法，概率性地接受所选择的提议图像补丁中的图像补丁的步骤；确定所接受的图像补丁的相似度得分；以及基于所确定的相似度得分来标识与所述目标图像补丁匹配的图像补丁。

【技术特征摘要】
2016.11.03 US 15/342,7931.一种在用于执行数字图像修改或数字图像对象识别中的一个或多个的数字媒体环境中进行图像补丁匹配的计算机实现的方法，包括：选择提议图像补丁；用于基于近似相似度启发法，概率性地接受所选择的提议图像补丁中的图像补丁的步骤；确定所接受的图像补丁的相似度得分；以及基于所确定的相似度得分来标识与所述目标图像补丁匹配的图像补丁。2.根据权利要求1所述的计算机实现的方法，还包括通过使用与所述目标图像补丁匹配的所标识的图像补丁来操纵输入数字图像的像素，来生成修改的数字图像。3.根据权利要求2所述的计算机实现的方法，其中确定所标识的图像补丁的相似度得分包括：对于没有被概率性地接受的图像补丁，不确定相似度得分。4.根据权利要求1所述的计算机实现的方法，其中用于基于所述近似相似度启发法，概率性地接受所选择的图像补丁中的图像补丁的步骤包括：确定所选择的图像补丁的近似相似度得分。5.根据权利要求4所述的计算机实现的方法，其中用于基于所述近似相似度启发法，概率性地接受所选择的图像补丁中的图像补丁的步骤包括：使用马尔可夫链蒙特卡洛算法进行采样。6.根据权利要求5所述的计算机实现的方法，其中使用马尔可夫链蒙特卡洛算法进行采样包括：使用梅特罗波利斯-黑斯廷斯算法进行采样。7.根据权利要求1所述的计算机实现的方法，其中所述近似相似度启发法包括平均像素启发法。8.一种在用于执行数字图像修改或数字图像对象识别中的一个或多个的数字媒体环境中进行图像补丁匹配的计算机实现的方法，包括：选择提议图像补丁；确定所选择的提议图像补丁的近似相似度得分；基于与所述近似相似度得分成反比的概率接受来自所选择的提议图像补丁的图像补丁以进一步进行评估；确定所接受的图像补丁的相似度得分；以及基于所确定的相似度得分来标识与目标图像补丁匹配的图像补丁。9.根据权利要求8所述的方法，还包括通过使用与所述目标图像补丁匹配的所标识的图像补丁来操纵输入数字图像的像素，来生成修改的数字图像。10.根据权利要求9所述的方法，其中选择提议图像补丁包括从搜索空间随机选择所述提议图像补丁。11.根据权利要求10所述的方法，其中，基于与所述近似相似度得分成反比的概率接受来自所选择的提议图像补丁的图像补丁以进一步进行评估包括：使用马尔可夫链蒙特卡洛算法进行采样。12.根据...

【专利技术属性】
技术研发人员：N·卡尔，K·桑卡瓦利，M·卢卡克，E·舍施特曼，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US