在草图与照片匹配中用于手绘草图的感知偏差水平估算制造技术

本发明专利技术涉及从视频或照片检索对象，其中对象与手绘草图匹配，公开了一种用于自动估算关于草图的特征的感知偏差水平。该方法允许基于草图本身的估算而不涉及额外的数据库。在一个实施例中，该方法包括使用期望最大化张量投票（EMTV）方法来分析特征的统计分布。通过形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且然后根据一组迭代更新规则最大化目标函数，从而分析统计分布。在另一个实施例中，用于自动地估算感知偏差水平的方法并入从图像或视频数据库检索一个或多个对象的方法，其中该一个或多个对象与手绘草图匹配。

【技术实现步骤摘要】

本专利技术一般涉及从视频或照片中提取对象，其中该对象与作为参考提供的手绘草图匹配。本专利技术具体涉及直接来自草图本身而不涉及额外的数据库的手绘草图的提取的特征的感知偏差水平的自动估算。
技术介绍
在一些计算机应用中，需要在视频片段或照片中搜索与手绘草图提供的参考图像匹配的对象。公知地，这些应用中重要的一个应用是法律实施，其中犯罪嫌疑人的图片作为画家根据目击者的描述准备的手绘草图被给出。在一个通用的方法中，如下执行与手绘草图相匹配的对象的计算机搜索首先提取草图的特征(亮度、颜色、梯度、边缘、肌理等)的统计信息，然后识别视频片段或照片中具有特征的类似统计信息的对象。对于摄像机捕获的照片/视频和手绘草图，统计信息依赖于在图像中编码的视觉内容。照片/视频真实地展示了摄像机捕获了什么、而草图展示了通常画家或作者的感知内容。因为草图某种程度上包括作者感知偏差的因素。考虑匹配对象搜索中草图的感知偏差是期望的，从而增强匹配的成功率。在W02004/027692中，公开了增强草图与照片匹配的成功率的方法。在该方法中采用了如下手段将照片图像转换为伪草图或者将原始手绘草图转换成伪照片，使得在转换后照片和原始草图之间的差异减小，由此有助于计算机搜索。在存在优选的包含所有可能草图类型的数据库的情况下实施这样的转换，这个要求很难实现。在缺乏这样的大的数据库的情况下，包含足够数量的照片-草图对的例子的较小的数据库可以用于帮助训练运行中的转换器。但是在W02004/027692中公开的方法的实现中不可避免地需要额外的数据库。在作者为Folco Banfi,提交给 Universit6de Fribourg (Suisse)，2000，名称为“Content-Based Image Retrieval Using Hand-Drawn Sketches and LocalFeatures:aStudy on Visual Dissimilarity”的论文中，公开了与估算感知偏差水平效果类似的加权机制。对于以某种类型的草图风格或轮廓具体绘制的草图，加权机制给出了预先定义或预先计算的权重。除了加权机制仅用于具体类型的草图风格的限制之外，权重是固定的并且没有考虑一个手绘草图和另一个手绘草图之间的个体差异而获得。基于对象搜索中要使用的草图自动计算权重是更期望的。本领域中存在如下需要自动计算为手绘草图估算的感知偏差水平而计算中不需要额外的数据库。
技术实现思路
本专利技术的一个方面允许基于草图本身自动估算关于手绘草图的特征的感知偏差水平。用于给自动估算的方法包括使用期望最大化张量投票(EMTV)方法来分析特征的统计分布。如下分析统计分布首先形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且然后根据一组迭代更新规则来最大化该目标函数。目标函数由等式(5)给出，并且该组迭代更新规则由等式(6)- (12)给出，其中等式(5)- (12)将在以下说明书中示出。前述用于自动地估算感知偏差水平的方法可以并入从图像或视频数据库检索一个或多个对象的方法，其中所述一个或多个对象与手绘草图匹配。在检索方法中，选择一个或多个候选特征。对于所述一个或多个候选特征中选定的候选特征，根据前述用于自动地估算感知偏差水平的方法来估算关于草图的选定的候选特征的感知偏差水平。结果，生成所述一个或多个候选特征的每一个的感知偏差水平。从所述一个或多个候选特征中选择一个或多个采用的特征。如下完成该选择在所述一个或多个候选特征中消除一个或多个不重要的候选特征，其中为所述一个或多个不重要的候选特征的任一个生成的感知偏差水平小于阈值。然而，如果为所述一个或多个候选特征生成的全部感知偏差水平均小于阈值，选择其感知偏差水平在对所述一个或多个候选特征生成的感知偏差水平中为最大的一个候选特征。注意该一个候选特征是选自所述一个或多个候选特征。在数据库中进行搜索以辨识与草图匹配的该一个或多个对象。根据所述一个或多个采用的特征由相似性测量进行搜索。在相似性测量中，选定的采用的特征的贡献由为选定的采用的特征生成的感知偏差水平加权，所述选定的采用的特征是所述一个或多个采用的特征中的任一个。用于自动地估算感知偏差水平的方法还可以被用于检索与手绘草图匹配的一个或多个对象的系统中。该系统包括具有从一组图像中提取的第一组原始视觉特征的数据库，以及一个或多个处理器，配置为执行如下详述的查询处理。所述查询处理包括从手绘草图提取第二组原始视觉特征。对于第二组原始视觉特征中的每个特征，根据公开的用于自动地计算感知偏差水平的方法估算关于所述每个特征的感知偏差水平。由此获取所述每个特征的统计分布模型。在查询处理中，在数据库中搜索以识别该组图像中的一个或多个对象，其中所述一个或多个对象的统计信息基本上匹配加权的统计信息，所述加权的统计信息是通过根据对第二组原始视觉特征估算的感知偏差水平加权第二组中原始视觉特征的统计信息而获得的。附图说明图1示出了不同类型的手绘草图。图2示出了自然图像和手绘草图在二者编码的统计信息中的差异的例子。图3示出了根据本专利技术的实施例通过使用感知偏差水平来检索与手绘草图匹配的对象的方法的流程图。图4示出了根据本专利技术的实施例从图像或视频数据库检索与手绘草图匹配的一个或多个对象的系统的例子。具体实施例方式可以如下完成匹配照片或视频剪辑中的对象和手绘草图提供的参考图像首先从草图中提取一个或多个特征，然后比较这些提取的特征和照片或视频剪辑中不同对象的特征，从而从这些不同的对象中识别一个或多个匹配的对象。特征可以是低水平的，例如亮度、颜色、梯度等，或者可以是高水平特征，例如肌理、形状、光流等。图1示出了各种不同种类的手绘草图。在一个例子中，向素描草图110加入阴影，指示草图的作者具有更多的感知偏差以提供关于肌理、亮度和梯度的草图中图像的信息。在另一个例子中，由于线条草图120 (其为脸)是由线条形成的，草图的作者更关注与(脸和脸部特征)形状有关的信息。在另一个例子中，彩色图片150的作者可以使用不同的颜色描述草图中的图像而进行强调。在前述这些例子中，可以看到对于手绘草图来说存在关于被考虑的特征的感知偏差。在下面的示例中不损失一般性并且为了方便的缘故，感知偏差水平被限定为非负实数，将表示手绘草图的视觉内容中编码的信息的被考虑特征的重要性或显著性量化。具体地，这里感知偏差水平限定为零意味着被考虑的特征对于表示草图的视觉内容中编码的信息是没有用的。此外，较高正值的感知偏差水平表示被考虑的特征对于识别视频剪辑或照片中匹配的对象是更有用的。注意可以在实数的另一个范围内限定感知偏差水平而不偏离本专利技术的精神。图2提供了示出自然图像和手绘草图之间差异的例子。例如，手绘草图是线条草图。对于作为实际照片的自然图像210，梯度的统计分布通常遵循拉普拉斯变换。然而，对于线条草图220，梯度给出了近似为脉冲的统计分布。这暗示着线条草图220的阴影不是逐渐改变的(空间地)。这使得被选作阴影的特征不是有信息含量的，并且由此其在线条草图220的感知偏差水平中不具有高的价值。基于这个例子，可以看到通过根据草图的图像数据找出特征是否有信息含量来估算被考虑的特征的感知偏差水平。较低的信息内容表示较低值的感知偏差水平，并且由此被考虑的特征在搜索匹本文档来自技高网...

【技术保护点】
一种用于自动地估算关于手绘草图的特征的感知偏差水平用于草图与照片匹配的方法，该方法包括如下分析特征的统计分布：首先形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且根据一组迭代更新规则来最大化该目标函数，从而基于草图本身自动地估算感知偏差水平。

【技术特征摘要】
1.一种用于自动地估算关于手绘草图的特征的感知偏差水平用于草图与照片匹配的方法，该方法包括如下分析特征的统计分布 首先形成具有由感知偏差水平表征的统计分布的信息的目标函数，并且根据一组迭代更新规则来最大化该目标函数，从而基于草图本身自动地估算感知偏差水平。2.根据权利要求1所述的方法，其中，特征的统计分布是使用期望最大化张量投票方法来分析的，其中目标函数由以下等式给出3.一种使用感知偏差水平从图像或视频数据库检索一个或多个对象的方法，其中所述一个或多个对象与手绘草图匹配，所述方法包括 选择一个或多个候选特征； 对于所述一个或多个候选特征中选定的候选特征，根据权利要求1所述的方法估算关于草图的选定的候选特征的感知偏差水平，从而生成所述一个或多个候选特征的每一个的感知偏差水平； 从所述一个或多个候选特征中如下选择一个或多个采用的特征 在所述一个或多个候选特征中消除一个或多个不重要的候选特征，其中为所述一个或多个不重要的候选特征的任一个生成的感知偏差水平小于阈值；以及如果为所述一个或多个候选特征生成的全部感知偏差水平均小于阈值，从所述一个或多个候选特征中选择其感知偏差水平在对所述一个或多个候选特征生成的感知偏差水平中为最大的一个候选特征；以及 根据所述一个或多个采用的特征由相似性测量在数据库中搜索，从而识别所述一个或多个对象，其中在相似性测量中选定的采用的特征的贡献由为选定的采用的特征生成的感知偏差水平加权，所述选定的采用的特征是所述一个或多个采用的特征中的任一个。4.根据权利要求3所述的方法，其中，目标函数由以下等式给出5.根据权利要求3所述的方法，其中，根据以下等式计算贡献其中6.一种用于自动地估算关于手绘草图的特征的感知偏差水平用于草图与照片匹配的设备，该设备包括 分析特征的统计分布的分析模块，包括 形成模块，形成具有由感知偏差水平表征的统计分布的信息的目标函数，以及最大化模块，根据一组迭代更新规则来最大化该目标函数，从而基于草图本身自动地估算感知偏差水平。7.根据权利要求6所述的设备，其中，特征的统计分布是使用期望最大化张量投票方法来分析的，还包括计算模块，根据以下等式计算目标函数8.一种使用感知偏差水平从图像或视频数据库检索一个或多个对象的设备，其中所述一个或多个对象与手绘草图匹配，所述设备包括 第一选择模块，选...

【专利技术属性】
技术研发人员：胡大鹏，李志前，黄君义，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：