通过搜索进行注释制造技术

描述了通过搜索进行注释。在一个方面，在数据存储中搜索与给定图象的基线注释语义相关且与该给定图象在视觉上相似的图象。然后用关联于语义和视觉相关的图象的至少一个子集的注释的共同概念来注释该给定图象。

【技术实现步骤摘要】
【国外来华专利技术】背景注释数字图象的传统方法是用一或多个语义相关的关键词注释每个数字图象。这样的关键词通常用于促进在基于计算机的搜索环境中进行基于关键词的图象搜索和检索操作(例如，跨计算设备、数据库、因特网等等)。因为在这样的搜索环境中一般存在非常大量的数字图象，为促进图象搜索和检索操作而对数字图象进行的人工注释是劳动密集且很耗时的任务。概述描述通过搜索进行注释。在一个方面，在数据存储中搜索与给定图象的基线注释语义相关且与该给定图象在视觉上相似的图象。然后以关联于语义和视觉上相关的图象的至少一个子集的注释的共同概念来注释该给定图象。提供本概述以便用简化的形式介绍在下面的详细描述中进一步描述的一些概念。本概要不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于帮助确定所要求保护的主题的范围。附图简述在附图中，组件参考标号的最高位数字标识该组件在其中首次出现的具体附图。图1按照一个实施例示出用于通过搜索进行注释的示例性系统。图2按照一个实施例示出用于通过搜索进行注释的示例性过程。图3按照一个实施例示出用于通过搜索进行注释的示例性数据和过程流。详细描述综览描述用于通过搜索进行注释的系统和方法。该系统和方法对本地和/或远-->程数据库执行基于关键词的搜索以查找与给定图象的基线注释语义相关的数字图象。该系统和方法度量每一个语义相关图象与该给定图象的视觉相似性。这些视觉相似性度量用于选择在视觉空间中比其它语义相关图象与给定图象更相关的图象。这些选择的图象在文本和视觉空间中与给定图象相似。关联于所选图象的候选补充注释是从所选图象的相应上下文中提取的。群集所提取的注释。每个群集包括具有共同或相关概念的注释。例如，关联于蜜蜂在玫瑰上的图象的注释的群集可包含与蜜蜂、玫瑰等相关的注释。该系统和方法使用一或多个评分准则来对概念的显著程度(saliency)排序以标识排序之前的概念的集合。该系统和方法用由排序在前的概念提供的信息的至少一个子集来注释给定图象。现在更详细地描述用于通过搜索进行注释的系统和方法的这些和其它方面。示例性系统尽管不是必需的，但在由诸如个人计算机的计算设备执行的计算机可执行指令的一般上下文中描述用于通过搜索进行注释的系统和方法。程序模块通常包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。尽管在上述上下文中描述该系统和方法，但在下文描述的动作和操作也可用硬件来实现。图1按照一个实施例示出用于注释图象的示例性系统100。系统100包括例如计算设备102。计算设备102表示任何类型的计算设备，诸如通用计算设备、服务器、膝上型计算机、移动计算设备等。计算设备102包括耦合至系统存储器106的一或多个处理器104。系统存储器106包括易失性存储器(例如RAM)和非易失性存储器(例如ROM、闪存、硬盘、光盘等)。系统存储器106包括计算机程序模块108和程序数据110。处理器104从各个程序模块108取得并执行计算机程序指令。程序模块108包括例如用无限词汇表的显著且补充的注释来自动注释给定图象114的注释模块112。程序模块108还包括例如诸如提供运行时环境的操作系统、基于关键词的搜索应用程序、图象比较和排序应用程序、文本/文档群集应用程序、web爬寻器应用程序等等之类的其它程序模块118。-->为标识显著且补充的注释116，注释模块112对远程数据库119和/或本地数据库执行标准的基于关键词的搜索以查找与给定图象114的基线注释122语义相关的数字图象(即挖掘出的图象120)集合。在一个实现中，基线注释122表示关联于给定图象114的位置、事件名字、文件夹名字、描述等、网页上围绕给定图象114的文本、关联于与给定图象114有关(例如，在同一网页上、在同一文件夹中等等)的其它图象的文本、从用户收到的查询输入等等之类。本地和/或远程数据库表示用于数字图象的任何类型的数据存储。例如，数据存储可以是CD、软盘和/或在任何其它可移动存储介质上、硬盘等中的一或多个。为了示例性说明，本地数据库示为“其它程序数据”124的相应部分。在一个实现中，本地和/或远程数据库是由爬寻器程序模块用带注释的数字图象填充的、由个人上传的等等之类。在该实现中，远程数据库119示为通过网络123耦合至计算设备102。网络123可包括局域网(LAN)和一般广域网(WAN)通信环境的任何组合，诸如在办公室、企业级计算机网络、内联网和因特网中常见的网络。视觉相似性度量所述基于关键词的搜索操作返回与基线注释122语义相关的挖掘出的图象120。然而，内容作者使用的词汇差别可能非常大，并且自然语言中的大部分词语具有固有的歧义性。因此，关键词不总是对相关文档内容的良好描述符。这样的歧义性通常导致基于关键词的搜索的关键词/文档项失配问题。因为表示注释的关键词可能是有歧义的，所以注释模块112还评估挖掘出的图象120以标识还至少在概念上在视觉空间中与给定图象114相关的图象(所标识的图象也可能是给定图像114的复制品和/或实质上在视觉上与给定图象114相似)。更具体地，注释模块112比较挖掘出的图象120的视觉特征和给定图象114的视觉特征以生成视觉相似性度量(即排序)来标识不仅在文本空间中(即语义相关)而且在视觉空间中与给定图象114相关的图象。(视觉相似性度量被示为“其它程序数据”124的相应部分)。存在许多已知的用于比较数字图象之间的视觉相似性的技术。在该实现中，例如，注释模块112如下编码给定图象114和挖掘出的图象120的视觉特征以生成每个数字图象的相应散列签名。在该实现中，注释模块-->112使用众所周知的基于N-箱(例如36箱)色彩相关图的操作来为给定图象114和每个挖掘出的图象120创建相应的特征向量。除了基于色彩相关图的技术，还可使用其它已知技术来生成特征向量。注释模块112将所生成的特征向量与从大量数字图象(例如数百万图象)生成的PCA变换模型相乘用于随后量化为二进制位进行比较。例如，如果特征向量的一个元素大于关联于PCA变换模型的最大本征向量的平均值，则注释模块112将该元素量化(编码)为1，否则将该元素编码为0。这些二进制编码表示相应的散列签名。注释模块112使用每个挖掘出的图象120的散列签名和给定图象114的散列签名来度量每个挖掘出的图象120与给定图象114之间的视觉相似性。注释模块12本文档来自技高网...

【技术保护点】
一种包含可由处理器执行的计算机程序指令的计算机可读存储介质，所述计算机程序指令包括用于执行以下步骤的指令：　在一或多个数据存储中搜索与给定图象的基线注释语义相关且在视觉上与所述给定图象相似的图象；以及　用关联于所述图象的至少一个 子集的注释的共同概念来注释所述给定图象。

【技术特征摘要】
【国外来华专利技术】US 2006-5-19 11/419,3681.一种包含可由处理器执行的计算机程序指令的计算机可读存储介质，所
述计算机程序指令包括用于执行以下步骤的指令：
在一或多个数据存储中搜索与给定图象的基线注释语义相关且在视觉上
与所述给定图象相似的图象；以及
用关联于所述图象的至少一个子集的注释的共同概念来注释所述给定图
象。
2.如权利要求1所述的计算机可读存储介质，其特征在于，所述计算机程
序指令还包括用于在注释所述给定图象之前从所述共同概念中移除重复项的
指令。
3.如权利要求1所述的计算机可读存储介质，其特征在于，所述计算机程
序指令还包括用于接收包含所述给定图象和所述基线注释的搜索查询的指令。
4.如权利要求1所述的计算机可读存储介质，其特征在于，所述计算机程
序指令还包括用于执行以下步骤的指令：
度量所述语义相关图象与所述给定图象的视觉相似性；以及
其中，所述图象的至少一个子集包括被确定为比其它图象在视觉上与所述
给定图象更相似的一些图象。
5.如权利要求4所述的计算机可读存储介质，其特征在于，所述计算机程
序指令还包括用于执行以下步骤的指令：
计算从所述各个注释中提取的短语的性质，所述注释被分组到多个群集中
的一个相应群集中；
对于每个群集，组合所述性质中相关联的一些性质以生成所述群集的显著
性得分；以及
其中，所述共同概念与同关联于所述群集中的其它一些群集的显著性得分
相比具有更高的显著性得分的群集相关联。
6.一种计算机实现的方法包括：
搜索与给定图象的基线注释语义相关的图象的第一集合；
评估所述图象的第一集合中的每个图象以标识至少在概念上与所述给定
图象相关的图象的第二集合；
标识关联于所述图象的第二集合的注释；
确定所述各个注释上的共同概念；以及
用所述概念的至少一个子集注释所述给定图象作为补充注释。
7.如权利要求6所述的方法，其特征在于，还包括接收包含所述给定图象
和所述基线注释的输入。
8.如权利要求6所述的方法，其特征在于，所述搜索还包括将所述基线注
释与关联于所述图象的第一集合的文本相关。
9.如权利要求6所述的方法，其特征在于，所述评估还包括将编码所述给
定图象的视觉特征的散列签名与编码所述图象的第一集合中的每个图象的视
觉特征的相应散列签名比较。
10.如权利要求6所述的方法，其特征在于，所述评估还包括：
度量所述图象的第一集合中的每个图象与所述给定图象的视觉相似性；
基于在所述度量中确定的视觉相似性度量，标识比所述图象的第一集合中
的其它图象在视觉上与所述给定图象更相关的排序在前的图象的集合；以及
其中，所述图象的第二集合是所述排序在前的图象。
11...

【专利技术属性】
技术研发人员：L张，XJ王，F景，WY马，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]