用于自动注释图像的方法和装置制造方法及图纸

本发明专利技术的一个实施方式提供一种自动注释图像的系统。在操作中，该系统接收图像。接着，该系统从图像中提取图像特征。该系统继而标识具有相似图像特征的其它图像。该系统接着获取与所述其它图像相关联的文本，并在所获取的文本中标识相交关键字。最后，该系统利用相交关键字来注释图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于自动注释图像的技术。更具体地，本专利技术涉及通过搜索相似图像以及关联这些相似图像周围的文本来自动注释图像的技术。
技术介绍
最近激增的高带宽互联网连接使得数百万用户高效率地在互联网上浏览图像成为可能。这些发展已经使网页、门户网站和其它基于网络应用中所包含的图像在数量上急剧增多。不幸地，许多图像并未附有描述图像内容的文本信息，比如标签、标题或名称。由于大部分现有的搜索技术都是基于文本的(举例，关键字搜索)，这就造成搜索特定的图像极其困难。因此，非常期望能够利用相关文本注释这些图像，举例，通过增加标题或关键字的集合来描述图像的语义内容。注释图像的传统技术基本上是手动的，可能需要索引者为数以千计、或者在一些情形中数以百万计的图像选择关键字。因此，手动图像注释可能是极其费力和昂贵的过程。已经开发出用于自动注释图像的其它技术(参见“FormulatingSemantic Image Annotation as a Supervised Learning Problem，”G.Carneiro and N.Vasconcelos，Proceedings of IEEE Conference onComputer Vision and Pattern Recognition，San Diego，2005)。这些自动图像注释技术能够显著减少或消除注释非常大量图像集所需要的人工工作。>然而，这些现有的“自动注释”技术通常仍然包括需要一定程度的人工辅助的步骤，比如需要人工标注一组地面实况数据，或需-->要其它类型的人工交互或反馈。不幸地，这种人工辅助无法有效地成比例匹配在数量上成指数增长的需要被注释的图像。因此，需要一种用于自动注释图像而不存在上述问题的方法和装置。
技术实现思路
本专利技术的一个实施方式提供了一种自动注释图像的系统。在操作中，该系统接收图像。接着，该系统从图像中提取图像特征。该系统继而标识具有相似图像特征的其它图像。该系统接着获取与所述其它图像相关联的文本，并在所获取文本中标识相交关键字。最后，该系统利用相交关键字来注释图像。在该实施方式的一种变形中，该系统如下来从图像中提取图像特征：(1)将图像分割成片；以及(2)从所述片中提取图像特征。在该实施方式的其他变形中，对于不同片大小的组中的每一给定的片大小，该系统将图像分割成给定片大小的片。在该实施方式的变形中，在标识其它图像之前，该系统将提取的图像特征与图像特征库中的已知图像特征进行匹配。在该实施方式的其他变形中，该系统结合匹配的图像特征以形成图像的一个或多个图像特征结合。在另一变形中，该系统通过在其它图像中标识相似的图像特征结合来标识具有相似图像特征的其它图像。在该实施方式的变化中，该系统可以如下来从图像中提取图象特征：(1)生成颜色直方图；(2)生成方向直方图；(3)使用离散余弦变换(DCT)技术；(4)使用主成份分析(PCA)技术；或(5)使用伽柏(Gabor)小波技术。在该实施方式的变形中，可以通过(1)形状；(2)颜色；以及(3)纹理来定义图像特征。在该实施方式的变形中，该系统通过在互联网上搜索图像来标识其它图像。-->在该实施方式的变形中，该系统通过使用概率模型来标识具有相似图像特征的其它图像。在该实施方式的变形中，在标识相交关键字之前，该系统通过增加关键字的同义词来对获取文本中的关键字进行扩展。在该实施方式的变形中，该系统从视频接收图像。附图说明图1给出了描述根据本专利技术一个实施方式的用于自动注释图像的过程的流程图。图2描述了根据本专利技术一个实施方式的用于自动注释图像的基于计算机的系统。具体实施方式给出下面的描述是为了使本领域的任何技术人员能够使用和理解本专利技术，并且该描述是在特定应用及其需求的上下文中提供的。对于本领域技术人员而言，所公开实施方式的各种变形是显然的，此处限定的普遍原则可以不脱离本专利技术的精神和范围而适用于其它实施方式和应用。因此，本专利技术并不局限于示出的实施方式，而是与符合权利要求的最广泛范围相一致。本详细描述中所描述的数据结构和代码通常存储在计算机可读存储介质上，其可以是能够存储由计算机系统使用的代码和/或数据的任意设备或介质。这包括但是不限于：易失性存储器，非易失性存储器，诸如磁盘驱动器、磁带、CD(压缩盘)、DVD(数字通用盘或数字视频盘)的磁和光学存储设备，或现在已知或以后开发出的能够存储计算机可读介质的其它介质。概述大部分图像搜索和检索系统都是文本驱动的，其中用户输入关键字作为查询，而计算机系统(或者更具体地，搜索引擎)通过在-->图像数据库中搜索与图像相关的文本来处理该查询。搜索引擎返回与关键字相匹配的文本信息所关联的“相关”图像。在这种类型的方案中，无法检索到未被注释的图像，即使该图像内容与关键字高度关联。因此，为未注释图像提供相关文本信息能够促进图像的搜索和检索操作。本专利技术的一个实施方式提供了一种技术，其通过利用web上可用的庞大图像库来产生与图像关联的文本，以此来自动注释图像。更具体地，本专利技术的一个实施方式从给定图像中提取图像特征，继而在互联网上搜索图像以标识包含相似图像特征的图像集。接着，获取这些图像周围的文本。该技术随后标识用以注释该给定图像的获取的文本中的共同关键字。注意，该技术不需要人工干预，并且利用许多现有的图像处理技术来执行诸如图像特征提取和在web上标识相似图像的步骤。自动注释过程图1给出了描述根据本专利技术一个实施方式的用于自动注释图像的过程的流程图。该过程开始于接收图像以及提供关于该图像的相关文本信息的请求(步骤100)。注意，可以通过任意的数字格式来格式化和存储图像，包括但是不限于：JPEG、GIF、BMP、TIFF、PDF、PS、EMF、MNG、PNG、PSD、SWF和WMF。另外，也可以从数字视频的静止帧中获取图像。举例，我们可以从MPEG视频中的单一帧中提取图像，并且随后注释这个图像。接着，该过程将图像分割成特定大小的片(步骤102)，并且随后从各片中提取图像特征(步骤104)。注意，能够从这些片中被提取出的典型图像特征可以包括但不限于：形状、颜色和纹理。举例，可以提取图像中给定片的各种颜色特征，包括但不限于：颜色直方图；颜色直方图布局和颜色矩。另外，可以使用多种图像处理技术本文档来自技高网...

【技术保护点】
一种用于自动注释图像的方法，包括：　接收所述图像；　从所述图像提取图像特征；　标识具有相似图像特征的其它图像；　获取与所述其它图像相关的文本；　在与所述其它图像相关联的所获取文本中标识相交关键字；以及　利 用所述相交关键字来注释所述图像。

【技术特征摘要】
【国外来华专利技术】US 2006-7-24 11/492,4851、一种用于自动注释图像的方法，包括：
接收所述图像；
从所述图像提取图像特征；
标识具有相似图像特征的其它图像；
获取与所述其它图像相关的文本；
在与所述其它图像相关联的所获取文本中标识相交关键字；以及
利用所述相交关键字来注释所述图像。
2、根据权利要求1所述的方法，其中从所述图像提取图像特征
包括：
将所述图像分割成片；以及
从所述片中提取所述图像特征。
3、根据权利要求2所述的方法，其中对于不同片大小的集合中
的每个给定片大小，将所述图像分割成片包括：将所述图像分割成
所述给定片大小的片。
4、根据权利要求1所述的方法，其中在标识所述其它图像之前，
该方法还包括：将所述提取出的图像特征与图像特征库中的已知图
像特征进行匹配。
5、根据权利要求4所述的方法，其中该方法还包括：结合所述
匹配的图像特征，以形成图像的一个或多个图像特征结合。
6、根据权利要求5所述的方法，其中标识具有相似图像特征的
所述其它图像包括：在所述其它图像中标识相似的图像特征结合。
7、根据权利要求1所述的方法，其中从所述图像中提取所述图
像特征可以包括：
生成颜色直方图；
生成方向直方图；
使用离散余弦变换(DCT)技术；
使用主成份分析(PCA)技术；或
使用伽柏小波技术。
8、根据权利要求1所述的方法，其中可以按照以下项来定义所
述图像特征：
形状：
颜色；以及
纹理。
9、根据权利要求1所述的方法，其中标识所述其它图像包括在
互联网上的图像中进行搜索。
10、根据权利要求1所述的方法，其中标识具有相似图像特征的
所述其它图像包括使用概率模型。
11、根据权利要求1所述的方法，其中在标识所述相交关键字之
前，该方法还包括：通过增加关键字的同义词对所述所获取文本中
的关键字进行扩展。
12、根据权利要求1所述的方法，其中接收所述图像包括从视频
接收所述图像。
13、一种存储指令的计算机可读存储介质，当所述指令被计算机
执行时，其使计算机执行用于自动注释图像的方法，该方法包括：
接收所述图像；
从所述图像提取图像特征；
标识具有相似图像特征的其它图像；
获取与所述其它图像相关联的文本；
在与所述其它图像相关联的所获取文本中标识相交关键字；以及
利用所述相交关键字来注释所述图像。
14、根据权利要求13所述的计算机可读存储介质，其中从所述
图像提取图像特征包括：
将所述图像分割成片；以及
从所述片中提取所述图像特征。
15、根据权利要求14所述的计算机可读存储介质，其中对于不
同片大小的集合中的每个给定片大小，将所述图像分割成片包括：
将所述图像分割成所述给定片大小的片。
16、根据权利要求13所述的计算机可读存储介质，其中在标识
所述其它图像之前，该方法还包括：将所述提取出的图像特征与图
像特征库中的已知图像特征进行匹配。
17、根据权利要求16所述的计算机可读存储介质，其中该方法
进一步包括：结合所述匹配的图像特征，以形成图像的一个或多个
图像特征结合。
18、根据权利要求17所述的计算机可读存储介质，其中标识具
有相似图像特征的所述其它图像包括：在所述其它图像中标识相似
的图像特征结合。
19、根据权利要求13所述的计算机可读存储介质，其中从所述
图像中提取所述图像特征可以包括：
生成颜色直方图；
生成方向直方图；
使用离散余弦变换(DCT)技术；
使用主成份分析(PCA)技术；或
使用伽柏小波技术。
20、根据权利要求13所述的计算机可读存储介质，其中可以按
照如下项来定义所述图像特征：
形状：
颜色；以及
纹理。
21、根据权利要求13所述的计算机可读存储介质，其中标识所
述其它图像包括在互联网上的图像中进行搜索。
22、根据权利要求13所述的计算机可读存储介质，其中标识具
有相似图像特征的所述其它图像包括使用概率模型。
23、根据权利要求13所述的计算机可读存储介质，其中在标识
所述相交关键字之前，该方法还包括：通过增加关键字的同义词对
所述所获取文本中的关键字进行扩展。
24、根据权利要求13所述的计算机可读存储介质，其中接收所
述图像包括从视频接收所述图像。
25、一种自动注释图像的计算机系统，包括：
处理器；
存储器；
接收装置，其被配置用于接收所述图像；
提取装置，其被配置用于从所述图像提取图像特征；
标识装置，其被配置用于标识具有相似图像特征的其它图像；
获取装置，其被配置用于获取与所述其它图像相关的文本；
其中所述标识装置进一步被配置用于在与所述其它图像相关联
的所获取文本中标识相交关键字；以及
注释装置，其被配置用于利用所述相交关键字来注释所述图像。
26、根据权利要求25所述的计算机系统，其中所...

【专利技术属性】
技术研发人员：JN雅格尼克，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：US[美国]