一种基于移动可视设备的跨媒体信息检索系统及方法技术方案

本发明专利技术公开一种基于移动可视设备的跨媒体信息检索系统，包括：用于将图像输入到所述移动可视设备内的图像输入模块、用于输入与图像相关的文字信息第文本输入模块、用于检索出与输入的文字信息关联的图像集合并建立生成文本相关的图像集的基于文本的互联网图像检索模块、用于在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集的基于内容的图像检索模块及用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果第检索处理模块。本发明专利技术结合文本和图像检索，实现了准确快速的跨媒体、可视化检索。本发明专利技术同时还公开了一种基于移动可视设备的跨媒体信息检索方法。

【技术实现步骤摘要】

本专利技术涉及信息检索领域，特别涉及。
技术介绍
随着检索技术越来越流行，检索也逐渐成为一个很有商业前景的产业。例如，检索引擎供应商通过在返回的结果中附带付费广告的方式来盈利，以研究更新的技术，提供更新的服务，吸引更多的用户和获取更多的广告收入。现在，这个竞争已经转向无线领域。包括传统的信息检索，邻近商店和物品的本地信息检索，甚至是背景图像的检索。基于移动可视设备的移动检索是一个全新的由实际应用需求催生的研究课题。随着人们生活水平的日益提高，科学技术的不断发展，移动可视设备例如手机、笔记本电脑等广泛应用到人们的生活中，而逐渐形成的移动检索的体系将改变人们寻找及购买日常商品、移动内容以及本地信息服务的方式。传统信息检索技术主要是面向文本的，采用文本检索技术，通常是利用一组关键字或词组成的查询来检索定位文本和数据库中相关文本文档。如果某个文档中包含较多和查询项相关的文本，那么就认为该文档比其他包含较少查询项的文档更相关。对于希望利用多媒体数据资源的用户来说，一般要求他们具备一定的知识背景，才能提交符合 IRdnformation Retrieval，信息检索)系统要求或顶系统可以理解的查询.但是，在实际应用中，大量用户对于某些概念语义的精通程度并不足以明确叙述其查询意愿，此时如果顶系统允许用户能够以多种媒体信息来描述方式输入查询意愿，那么将检索到更多符合心愿的查询结果。对图像和视频等多媒体信息集来说，目前绝大多数检索系统仍采取文本检索技术，例如Google的图像和视频检索功能仍是基于文本关键词的，这些关键词可能来源于图片周围的文本，文件名等，其中少量的也可能来源于人工标注。所以近些年来，许多研究人员试图实现基于内容的多媒体信息查询技术，以弥补上述多媒体信息检索技术的缺陷。 国内外有报多研究人员在积极研究基于内容的多媒体信息检索技术，其中包括对图像、视频和音频等多媒体信息的内容处理和分析(parsing)、自动标注(annotation)，构建索引 (indexing)和相似检索(retrieval)等。然而，在实际应用中，大量用户对于某些概念语义的精通程度并不足以明确叙述其查询意愿，此时如果顶系统允许用户能够以多种媒体信息来描述方式输入查询意愿，那么将检索到更多符合心愿的查询结果。不能够以某一种或多种媒体表达方式描述的用户查询，在不同类型媒体表达方式描述的媒体信息之间进行查找和相关匹配，仅仅从单一媒体检索，使得用户检索的正确性大大降低，未能实现跨媒体的信息检索是当下信息检索技术需要解决的主要问题。
技术实现思路
本专利技术的目的在于提供，能够结合文本和图像检索，实现跨媒体的信息检索，从而获取到更精确的检索结果。为实现上述目的，本专利技术提供一种基于移动可视设备的跨媒体信息检索的系统， 包括图像输入模块、文本输入模块、基于文本的互联网图像检索模块、基于内容的图像检索模块及检索处理模块，所述图像输入模块用于将图像输入到所述移动可视设备内；所述文本输入模块用于输入与图像相关的文字信息；所述基于文本的互联网图像检索模块用于检索出与输入的文字信息关联的图像集合，并建立生成文本相关的图像集；所述基于内容的图像检索模块用于在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集；所述检索处理模块用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果。较佳地，所述移动可视设备内置有摄像头，所述图像通过摄像头采集并传送到图像输入模块中。较佳地，所述移动可视设备为手机。较佳地，所述系统还包括查询扩展模块，所述查询扩展模块用于对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索模块以所述文本集进行关联图像的检索。相应地，本专利技术还提供了一种基于移动可视设备的跨媒体信息检索方法，，包括以下步骤步骤1 获取图像；步骤2 输入与所述图像关联的文字信息；步骤3 基于文本的互联网图像检索，即以所输入的文字信息为索引在互联网数据库中进行检索；步骤4 提取并生成文本相关的图像集；步骤5 基于内容的图像检索，在文本相关的图像集中检索与所述图像匹配的图像；步骤6 提取并生成视觉相关的图像集；步骤7 提取图像所在网页中的关键词；步骤8 提取在线内容；步骤9 显示检索结果较佳地，在基于文本的互联网图像检索的步骤之前还包括查询扩展步骤，所述查询扩展步骤对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索步骤以所述文本集进行关联图像的检索。本专利技术的基于移动可视设备的跨媒体信息检索系统及方法，是通过基于内容的图像检索方法来度量查询图片和文本相关的图像集中的图像的相似程度，从而找到既文本相关义视觉上相似的图片。一般图像常用的描述符主要有色彩、纹理、形状等特征。由于纹理特征不足以分辨移动设备上获取的图像。以前一些移动设备上的信息检索工作大多只使用基于内容的图像检索方法来查询相似的图像，以挖掘更深层的信息。然而，在本系统中， 考虑到计算消耗和在大量图像上搜索的精确度，利用输入图像相关的文字信息，通过基于文本的互联网图像检索先获取生成文本相关图像集，而基于内容的图像检索匹配任务只是在小数量的文本相关图像集上进行，通过这种多模态跨媒体的输入检索方案，实现更高准确度和更快速度的信息检索。本专利技术的有益效果主要体现如下第一，本系统的查询输入可以是多模态的，例如，一幅图像附带一些提示单词；第二，本系统会使用一个动态的文本相关的图像集而不是使用一个特定的数据库；第三，在本系统中，针对更广泛的应用和大规模的数据。因此，除了精确性，搜索效率的提高也是这个系统高效的一个重要因素；4第四，传统的基于内容的图像检索(Content Based Image Retrieval，简称CBIR) 方法在大数据量下的效果一般不佳，而本系统方案采用的混合图像匹配方法的结果的正确率要高的多。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术的系统结构示意图；图2为本专利技术的方法流程图；图3为本专利技术的一个实施方式图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本专利技术通过结合基于文本的互联网检索技术和基于内容的图像检索技术，把跨媒体检索的技术运用到移动检索中。提出了一套在大数据需求下进行可视化检索方法用以实现移动设备的移动检索方案，支持多用户进行多模态的查询，实现了移动设备上直观的便捷的跨媒体、可视化检索。参考图1，本专利技术提供的一种基于移动可视设备的跨媒体信息检索的系统，包括 图像输入模块100、文本输入模块200、基于文本的互联网图像检索模块400、基于内容的图像检索模块500及检索处理模本文档来自技高网...

【技术保护点】
１．一种基于移动可视设备的跨媒体信息检索系统，其特征在于，包括：图像输入模块，用于将图像输入到所述移动可视设备内；文本输入模块，用于输入与图像相关的文字信息；基于文本的互联网图像检索模块，用于检索出与输入的文字信息关联的图像集合，并建立生成文本相关的图像集；基于内容的图像检索模块，在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集；检索处理模块，用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果。

【技术特征摘要】
1.一种基于移动可视设备的跨媒体信息检索系统，其特征在于，包括 图像输入模块，用于将图像输入到所述移动可视设备内；文本输入模块，用于输入与图像相关的文字信息；基于文本的互联网图像检索模块，用于检索出与输入的文字信息关联的图像集合，并建立生成文本相关的图像集；基于内容的图像检索模块，在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集；检索处理模块，用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果。2.如权利要求1所述的系统，其特征在于，所述移动可视设备内置有摄像头，所述图像通过摄像头采集并传送到图像输入模块中。3.如权利要求1或2所述的系统，其特征在于，所述移动可视设备为手机。4.如权利要求1所述的系统，其特征在于，还包括查询扩展模块，所述查询扩展模块用于对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索模块以所述文本集进行关联图像的检索...

【专利技术属性】
技术研发人员：吴仁涛，王若梅，孟思明，
申请(专利权)人：中山大学，
类型：发明
国别省市：81