一种基于n元图片索引结构的图片检索方法与系统技术方案

本发明专利技术公开了一种基于n元图片索引结构的图片检索方法与系统，涉及图像检索技术领域。本发明专利技术公开的方法包括：收到用户的检索操作时，判断用户输入的检索内容的形式为文本形式，则对用户输入的文本进行基于n元图片索引的文本内部向量化处理，利用处理结果在文本标签内的索引下进行图片检索，用户输入的检索内容的形式为图片形式时，对用户输入的图片进行基于n元图片索引结构的图片语义自动标注，提取n元图片，针对提取的n元图片的TF-IDF特征向量在语义标注的文本标签内的索引中进行图片检索，最后将检索到的图片按照相似度排序并输出。本发明专利技术还公开了基于n元图片索引结构的图片检索系统。本申请技术方案提高了检索效率和效果。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种基于n元图片索引结构的图片检索方法与系统，涉及图像检索
。本专利技术公开的方法包括：收到用户的检索操作时，判断用户输入的检索内容的形式为文本形式，则对用户输入的文本进行基于n元图片索引的文本内部向量化处理，利用处理结果在文本标签内的索引下进行图片检索，用户输入的检索内容的形式为图片形式时，对用户输入的图片进行基于n元图片索引结构的图片语义自动标注，提取n元图片，针对提取的n元图片的TF-IDF特征向量在语义标注的文本标签内的索引中进行图片检索，最后将检索到的图片按照相似度排序并输出。本专利技术还公开了基于n元图片索引结构的图片检索系统。本申请技术方案提高了检索效率和效果。【专利说明】—种基于η元图片索引结构的图片检索方法与系统
本专利技术涉及图像检索方法与系统，具体涉及一种基于η元(n-gram)图片索引的图片检索方法与系统，主要应用于图像检索领域。
技术介绍
目前，图片检索主要分为两种方式，基于文本的图片检索(text-based imageretrieval)和基于内容的图片检索(content-based image retrieval)。在传统的基于文本的图片检索系统(TBIR)中，图片通常是经过人工标注后，用户通过关键词检索所需要的图片。这种方式的明显缺点是图片必须通过人工进行标注，在信息大爆炸的今天，这种方式是不现实的。为克服基于文本的图片检索的缺点，基于内容的图片检索方式在上世纪八十年代应运而生，其中1984年Chang在这方面做了开创性的工作。所谓基于内容的图片检索(CBIR)，是指通过提取图片原始的底层视觉特征(如颜色特征，纹理特征，形状特征等)对图片进行索引，并最终通过图片的底层特征进行图片搜索的方式。较为著名的商业性的基于内容的图片检索工具有 QBIC、Photobook、Virage, VisualSEEK, Netra 和 SMPLIcity。当前常用的图片检索系统，大多都是对图片数据集中的图片提取高维底层特征向量，通过对这些高维底层特征向量建立索引，或者对带有图片标注的图像，通过文本标签对图像建立索引。用户则通过提交文本或者示图像对索引系统进行检索。然而，通过这种方法的检索系统的检索效果和效率并不理想，其主要原因是通过底层特征进行检索本身就存在“语义鸿沟”问题，而且通过对高维底层特征建立的索引系统随着索引图片的数量的急剧增长，的检索效率非常低下，因此当前图片搜索引擎的索引图片数量也有限，其用户检索的图片效果不理想。并且当前大多数图片检索系统都没有利用到图片中带有的空间特征信息。当前解决“语义鸿沟”问题的主要方法是通过对图片进行自动标注，而当前大多数图片搜索引擎并没有将图片自动标注技术成功运用到图片检索系统中。然而，当前文本检索的发展已相当成熟，其索引建立以及检索技术都有一定的积累，因此可以从文本检索方面借鉴相关技术，改进当前的图片检索系统的性能。
技术实现思路
本专利技术所要解决的技术问题是，提供一种基于n-gram图片索引结构的图片检索方法与系统，以提高图片检索效率和效果。为了解决上述技术问题，本专利技术公开了一种基于η元图片索引结构的图片检索方法，包括:收到用户的检索操作时，判断用户输入的检索内容的形式；当用户输入的检索内容的形式为文本形式时，对用户输入的文本进行基于η元图片索引的文本内部向量化处理，利用文本内部向量化处理结果在文本标签内的索引下进行图片检索，将检索到的图片按照相似度排序并输出；当用户输入的检索内容的形式为图片形式时，对用户输入的图片进行基于η元图片索引结构的图片语义自动标注，基于η元模型提取η元图片，针对提取的η元图片的词频-逆向文件频率(TF-1DF)特征向量在语义标注的文本标签内的索引中进行图片检索，将检索到的图片按照相似度进行排序并输出。较佳地，上述方法还包括:在用户进行检索操作前，构建基于η元图像的索引，所构建的索引包括以图像η元为索弓丨，以图像标注和图片详细信息为索引对象的索引结构，以及以图片标注为索弓丨，以图像η元以及图片详细信息为索引对象的索引结构。较佳地，上述方法中，构建基于η元图像的索引的过程如下:对带有文本标注的图片数据集进行预处理，从预处理后的图像数据集中提取“图像词元”;根据所提取的“图像词元”构建相应的包含图像η元的图像词典；根据所构建的图像词典，对带有文本标注的图片数据集中的图片进行切割，提取相应的图像η元，建立基于η元模型的图片索引。较佳地，上述方法，对用户输入的文本进行基于η元图片索引的文本内部向量化处理指:根据用户输入的文本内容，基于η元图片索引结构进行检索，根据检索到的图像η元的概率权值，对文本内容进行内部向量化处理。较佳地，上述方法，利用文本内部向量化处理结果在文本标签内的索引下进行图片检索，将检索到的图片按照相似度排序并输出指:对用户输入的文本进行向量化后，根据向量化处理后的值对文本标签内的索引下的图片进行相似度计算，按照计算得到的相似度的大小对检索到的图片排序并输出。本专利技术还公开了一种基于η元图片索引结构的图片检索系统，包括判断单元、第一索引单元和第二索引单元，其中:所述判断单元，收到用户的检索操作时，判断用户输入的检索内容的形式，当用户输入的检索内容的形式为文本形式时，将用户输入的文本发送给所述第一索引单元，当用户输入的检索内容的形式为图片形式时，将用户输入的图片发送给所述第二索引单元；所述第一索引单元，对用户输入的文本进行基于η元图片索引的文本内部向量化处理，利用文本内部向量化处理结果在文本标签内的索引下进行图片检索，将检索到的图片按照相似度排序并输出；所述第二索引单元，对用户输入的图片进行基于η元图片索引结构的图片语义自动标注，基于η元模型提取η元图片,针对提取的η元图片的词频-逆向文件频率(TF-1DF)特征向量在语义标注的文本标签内的索引中进行图片检索，将检索到的图片按照相似度进行排序并输出。较佳地，上述系统还包括:基于η元图片索引构建单元，建立基于η元图像的索引，该索引包括以图像η元为索引，以图像标注和图片详细信息为索引对象的索引结构，以及以图片标注为索弓丨，以图像η元以及图片详细信息为索引对象的索引结构。较佳地，上述系统中，所述基于η元图片索引构建单元分为:“图像词典”构建部件，对带有文本标注的图片数据集进行预处理，从预处理后的图像数据集中提取“图像词元”，根据所提取的“图像词元”构建相应的包含图像η元的图像词典；索引构建部件，根据所述“图像词典”构建部件所构建的图像词典，对带有文本标注的图片数据集中的图片进行切割，提取相应的图像η元，建立基于η元模型的图片索引。较佳地，上述系统中，所述第一索引单元对用户输入的文本进行基于η元图片索引的文本内部向量化处理指:根据用户输入的文本内容，基于η元图片索引结构进行检索，根据检索到的图像η元的概率权值，对文本内容进行内部向量化处理。较佳地，上述系统中，所述第一索引单元利用文本内部向量化处理结果在文本标签内的索引下进行图片检索，将检索到的图片按照相似度排序并输出指: 对用户输入的文本进行向量化后，根据向量化处理后的值对文本标签内的索引下的图片进行相似度计算，按照计算得到的相似度的大小对检索到的图片排序并输出。本申请技术方本文档来自技高网...

【技术保护点】
一种基于n元图片索引结构的图片检索方法，其特征在于，该方法包括：收到用户的检索操作时，判断用户输入的检索内容的形式；当用户输入的检索内容的形式为文本形式时，对用户输入的文本进行基于n元图片索引的文本内部向量化处理，利用文本内部向量化处理结果在文本标签内的索引下进行图片检索，将检索到的图片按照相似度排序并输出；当用户输入的检索内容的形式为图片形式时，对用户输入的图片进行基于n元图片索引结构的图片语义自动标注，基于n元模型提取n元图片，针对提取的n元图片的词频‑逆向文件频率(TF‑IDF)特征向量在语义标注的文本标签内的索引中进行图片检索，将检索到的图片按照相似度进行排序并输出。

【技术特征摘要】

【专利技术属性】
技术研发人员：陆平，董振江，罗圣美，刘丽霞，陈清财，刘胜宇，
申请(专利权)人：中兴通讯股份有限公司，哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东;44