一种多索引磁盘哈希结构的图像检索方法技术

本发明专利技术涉及一种多索引磁盘哈希结构的图像检索方法，包括以下步骤：离线索引阶段，对多媒体数据提取高维特征；使用哈希映射方法将高维特征映射为哈希编码；将哈希编码平均分割为编码子串；将编码子串分别插入对应的基于磁盘的B+树索引结构中；重复上述步骤m次，形成多索引磁盘结构。在线查询阶段，对于查询的多媒体数据，经过提取特征、哈希编码、编码分割后得到编码子串，搜索该编码在磁盘索引的r近邻结果，合并r近邻结果直至找到k近邻结果后返回。本发明专利技术结合多索引哈希方法与B+树存储结构的优势，在提高索引结构检索准确率和检索速度的同时，增大了支持的数据量。

【技术实现步骤摘要】

本专利技术涉及图像索引与检索
，具体涉及一种多索引磁盘哈希结构的图像 检索方法。
技术介绍
近年来随着"互联网+"政策的推进，我国的互联网技术、数字媒体技术、网络传输 技术蓬勃发展。智能手机平板等终端设备的普及以及社交应用、电子商务应用的不断发展， 使得图像数据呈快速增长趋势。为了更好地利用这些图像数据，快速准确的大规模图像数 据检索成为一个亟待解决的重要问题。传统基于文本的图像检索依赖于图像名称或者注释 等带有较强主观性的文本信息，往往不能达到预期的检索效果。基于内容的图像检索采用 图像的颜色、纹理或形状等特征进行检索，能够克服上述局限性，受到学术界和工业界的重 视。 基于内容的图像检索可以分为特征提取和特征匹配两个过程:特征提取将图像像 素压缩表示为高维特征向量，特征匹配则从大规模高维特征中找到查询特征的近邻数据 (nearest neighbors)。目前高维特征近邻检索方法主要分为基于树形结构的方法和基于 哈希映射的方法。近年来基于哈希映射的索引及检索方法由于在实际应用中的优秀表现， 获得了广泛关注。 基于哈希映射的方法原理是将近邻数据映射到同一个哈希桶，利用哈希冲突过滤 多数非近邻数据从而提高检索效率。通过设计合理的哈希映射函数，基于哈希映射的索引 结构能实现次线性时间复杂度的检索效率。这类方法将图像的高维特征压缩表示为几十或 几百个比特的哈希编码，压缩高维特征表示的同时保持数据的局部敏感特性，即任意距离 测度(L1距离、欧式距离等)小的数据，经过哈希映射之后汉明距离小。 基于哈希映射的方法将图像数据压缩表示为哈希编码，提高了存储和计算效率， 但是对于大规模哈希编码并没有一种有效的方法进行检索。目前大部分研究将图像表示为 哈希编码后采用线性扫描方法找最近邻，检索效率较低。M.Norouzi等人在文献"Fast search in hamming space with multi-index hashing" 中提出了一种基于编码分割的多 索引哈希结构，与近似检索不同，该结构能实现"准确"的哈希编码检索且检索时间复杂度 为次线性。但上述方法需要使用大量内存，不仅代价高，而且在数据量大、内存无法载入索 引结构时无法使用。相对内存而言磁盘容量大、价格低廉，非常适合用于大数据量的基于内 容的图像检索。由于磁盘的10效率比内存要低，因此如何设计一种合理的索引结构来优化 磁盘的10策略，同时保持多索引哈希结构的检索性能成为解决哈希编码高效检索的关键问 题。
技术实现思路
针对现有技术的不足，本专利技术提出了， 用于解决高维数据的索引和快速检索问题。该专利技术结合了多索引哈希算法检索效率高，以 及B+树结构磁盘10效率高的特性，将哈希编码存储在基于磁盘的B+树索引结构中，能够很 好地支持大规模图像高维数据的索引与检索。 为了达到以上目的，本专利技术采用的技术方案如下： 本专利技术提出了一种多索引磁盘哈希结构，用于对图像高维特征数据进行磁盘索 弓丨，该索引结构的建立方法包括以下步骤： (1)对需要建立索引的图像提取一种或多种高维特征； (2)基于步骤（1)提取的高维特征，使用哈希映射方法将高维特征映射为若干比特 的哈希编码； (3)基于步骤(2)生成的哈希编码，将该编码分割为m份，形成m个哈希编码子串； ⑷将步骤⑶生成的哈希编码子串，插入对应的B+树索引结构中； (5)重复步骤(3)、（4)，将全部哈希编码子串插入并保存到对应的B+树结构中，形 成多个B+树索引结构组成的多索引磁盘哈希结构。 进一步，所述步骤(1)中的提取高维特征，是对图像提取颜色、纹理或形状等特征。 进一步，所述步骤(2)中的哈希映射方法，包括多种将图像高维特征通过哈希函数 映射成一串紧凑的哈希编码并保持特征局部敏感特性的方法。这类方法使得任意两个距离 测度(L1距离，欧式距离等)小的高维特征，通过映射之后汉明距离也小。 进一步，所述步骤(3)中的编码分割方法为将哈希编码平均分成m等份，形成m个哈 希编码子串，其中m由最佳编码长度决定。 进一步，所述步骤(4)中插入对应的B+树索引结构是指将第1个子串插入第1个B+ 树索引结构，第2个子串插入第2个B+树索引结构，以此类推。 进一步，所述步骤(5)中重复步骤(3)、（4)m次，将每一个哈希编码分割为m个哈希 编码子串，分别保存到m个对应的B+树索引结构，形成多索引磁盘哈希结构。 本专利技术还提出了一种采用上述多索引磁盘哈希结构的图像检索方法，其步骤包 括： (a)采用上述磁盘索引建立方法建立多索引磁盘哈希结构； (b)对于查询图像，经过与上述步骤（1)，（2)，（3)相同的特征提取、哈希映射和编 码切割方法，得到m个查询编码子串； (c)初始化检索距离r为0，k近邻结果为0:; (d)基于上述步骤(a)建立的磁盘索引，进行查询编码的r近邻检索，得到r近邻结 果； (e)将步骤(d)得到的r近邻结果合并到k近邻结果中； (f)将r递增1，重复上述步骤(d)、（e)，直至k近邻结果数量超过k后，返回该结果。进一步，所述步骤(c)中的检索距离r表示当前循环查询编码与检索结果的汉明距 离，r在检索查询编码k近邻的过程中逐渐增大，直到找到k个近邻;所述的k近邻结果用于存 放最终查询编码的k近邻。 进一步，所述步骤(f)中重复步骤(d)、（e)的次数不固定，由查询编码的近邻数据 分布决定，循环在找到k个近邻结果后停止。 本专利技术的有益效果在于：（1)支持大规模图像数据的快速索引和检索；（2)支持数 据的动态添加；（3)与近似检索不同，本专利技术支持准确的哈希编码k近邻检索。 本专利技术之所以具有上述有益效果，其原因在于:本专利技术采用了基于磁盘的B+树结 构来存储哈希表，不但支持数据动态添加，而且与其他数据结构相比磁盘10效率高，检索速 度快;本专利技术采用了基于编码分割的多索引哈希检索算法，通过检索多索引结构得到候选 集并筛选，该方法能够实现与近似检索方法不同的"准确"哈希编码检索，且检索复杂度为 次线性；【附图说明】 图1是本专利技术的索引建立流程图。 图2是B+树存储结构示意图。图3是本专利技术的检索流程图。图4是多索引哈希结构k近邻检索算法描述图。【具体实施方式】下面结合附图和具体实施例对本专利技术作进一步详细的描述。本专利技术的一种多索引磁盘哈希结构，其索引建立的流程如图1所示，具体包含以下 步骤： (1)特征提取对需要建立索引的图像提取一种或多种颜色、纹理或形状特征，该特征为高维向 量。 (2)哈希编码 在经过步骤（1)特征提取之后，需要通过哈希编码方法将高维图像特征映射为更 加紧凑的哈希编码。哈希编码方法利用局部敏感哈希映射函数，将高维特征映射为若干比 特哈希编码的同时保持特征相似性，即距离测度(L1距离，欧式距离等)小的特征映射后的 哈希编码的汉明距离也小。 本实施例米用由 A · Gionis和P · Indyk在文献 "Simi larity search in high dimensions via hashing" 中提出的局部敏感哈希(Locality Sensitive Hashing,LSH)编 码方法。该方法是一种随机平面映射的编码方法，通过随机的高斯分布映射矩阵将高维特 征映射为若干比特哈本文档来自技高网...

【技术保护点】
一种用于图像检索的多索引磁盘哈希结构的建立方法，其步骤包括：(1)对需要建立索引的图像集提取一种或多种高维特征；(2)使用哈希映射方法将步骤(1)提取的高维特征映射为若干比特的哈希编码；(3)将所述哈希编码均匀分割为若干组哈希编码子串；(4)将步骤(3)所得的哈希编码子串插入到对应的基于磁盘的B+索引结构中；(5)重复步骤(3)、(4)，形成高维数据的多索引磁盘结构。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵仕荣，张健，彭宇新，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11