一种基于改进PQ算法的CBIR方法技术

本发明专利技术涉及一种基于改进PQ算法的CBIR方法，属于图像处理技术领域。通过改进深度卷积网络提取图像深度特征，然后通过采用非线性检索ANN搜索策略的基于倒排索引的乘积量化IVPQ算法的索引检索模块编码压缩图像特征数据，并生成基于Faiss框架的动态索引数据库的索引，通过特征向量编码对全索引库的数据空间进行分割，进行查询图片的检索时，通过汉明距离重排，快速锁定某一子空间再进行遍历，并输出检索图像。本发明专利技术基于Faiss框架实现了检索索引库的动态化，避免了实际应用场合为重建索引库产生的高昂运维成本。

CBIR method based on improved PQ algorithm

【技术实现步骤摘要】
一种基于改进PQ算法的CBIR方法
本专利技术属于图像处理领域，涉及一种基于改进PQ算法的CBIR方法。
技术介绍
实际应用场景下，用户需要对海量的、无标签的、复杂未知的图像进行基于关键敏感图像库检索判断，实现“以图搜图”的功能。目前公认表示索引图像信息的最有效方式基于图像内容自身，故选用基于内容的图像检索(CBIR,ContentBasedImageRetrieval)方法进行大规模图像检索系统设计。传统CBIR方法采用相似性度量的暴力检索(Brute-force)策略，暴力检索策略会随着图片特征索引数据的增加而加剧内存资源的耗费。特别是当实际应用场合的数据集规模达到几百个百万规模时，由于索引规模的增加，运行内存(RAM)占用得不到满足，从而导致检索性能会急剧降低，系统性能无法取得预期目标，硬件成本也会急剧增加。为此，主流的解决方法是采用近似最近邻(ANN,ApproximateNearestNeighbor)检索策略，其本质是通过对检索数据集的全空间进行分割成子空间，以某种方式快速锁定(几个)子空间集并进行遍历。ANN主要分为KD树法、图索引量化法、哈希法、矢量量化法。对于常规的KD树算法而言，随着KD树的树深度越深，KD树法检索模型的性能表现越发欠佳；而将图引入ANN搜索的方法，以已经成熟应用的HNSW(HierarchicalNavigableSmallWorldGraphs)算法为例，其召回率高、但索引内存占用大、独特的索引结构不利于数据的动态增删；对于哈希法而言，出现了多表局部敏感哈希(MLSH,MultiprobeLocality-SensitiveHashing)这种通过构造多个哈希表，以达到生成划分空间域的多个哈希函数，以此提高大规模的高维数据集下查找准确率的改进哈希编码算法，但任然摆脱不了索引数据消耗大量内存空间的情况；对于矢量量化法而言，代表算法为已在工业领域非常实用流行的乘积量化(PQ,ProductQuantization)法，索引数据压缩性能较好，能有效地降低内存占用，但召回率较低。此外，基于ANN检索策略的CBIR方法的索引数据库近年来多采用对于数据的动态增删目前还不支持的FALCONN或NMSLIB框架。对于小数据集和中型规模的数据集的检索算法与系统实现而言，这是可以接受的。但对于大规模检索，为满足实际应用场合的需要，CBIR系统在运行过程中需要对特定敏感图片数据进行索引的入库。否则，每次重新建立索引库需要高昂的运维成本与耗时。因此，对于实际应用场合中的CBIR系统的索引库应该是能够动态增减的。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于改进PQ算法的CBIR方法。为达到上述目的，本专利技术提供如下技术方案：一种基于改进乘积量化PQ算法的基于内容的图像检索CBIR方法，通过改进深度卷积网络提取图像深度特征，然后通过采用非线性检索ANN搜索策略的基于倒排索引的乘积量化IVPQ算法的索引检索模块编码压缩图像特征数据，并生成基于Faiss框架的动态索引数据库的索引，通过特征向量编码对全索引库的数据空间进行分割，进行查询图片的检索时，通过汉明距离重排，快速锁定某一子空间再进行遍历，并输出检索图像。可选的，所述IVPQ算法分为索引构建与非线性检索查询，记X＝[x1,x2,...,xN]∈RN×Ω为训练样本集的特征向量数据集矩阵，其中Ω为训练样本数据维度，N为训练样本集的样本个数，查询样本为xq；所述索引构建具体为：进行编码预处理：对训练样本特征向量数据集X进行K-Means聚类算法，得到M个样本聚类中心C＝[c1,c2,...,cM]∈RM×Ω，设ci＝NNC(xi)表示训练样本数据特征向量xi最近的样本聚类中心，两两相减得到残差向量组R，R表示公式为：R＝[r1,r2,...,ri,...,rN]∈RN×Ωri＝|xi-ci|(2)对残差向量ri的维度空间Ω进行P平分，记ri＝[ri,1,ri,2,...,ri,j,...,ri,P]∈R1×Ω且ω1+...+ωj+...+ωP＝Ω,并分别对不同子空间内所有训练样本的残差子向量进行K-Means聚类生成聚类中心个数一致的码本集CΩ，CΩ表示公式如下：其中，为训练样本残差向量组R的维度空间Ω被平分后形成的第j个维度子空间的码本(聚类集)，P为Ω平分后的维度子空间的个数；为中的第k个聚类中心，M'为每个子空间的聚类中心个数，且满足M'＝2p，2p为IVPQ二进制编码位数；利用CΩ对ri进行IVPQ编码，每个样本残差向量ri由其P个残差子向量对应的聚类中心的ID号来表示，生成训练样本IVPQ编码集S，S表示公式如下：S＝{S(1),S(2),...,S(i),...,S(N)}其中，S(i)为训练样本残差向量ri所生成的一组IVPQ编码，ci为所对应的训练样本聚类中心标记；n(i,j)为S(i)中样本残差子向量ri,j在对应的维度子空间ωj中最近的聚类中心编号；表示子空间ωj中子向量ri,j最近的聚类中心编号数字；所述非线性检索查询具体为：对查询样本向量xq进行上述类似编码预处理，生成查询残差向量rq＝|xq-cq|，同样将rq切分成P个相同子向量,记rq＝[rq,1,rq,2,...,rq,j,...,rq,P]∈R1*Ω,并分别在其每个子空间的计算与该子空间内M'个聚类中心的距离，生成大小为P×M'的查询向量距离池DΩ，DΩ表示公式如下：其中，cq为查询样本向量的样本聚类中心，为查询残差子向量rq(j)与子空间ωj中M'个聚类中心的距离集合；为rq(j)所对应ωj中第k个聚类中心的距离值，为rq(j)所对应ωj中第k个聚类中心；进行检索时，仅对训练样本编码集S中与查询样本向量xq的样本聚类中心cq一致下标的IVPQ编码组集Sq，即感兴趣区域ROI，进行遍历查询；设与查询向量一致的编码组数量为N',由式(4)得Sq表达式：Sq＝{Sq(1),Sq(2),...,Sq(i)...,Sq(N')}在查询向量距离池DΩ中分别计算与Sq中各编码组对应的P个汉明距离值之和，生成查询检索距离集合Dq，则Dq表示公式如下：Dq＝[Dq(1),Dq(2),...,Dq(i),...,Dq(N')]其中，Dq(i)表示Sq中第i个训练样本向量xi与查询样本向量xq的IVPQ编码距离；若距离之和Dq(i)超过根据实际训练需要设置的阈值距离t,t∈[30,100]，则丢弃；最后以每个训练样本与查询样本的距离排序作为非线性检索的结果返回。本专利技术的有益效果在于：需求上，本专利技术提出的基于IVPQ算法的CBIR方法满足适用于在实际应用场景下，用户需要对海量的、无标签的、复杂未知的图像进行基于关键敏感图像库检索判断，实现“以图搜图”的功能；基于Faiss框架实现了检索索引库的动态化，避免了实本文档来自技高网...

【技术保护点】
1.一种基于改进乘积量化PQ算法的基于内容的图像检索CBIR方法，其特征在于：通过改进深度卷积网络提取图像深度特征，然后通过采用非线性检索ANN搜索策略的基于倒排索引的乘积量化IVPQ算法的索引检索模块编码压缩图像特征数据，并生成基于Faiss框架的动态索引数据库的索引，通过特征向量编码对全索引库的数据空间进行分割，进行查询图片的检索时，通过汉明距离重排，快速锁定某一子空间再进行遍历，并输出检索图像。/n

【技术特征摘要】
1.一种基于改进乘积量化PQ算法的基于内容的图像检索CBIR方法，其特征在于：通过改进深度卷积网络提取图像深度特征，然后通过采用非线性检索ANN搜索策略的基于倒排索引的乘积量化IVPQ算法的索引检索模块编码压缩图像特征数据，并生成基于Faiss框架的动态索引数据库的索引，通过特征向量编码对全索引库的数据空间进行分割，进行查询图片的检索时，通过汉明距离重排，快速锁定某一子空间再进行遍历，并输出检索图像。


2.根据权利要求1所述的一种基于改进PQ算法的CBIR方法，其特征在于：所述IVPQ算法分为索引构建与非线性检索查询，记X＝[x1,x2,...,xN]∈RN×Ω为训练样本集的特征向量数据集矩阵，其中Ω为训练样本数据维度，N为训练样本集的样本个数，查询样本为xq；
所述索引构建具体为：
进行编码预处理：对训练样本特征向量数据集X进行K-Means聚类算法，得到M个样本聚类中心C＝[c1,c2,...,cM]∈RM×Ω，设ci＝NNC(xi)表示训练样本数据特征向量xi最近的样本聚类中心，两两相减得到残差向量组R，R表示公式为：
R＝[r1,r2,...,ri,...,rN]∈RN×Ω
ri＝|xi-ci|(2)
对残差向量ri的维度空间Ω进行P平分，记ri＝[ri,1,ri,2,...,ri,j,...,ri,P]∈R1×Ω且ω1+...+ωj+...+ωP＝Ω,并分别对不同子空间内所有训练样本的残差子向量进行K-Means聚类生成聚类中心个数一致的码本集CΩ，CΩ表示公式如下：






其中，为训练样本残差向量组R的维度空间Ω被平分后形成的第j个维度子空间的码本(聚类集)，P为Ω平分后的维度子空间的个数；为中的第k个聚类中心，M'为每个子空间的聚类中心个数，且满足M'＝2p，2p为IVPQ二进制编码位数；
利用CΩ对ri进行IVPQ编码，每个样本残差向量ri由其P个残差子向量对应的聚类中心的ID号来表示，生成训练样本IVPQ编码集S，S表示公式如...

【专利技术属性】
技术研发人员：曾浩，高凡，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50