一种基于稀疏表示的近似图像重复检测方法技术

本发明专利技术公开了一种基于稀疏表示的近似重复图像检测方法，该方法基于hadoop分布式计算框架提出，该检测方法包括如下步骤，先获取图像集I,其中中所有图像的稀疏编码为g′；提取g′中非零元素，将图像Ii的稀疏编码gi′散列到非零元素的下标对应的组中，计算每个Reduce函数中每对图像<Iw,Iz>稀疏编码的相似度Y，若Y大于0.7，则输出相似图像对<Iw,Iz>；将具有图像Iw的相似图像对合并，生成相似图像子集。本发明专利技术通过并行化的计算方式大大提高了针对大规模数据集KMeans聚类算法的计算效率，并引入稀疏表示理论，具有更快的实现方法不需要过多的求解优化过程。

【技术实现步骤摘要】

本专利技术属于图像近似重复检测领域，涉及一种基于稀疏表示的并行化的图像近重复检测方法，可以高效并准确的对海量图像集提取近重复图像集合。
技术介绍
随着移动互联网和数码相机的发展，人们越来越多的将拍摄的多媒体数据分享到互联网上，由于拍摄者的位置、拍摄的对象、角度的相同，从而导致了互联网上出现了大量的相似的图片。通过提取这些相似图像集不仅可以对图像检索结果进行去重过滤，同时在许多图像处理领域如图像聚类、图像识别、图像分类等也是重要一步。通常近似重复图像是由某幅原图像通过某些近似重复图像变换得到的，一般可以产生近似重复图像的变换包括平移、缩放、选择、图像色调的变化、添加文字、格式变化、分辨率变化等等。而近重复图像检测是指给定查询图像，在数据集中找到与此图像的近重复图像，或是提取出数据集中所有近重复图像子集。目前，大多数的近重复图像检测是采用Bag-of-words和LSH方法构建系统。Bag-of-words模型是将每幅图像的局部特征利用训练好的字典映射为一个视觉词频直方图向量。基于Bag-of-words的图像表示模型方法一般包括3部分：1)提取图像的局部特征；2)通过聚类图像集的局部特征，构建视觉字典；3)映射每幅图的局部向量为一个词频直方图。LSH(Locality-SensitiveHashing)是一种对高维数据建立索引的随机方法，以一定的查找准确率为代价，在高维数据空间中进行近似线性的查找，返回查询数据的近似最近邻数据。它的基本思想是通过一组哈希函数将输入数据点映射到各个桶中，并保证近邻的数据点以较大的概率映射到同一个桶中，相距较远的数据点以较小的概率映射到同一个桶中，这样一个查询数据点所在桶中的其它数据点就可以被看做是这个查询数据的近邻点。然而由于BOW模型对于局部特征过于严格的界定和LSH以准确度换效率的特性往往导致检测的结果无法让人满意。此外，已有的近重复图像检测系统一般是采用单节点进行运算，随着数据量爆炸式的增长，单节点系统已经远远不能满足目前的应用需要。因此，多节点的并行计算就成为了必然选择，在众多的分布式框架中，以HADOOP系统最为稳定和高效。
技术实现思路
针对上述现有技术中存在的问题，本专利技术的目的在于，提出一种针对大规模图像集的基于稀疏表示的分布式图像近似重复集提取系统及方法。该方法不仅能够提升处理大规模图像集的效率，并且与传统方法相比可以有效的提高检测结果的正确率。为了实现上述任务，本专利技术采用以下技术方案：一种基于稀疏表示的近似重复图像检测方法，该方法基于hadoop分布式计算框架提出，该检测方法包括如下步骤，获取图像集I中所有图像的IDF加权稀疏编码g′，其中I＝(I1,I2,...,Ii,...，Iw,…,Iz,…,IR)，Ii的IDF加权稀疏编码为gi′，gi′∈g′,i为大于等于1的自然数，w为大于i的自然数,z为大于w的自然数,R为大于z的自然数,其特征在于，方法还包括：(1)提取图像Ii的IDF加权稀疏编码gi′中的非零元素；gik′∈gi′，k为大于等于1的自然数，gi′内的非零元素为(giu′,...，giv′)，设非零元素为m个，m为大于等于1的自然数，m≤k,giu′≠0,giv′≠0,u为大于等于1的自然数，v大于等于1的自然数，k>v>u；(2)建立k个组，分别命名为:其中，为空矩阵；(3)利用(式1)的矩阵变换，将图像Ii的IDF加权稀疏编码gi′分别散列到非零元素的下标(u,...,v)对应的m个组里；(4)利用计算步骤(3)所得m组中的每个组中每对图像<Ii,Ij>IDF加权稀疏编码的相似度Y，若Y大于0.7，则图像<Ii,Ij>为相似图像对；其中，j为大于等于1的自然数，且i≠j；g'i和g'j分别表示图像Ii和Ij的IDF加权稀疏编码；(5)将步骤(4)所得结果中具有相同图像的相似图像对合并，生成相似图像子集。进一步地，所述获取图像集I中所有图像的IDF加权稀疏编码g′，包括以下步骤：并行化提取每副图像的局部特征，得到图像集I中所有图像的局部特征S；提取图像聚类中心，得到特征字典E；计算E中每个聚类中心权重；根据E中每个聚类中心权重，提取图像的IDF加权稀疏编码g′。进一步地，所述并行化提取图像局部特征为提取图像集I所有图像的SIFT特征。进一步地，所述提取所有图像的SIFT特征，具体步骤为：将图像集I中每副图像Ii的大小标准化并灰度处理，得到标准大小的灰度图像集；其中，I＝(I1,I2,...,Ii,...,Iw,…,Iz,…,IR)；将标准大小的灰度图像集分割给各集群结点，并行化提取每个图像的SIFT特征，所有图像的SIFT特征表示为S，其中Sa∈S，Sa代表向量,a为大于等于1的自然数，第Ii个图像的SIFT特征为Fi，其中Fib∈Fi，Fib代表向量，b为大于等于1的自然数。进一步地，所述提取图像聚类中心，具体步骤为：(11)计算Sa到聚类中心Ad的欧式距离，将Sa作为value，将到Sa欧氏距离最近的聚类中心作为key值；Adk∈Ad，d为大于等于0的非负整数，k为大于等于1的自然数，Adk代表向量；从S中随机选取额的k个SIFT特征作为初始k个聚类中心,形成初始聚类中心集合A0，A0k∈A0；(21)求取key值相同的Sa的平均值，d＝d+1，将各平均值作为新的聚类中心Ad；(31)计算新的聚类中心Ad与上一次循环的聚类中心Ad-1的欧氏距离均值，若该欧氏距离均值＞0.05，则跳回至步骤(11)执行；若该欧氏距离均值＜0.05，则新的聚类中心Ad作为图像集I的特征字典E输出，其中Ek∈E，k为大于等于1的自然数，Ek为向量，所述特征字典E即为图像聚类中心。进一步地，所述计算E中每个聚类中心权重，具体步骤为：采用计算E中每个聚类中心权重，其中：D为S中所有SIFT特征的总数，D为大于等于1的自然数，表示归属于Ek中心的所有SIFT特征总数。进一步地，所述提取IDF加权图像稀疏编码，具体步骤为：分别计算图像Ii中每个特征向量Fib与特征字典E的欧氏距离h，其中Ek∈E，hk∈h＝(h1,h2,...,)，k为大于等于1的自然数，从E中选取hk最小的m个Ek，组成特征字典E′，E′＝(Ef，...，Eg)，其中E′中有m个向量，f为大于等于1的自然数，g为大于等于1的自然数，g＞f；利用Cib＝(E′-1FibT)(E′-1FibT)T计算Fib与特征字典E′的平方差矩阵Cib；计算Fib在特征字典E′中的稀疏编码cib，其中hm′∈h′＝(h1′,h2′,…,)为特征向量Fib分别到E′中视觉词的欧氏距离，diag(h′)表示将向量h′的元素作为矩阵的主对角线；提取cib中的k个最大值，得到图像Ii的图像稀疏编码gi，其中gik∈gi；根据对图像稀疏编码gi进行逆向视觉词频加权归一化，得到IDF加权稀疏编码g′。本专利技术的有益效果是：(1)本专利技术通过MapReduce并行方式运行KMeans算法在线学习过完备字典特征，使其尽可能地提取全局特征结构，从而可以从过完备字典中找到具有最具表征能力的原子组合来表示图像特征。在线字典学习通过每次迭代MapReduceJop，并根据设定阈值判断终止，这种并本文档来自技高网...

【技术保护点】
一种基于稀疏表示的近似重复图像检测方法，该方法基于hadoop分布式计算框架提出，该检测方法包括如下步骤，获取图像集I中所有图像的IDF加权稀疏编码g′，其中I＝(I1,I2,...,Ii,...，Iw,…,Iz,…,IR)，Ii的IDF加权稀疏编码为gi′，gi′∈g′,i为大于等于1的自然数，w为大于i的自然数,z为大于w的自然数,R为大于z的自然数,其特征在于，方法还包括：(1)提取图像Ii的IDF加权稀疏编码gi′中的非零元素；gik′∈gi′，k为大于等于1的自然数，gi′内的非零元素为(giu′,...，giv′)，设非零元素为m个，m为大于等于1的自然数，m≤k,giu′≠0,giv′≠0,u为大于等于1的自然数，v大于等于1的自然数，k>v>u；(2)建立k个组，分别命名为:其中，为空矩阵；(3)利用(式1)的矩阵变换，将图像Ii的IDF加权稀疏编码gi′分别散列到非零元素的下标(u,...,v)对应的m个组里；(4)利用计算步骤(3)所得m组中的每个组中每对图像<Ii,Ij>IDF加权稀疏编码的相似度Y，若Y大于0.7，则图像<Ii,Ij>为相似图像对；其中，j为大于等于1的自然数，且i≠j；g'i和g'j分别表示图像Ii和Ij的IDF加权稀疏编码；(5)将步骤(4)所得结果中具有相同图像的相似图像对合并，生成相似图像子集。...

【技术特征摘要】
1.一种基于稀疏表示的近似重复图像检测方法，该方法基于hadoop分布式计算框架提出，该检测方法包括如下步骤，获取图像集I中所有图像的IDF加权稀疏编码g′，其中I＝(I1,I2,...,Ii,...，Iw,…,Iz,…,IR)，Ii的IDF加权稀疏编码为gi′，gi′∈g′,i为大于等于1的自然数，w为大于i的自然数,z为大于w的自然数,R为大于z的自然数,其特征在于，方法还包括：(1)提取图像Ii的IDF加权稀疏编码gi′中的非零元素；gik′∈gi′，k为大于等于1的自然数，gi′内的非零元素为(giu′,...，giv′)，设非零元素为m个，m为大于等于1的自然数，m≤k,giu′≠0,giv′≠0,u为大于等于1的自然数，v大于等于1的自然数，k>v>u；(2)建立k个组，分别命名为:其中，为空矩阵；(3)利用(式1)的矩阵变换，将图像Ii的IDF加权稀疏编码gi′分别散列到非零元素的下标(u,...,v)对应的m个组里；(4)利用计算步骤(3)所得m组中的每个组中每对图像<Ii,Ij>IDF加权稀疏编码的相似度Y，若Y大于0.7，则图像<Ii,Ij>为相似图像对；其中，j为大于等于1的自然数，且i≠j；g'i和g'j分别表示图像Ii和Ij的IDF加权稀疏编码；(5)将步骤(4)所得结果中具有相同图像的相似图像对合并，生成相似图像子集。2.如权利要求1所述基于稀疏表示的近似重复图像检测方法，其特征在于，所述获取图像集I中所有图像的IDF加权稀疏编码g′，包括以下步骤：并行化提取每副图像的局部特征，得到图像集I中所有图像的局部特征S；提取图像聚类中心，得到特征字典E；计算E中每个聚类中心权重；根据E中每个聚类中心权重，提取图像的IDF加权稀疏编码g′。3.如权利要求2所述基于稀疏表示的近似重复图像检测方法，其特征在于，所述并行化提取图像局部特征为提取图像集I所有图像的SIFT特征。4.如权利要求3所述基于稀疏表示的近似重复图像检测方法，其特征在于，所述提取所有图像的SIFT特征，具体步骤为：将图像集I中每副图像Ii的大小标准化并灰度处理，得到标准大小的灰度图像集；其中，I＝(I1,I2,...,Ii,...,Iw,…,Iz,…,IR)；将标准大小的灰度图像集分割给各集群结点，并行化提取每个图像的SIFT特征，所有图像的SIF...

【专利技术属性】
技术研发人员：赵万青，罗迒哉，范建平，彭进业，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61