基于权重自学习超图和多元信息融合的图像检索方法技术

本发明专利技术公开了一种基于权重自学习超图和多元信息融合的图像检索方法，首先，提取图像库中图像的多元特征并构建不同特征空间的距离矩阵；之后利用图像间的距离关系将图像数据库用超图结构表示，并计算超图的各项参数；然后针对特定的检索示例图像，根据图像库中图像与示例图像间的语义空间距离计算初始标签向量，用一个归一化框架融合超图结构中图像之间的关联性、图像排序结果与初始标签向量的一致性，以及超图中超边权重的自学习性，并用归一化参数调节上述三项的影响；最后用一种交替优化算法求解归一化框架中的最优化问题，在完成对超边权重自学习更新的同时得到针对示例图像的最优化检索排序结果。

【技术实现步骤摘要】
基于权重自学习超图和多元信息融合的图像检索方法
本专利技术涉及一种计算机
的图像检索排序算法，具体为一种基于权重自学习超图和多元信息融合的图像检索方法。
技术介绍
近年来，随着互联网技术和多媒体技术的迅速发展，网络多媒体数据在因特网中呈现爆炸式增长，社交网站和多媒体分享网站每天都有数以亿计的网络图片被上传和分享。海量规模的网络图像在提供大量信息的同时，也成为图像数据有效组织和管理的难点所在。因此如何对急速增长的网络图像数据进行高效而准确的检索以返回用户感兴趣的结果，成为多媒体领域众多实际应用的核心问题。传统的图像检索方法，大都只基于图像的底层特征，对图像进行视觉特征提取后，用图像的视觉特征相似度进行检索排序。然而，一个严峻的问题是图像底层的视觉特征与高层语义之间存在着语义鸿沟，用户对图像的理解或检索意图无法用图像的底层视觉特征来完全表达。近几年出现的网络图片中的用户生成标签在一定程度上解决了这种问题，目前大多数社交媒体网站或者网络相册网站都允许用户为网站上的图片添加用户标注信息来从语义层面描述图片，例如Flickr网。图像检索技术也因此由仅基于底层视觉信息向同时基于底层视觉信息和高层语义信息的方向发展。Liu等人于2009年发表在《IEEEInternationalConferenceonMultimediaandExpo》(国际电子电气工程师协会多媒体展会)上的文章“Tagqualityimprovementforsocialimages”中就根据图像和用户生成标签之间的相关性提出了一种相关性排序算法，该方法同时利用了图像的底层视觉信息和高层语义信息。虽然同时利用图像视觉信息和语义信息为网络图像检索提供了重要手段，然而现有的方法普遍存在如下两个问题：首先网络图像的标签信息由各式各样的用户提供，其中存在很多与被标注图像完全不相干的“噪声”标签，而且用户生成标签中也经常会出现错误的拼写，这使得同时利用视觉和语义信息的图像检索算法在实际应用在并不能达到令人满意的效果。其次，现有算法大都只是将视觉信息和语义信息分开处理后再对结果进行融合，并没有同时利用两种信息去挖掘图像间的深层次联系。随着以智能手机为主的移动设备的兴起，移动终端已经成为人们访问社交网站和多媒体网站的主要平台。移动终端拍摄和上传的图片被加上了地理标注信息，地理标注信息反映了图片被拍摄或上传的地理位置。同一地理位置拍摄的图片在语义上也存在着某种关联性，合理利用这种地理标注信息可以作为传统视觉信息或语义信息的有效补充。因此，本专利技术对视觉信息、语义信息以及地理标注信息这三种信息进行多元融合分析，在解决“语义鸿沟”问题的同时，为语义准确度存在不确定性的用户标签提供了有效的补充。图模型因为能够有效利用图像数据间的结构化信息，综合考虑图像在不同特征空间内的关联性，逐渐成为图像检索领域的一个热点。Zhou等人于2006年发表在《NeuralInformationProcessingSystemsConference》(神经信息处理系统会议)上的“Learningwithhypergraphs:Clustering,Classification,andEmbedding”一文中提出了一种基于超图模型的数据分析方法，与简单图模型只能考虑数据对之间的成对关联性信息不同，超图模型能够结合多元信息对数据进行高层结构表示，从而对数据间的关联性进行深层次挖掘。但此方法在构建超图结构时，为超图中的每条超边分配的权重固定不变，因此超图结构无法根据具体的分析对象做出相应的调整。为了深度挖掘图像数据在视觉空间、语义空间和地理空间内的多元关联性，并根据具体检索示例图像做出自适应调整，本专利技术利用权重自学习超图模型构建图像数据库中图像间的高层关联结构，在完成图像检索排序的同时，将超图结构内的超边权重自学习地更新为相对最优，从而提高图像检索方法的鲁棒性和准确性。
技术实现思路
本专利技术的目的为了解决现有技术中的问题，提供一种基于权重自学习超图和多元信息融合的图像检索方法，利用权重自学习超图结构对网络图像的视觉信息、语义信息和地理标注信息进行多元融合分析，从而提升现有图像检索方法的鲁棒性和准确性。本专利技术采用以下技术方案：一种基于权重自学习超图和多元信息融合的图像检索方法，包括以下步骤：步骤1：提取图像多元特征：对图像库中的每一幅网络图片，分别提取其视觉空间特征、语义空间特征、地理空间特征；步骤2：构建距离矩阵：根据三种不同特征空间内的特征提取结果，应用不同空间的距离度量方式，分别计算图像库中任意两幅图像在视觉空间、语义空间、地理空间之间的距离，为整个图像库构建视觉空间距离矩阵、语义空间距离矩阵、地理空间距离矩阵；步骤3：构建超图超边：将图像库中每一幅图片作为超图的一个顶点，在三种不同特征空间内分别为每个顶点寻找其K近邻顶点，构成三个包含K+1顶点的集合，将每个顶点集合作为超图的一个超边，共生成3×|V|条超边，|V|为顶点个数；步骤4：计算超图关联矩阵和超边初始权重：利用超图中超边与顶点的关系计算超图的关联矩阵H，再利用关联矩阵H和三种特征空间的距离矩阵计算得到超图中每条超边的初始权重，得到包含所有超边权重的对角矩阵W；步骤5：计算超图的顶点度矩阵、超边度矩阵和拉普拉斯矩阵：计算超图中每个顶点的度d(v)和每条超边的度δ(e)：d(v)＝∑e∈Ew(e)h(v,e)δ(e)＝∑v∈Vh(v,e)其中h(v,e)为关联矩阵H中顶点v和超边e对应的值，而w(e)为超边e的权重；本质上，顶点的度为关联矩阵H对应行的加权求和，超边的度为关联矩阵H对应列的求和；之后定义包含超图中所有顶点度d(v)的对角矩阵Dv为顶点度矩阵，包含超图中所有超边度δ(e)的对角矩阵De为超边度矩阵；最后利用超图的关联矩阵H、顶点度矩阵Dv、超边度矩阵De、超边权重矩阵W共同计算得到超图的拉普拉斯矩阵：定义矩阵超图的拉普拉斯矩阵定义为：Δ＝I-Θ，其中I为|V|×|V|的单位矩阵；步骤6：同时进行超边权重自学习更新和相关性检索排序：针对特定示例图像，根据图像库中每幅图像与示例图像之间的语义空间距离，得到图像库中每幅图像的初始标签，并构成整个图像库的|V|×1维初始标签向量y；利用一个归一化框架融合超图结构中图像之间的关联性、图像排序结果与初始标签向量y的一致性，以及超图中超边权重的自学习性，该归一化框架定义为：其中，用矩阵形式来表示可以写为Ω(f)＝fTΔf，f为需要学习得到的检索排序相似度向量，μ和ξ为两个正的归一化参数，ne为超图中超边的总数；超边权重自学习更新和相关性检索排序可以视为同时寻找满足上述归一化框架的最优的超边权重矩阵W和检索排序相似度向量f，即解决归一化框架中提出的同时优化问题；步骤7：返回检索结果：返回归一化框架中最优的检索相似度向量f*，按照f*中相似度大小对图像库中的图像进行排序，得到最终的检索结果。进一步地，步骤1中所述的视觉空间特征、语义空间特征和地理空间特征，其具体提取过程如下：步骤1.1：视觉空间特征提取方法如下：采用Gist特征来描述图像的视觉特性，对图像用4尺度8方向的Gabor滤波器组进行滤波，提取图像不同频率和方向上的信息；将滤波后的图像组划分成4×4规则网格，对每个网本文档来自技高网...

【技术保护点】
一种基于权重自学习超图和多元信息融合的图像检索方法，其特征在于，包括以下步骤：步骤1：提取图像多元特征：对图像库中的每一幅网络图片，分别提取其视觉空间特征、语义空间特征、地理空间特征；步骤2：构建距离矩阵：根据三种不同特征空间内的特征提取结果，应用不同空间的距离度量方式，分别计算图像库中任意两幅图像在视觉空间、语义空间、地理空间之间的距离，为整个图像库构建视觉空间距离矩阵、语义空间距离矩阵、地理空间距离矩阵；步骤3：构建超图超边：将图像库中每一幅图片作为超图的一个顶点，在三种不同特征空间内分别为每个顶点寻找其K近邻顶点，构成三个包含K+1顶点的集合，将每个顶点集合作为超图的一个超边，共生成3×|V|条超边，|V|为顶点个数；步骤4：计算超图关联矩阵和超边初始权重：利用超图中超边与顶点的关系计算超图的关联矩阵H，再利用关联矩阵H和三种特征空间的距离矩阵计算得到超图中每条超边的初始权重，得到包含所有超边权重的对角矩阵W；步骤5：计算超图的顶点度矩阵、超边度矩阵和拉普拉斯矩阵：计算超图中每个顶点的度d(v)和每条超边的度δ(e)：d(v)＝∑e∈Ew(e)h(v,e)δ(e)＝∑v∈Vh(v,e)其中h(v,e)为关联矩阵H中顶点v和超边e对应的值，而w(e)为超边e的权重；本质上，顶点的度为关联矩阵H对应行的加权求和，超边的度为关联矩阵H对应列的求和；之后定义包含超图中所有顶点度d(v)的对角矩阵Dv为顶点度矩阵，包含超图中所有超边度δ(e)的对角矩阵De为超边度矩阵；最后利用超图的关联矩阵H、顶点度矩阵Dv、超边度矩阵De、超边权重矩阵W共同计算得到超图的拉普拉斯矩阵：定义矩阵超图的拉普拉斯矩阵定义为：Δ＝I‑Θ，其中I为|V|×|V|的单位矩阵；步骤6：同时进行超边权重自学习更新和相关性检索排序：针对特定示例图像，根据图像库中每幅图像与示例图像之间的语义空间距离，得到图像库中每幅图像的初始标签，并构成整个图像库的|V|×1维初始标签向量y；利用一个归一化框架融合超图结构中图像之间的关联性、图像排序结果与初始标签向量y的一致性，以及超图中超边权重的自学习性，该归一化框架定义为：argminf,W{Ω(f)+μ||f-y||2+ξ||W||2}]]>s.t.Σi=1newi=1,0≤wi≤1]]>其中，Ω(f)=12Σe∈EΣu,v∈ew(e)h(u,e)h(v,e)δ(e)(f(u)d(u)-f(v)d(v))2,]]>用矩阵形式来表示可以写为Ω(f)＝fTΔf，f为需要学习得到的检索排序相似度向量，μ和ξ为两个正的归一化参数，ne为超图中超边的总数；超边权重自学习更新和相关性检索排序视为同时寻找满足上述归一化框架的最优的超边权重矩阵W和检索排序相似度向量f，即解决归一化框架中提出的同时优化问题；步骤7：返回检索结果：返回归一化框架中最优的检索相似度向量f*，按照f*中相似度大小对图像库中的图像进行排序，得到最终的检索结果。...

【技术特征摘要】
1.一种基于权重自学习超图和多元信息融合的图像检索方法，其特征在于，包括以下步骤：步骤1：提取图像多元特征：对图像库中的每一幅网络图片，分别提取其视觉空间特征、语义空间特征、地理空间特征；步骤2：构建距离矩阵：根据三种不同特征空间内的特征提取结果，应用不同空间的距离度量方式，分别计算图像库中任意两幅图像在视觉空间、语义空间、地理空间之间的距离，为整个图像库构建视觉空间距离矩阵、语义空间距离矩阵、地理空间距离矩阵；步骤3：构建超图超边：将图像库中每一幅图片作为超图的一个顶点，在三种不同特征空间内分别为每个顶点寻找其K近邻顶点，构成三个包含K+1顶点的集合，将每个顶点集合作为超图的一个超边，共生成3×|V|条超边，|V|为顶点个数；步骤4：计算超图关联矩阵和超边初始权重：利用超图中超边与顶点的关系计算超图的关联矩阵H，再利用关联矩阵H和三种特征空间的距离矩阵计算得到超图中每条超边的初始权重，得到包含所有超边权重的对角矩阵W；步骤5：计算超图的顶点度矩阵、超边度矩阵和拉普拉斯矩阵：计算超图中每个顶点的度d(v)和每条超边的度δ(e)：d(v)＝Σe∈Ew(e)h(v,e)δ(e)＝Σv∈Vh(v,e)其中h(v,e)为关联矩阵H中顶点v和超边e对应的值，而w(e)为超边e的权重；本质上，顶点的度为关联矩阵H对应行的加权求和，超边的度为关联矩阵H对应列的求和；之后定义包含超图中所有顶点度d(v)的对角矩阵Dv为顶点度矩阵，包含超图中所有超边度δ(e)的对角矩阵De为超边度矩阵；最后利用超图的关联矩阵H、顶点度矩阵Dv、超边度矩阵De、超边权重矩阵W共同计算得到超图的拉普拉斯矩阵：定义矩阵超图的拉普拉斯矩阵定义为：Δ＝I-Θ，其中I为|V|×|V|的单位矩阵；步骤6：同时进行超边权重自学习更新和相关性检索排序：针对特定示例图像，根据图像库中每幅图像与示例图像之间的语义空间距离，得到图像库中每幅图像的初始标签，并构成整个图像库的|V|×1维初始标签向量y；利用一个归一化框架融合超图结构中图像之间的关联性、图像排序结果与初始标签向量y的一致性，以及超图中超边权重的自学习性，该归一化框架定义为：其中，用矩阵形式来表示可以写为Ω(f)＝fTΔf，f为需要学习得到的检索排序相似度向量，μ和ξ为两个正的归一化参数，ne为超图中超边的总数；超边权重自学习更新和相关性检索排序视为同时寻找满足上述归一化框架的最优的超边权重矩阵W和检索排序相似度向量f，即解决归一化框架中提出的同时优化问题；步骤7：返回检索结果：返回归一化框架中最优的检索相似度向量f*，按照f*中相似度大小对图像库中的图像进行排序，得到最终的检索结果。2.根据权利要求1所述的一种基于权重自学习超图和多元信息融合的图像检索方法，其特征在于：步骤1中所述的视觉空间特征、语义空间特征和地理空间特征，其具体提取过程如下：步骤1.1：视觉空间特征提取方法如下：采用Gist特征来描述图像的视觉特性，对图像用4尺度8方向的Gabor滤波器组进行滤波，提取图像不同频率和方向上的信息；将滤波后的图像组划分成4×4规则网格，对每个网格内的滤波结果值取均值，并将不同尺度、不同方向的结果进行级联，得到一个512维的Gist特征向量作为图像的视觉空间特征；步骤1.2：语义空间特征提取方法如下：对每幅图像由用户生成的原始标签集Ti＝{t1,t2,…,tm}进行预处理，滤除存在拼写错误或者不具备语义信息的标签；对图像库中所有出现过的标签进行出现频率统计，将在整个图像库中出现频率小于等于3次的标签删除，构成图像库的特异性标签字典；对每幅图像的标签集与特异性标签字典求交集，得到每幅图像最终的标签集Ti′，用该标签集作为图像的语义空间特征；步骤1.3：地理空间特征提取方法如下：对每幅图像的地理标注信息进行解读，读取图像库中每幅图像的拍摄地点坐标，保留该地理坐标的经度和纬度作为图像的地理空间特征。3.根据权利要求1所述的一种基于权重自学习超图和多元信息融合的图像检索方法，其特征在于：步骤2中所述的应用不同空间的距离度量方式，分别计算图像库中任意两幅图像在视觉空间、语义空间、地理空间之间的距离，为整个图像库构建视觉空间距离矩阵、语义空间距离矩阵、地理空间距离矩阵，其具体实现步骤如下：步骤2.1：视觉空间距离矩阵计算：设两幅图像的视觉特征向量分别为Gisti和Gistj，用欧式距离度量两视觉特征向量之间的距离：设V表示图像库集合，|V|表示图像库中的图像数量，用|V|×|V|矩阵Dvisual存储图像库中任意两幅图像之间的视觉空间距离：Dvisual(i,j)＝d(Gisti,Gistj)步骤2.2：语义空间距离矩阵计算：设两幅图像的语义特征分别为标签集Ti′和Tj′，用Jaccard相似性系数度量两标签集之间的距离：其中|Ti′∩Tj′|表示两标签集求交集后包含的标签个数，|Ti′∪Tj′|表示两标签集求并集后所包含的标签个数；在完成图像库中所有图像间的语义空间距离计算后，用|V|×|V|矩阵Dtag存储图像库中任意两幅图像之间的语义空间距离：Dtag(i,j)＝d(Ti′,T...

【专利技术属性】
技术研发人员：于慧敏，谢奕，郑伟伟，汪东旭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33