基于多特征融合的图像检索方法技术

本发明专利技术公开了一种基于图像多特征融合的图像检索方法，主要用于解决现有技术检索图像准确率低的问题。其实现步骤为：（1）提取待检索图像集合中所有图像的三种视觉特征和语义属性特征；（2）计算待检索图像集合中所有图像间邻接距离矩阵；（3）对查询图像在每一种特征通道进行粗检索；（4）根据每一种特征通道的粗检索结果，分析粗检索结果中图像的语义属性特征，选定参考图像；（5）根据选定的参考图像，计算每一种特征融合模板矩阵；（6）根据得到的融合模板矩阵，得到融合后的距离测度矩阵；（7）根据得到的距离测度矩阵，返回给用户检索的结果。本发明专利技术明显提高了最终图像检索的准确率，可用于图像检索。

【技术实现步骤摘要】
基于多特征融合的图像检索方法
本专利技术属于信息检索
，具体的说是一种针对基于图像多特征融合的图像检索方法，可用于互联网图像检索领域。
技术介绍
当前互联网背景下，诸如Google、ImageSearch、必应等大多数的商业网络图像搜索引擎都是采用基于文本的检索技术，主要是利用诸如标题、图像周围描述文本等标注文字，与查询文本做相似性匹配，利用这种相似性对检索的图像进行检索。然而，由于文本和图像内容之间存在语义鸿沟，单单基于文本检索的技术常常达不到好的效果。另外，由于图像标注存在多义噪音数据，由图像元数据分析得出的图像标签的正确性往往也无法保证。为了提高现存基于文本技术的图像搜索引擎的准确率，近些年来，改善图像检索结果准确率的图像检索技术得到了越来越多的关注。现存的很多图像检索技术大多利用单一类型的图像视觉特征，比如全局特征或是局部特征，通过某些标注样本来度量图像的视觉相似性。这些标注样本可以通过有监督的方法或无监督的方法获得，比如说通过伪相关反馈或者由用户指定来获得。这些标注样本在某些情况下常常被称为查询图像。然而图像间的相似性往往是多角度的，比如说图像间相似的颜色、纹理，彼此出现了相似的物体，反映了相近的视觉语义概念等等。不同的图像视觉特征反映了图像间不同角度的相似性，很多情况下，不同的视觉特征彼此间可以起到互相弥补的作用。这样，通过融合不同的图像视觉特征，就可以根据查询图像特点，综合的描述数据库中待检索的每副图像，从而从图像不同的角度提高在线彼此相似性的测量。现今检索的大多数方法主要是利用多特征学习，采用前期融合或者后期融合的策略。所谓前期融合是指直接利用多种图像视觉特征获得总的图像间相似性测度，而后期融合是指对多种特征所得的检索结果进行融合。尽管现今基于多特征融合的图像检索方法可以在一定程度上改善图像检索排序结果的准确率，但是本质的问题依然存在。不同的检索情况对应不同的视觉特征重要性，直接以固定系数做多特征融合往往难以取得令人满意的图像检索结果。
技术实现思路
为了解决上述问题，本专利技术提供了一种基于多特征融合的图像检索方法，以提高图像的检测准确性。本专利技术首先从图像的语义属性特征出发，分析每一种特征通道检索结果中共现的语义属性模式，进而根据分析出的共现语义属性模式，选择若干参考图像，进而根据选择的参考图像动态地学习计算出每一种特征通道的模板权重矩阵，从而通过特征融合更好地编码每一幅待检索图像和需要检索的图像之间的相似性距离，达到提高图像检索精度的目的。其实现步骤包括如下：1.一种基于多特征融合的图像检索方法，包括如下步骤：（1）提取图像特征：（1a）对待检索图像集合中的所有图像提取8192维视觉词袋词频BoW特征；（1b）对待检索图像集合中的所有图像提取960维GIST特征；（1c）对待检索图像集合中的所有图像提取512维HSV颜色直方图特征；（1d）通过离线训练学习，针对2659种基本语义标签，分别训练2659种语义标签的分类器，对待检索图像集合中的每幅图像，分别用这2659种分类器做预测，并将对应每一种分类器得到的预测分数连成向量，作为该图像的语义属性特征。（2）根据步骤(1a)、（1b）、（1c）得到的三种图像特征，用欧式距离公式分别计算待检索图像集合中所有图像两两之间的相似性距离，分别得到步骤(1a)对应图像特征通道的邻接距离矩阵H1'、步骤(1b)对应图像特征通道的邻接距离矩阵H'2、步骤(1c)对应图像特征通道的邻接距离矩阵H'3，每个矩阵中的每个元素值代表对应图像两两之间用对应特征计算得到的相似性距离；（3）对图像进行粗检索，并选择参考图像：（3a）根据步骤(1a)、（1b）、（1c）得到的图像特征，用欧式距离公式分别计算用户指定的查询图像和待检索图像集合中每幅图像之间在每一种特征通道上的相似性距离，构成对应三种特征通道的三组检索相似性距离向量；（3b）利用上述三种特征通道的三组检索相似性距离向量分别对步骤（2a）得到的图像邻接距离矩阵H1'、H'2、H'3进行扩展，即将对应特征通道的检索相似性距离向量添加到对应矩阵的第一行和第一列，得到分别对应所述三种特征通道的扩展后图像邻接矩阵H1、H2、H3；（3b）按照待检索图像集合中每幅待检索图像和用户给出的查询图像，将每一种特征通道的相似性距离从小到大分别排序，得到分别对应所述三种特征通道的粗检索排序列表l1、l2、l3；（3c）根据步骤（3b）得到的粗检索排序列表l1、l2、l3，选取每一个列表的前k副图像构成目标集合，对于目标集合中的每幅图像按步骤(1d)所述的语义属性特征，将小于0的维度置0，大于0的维度置1，得到目标集合中每幅图像量化后的特征向量，并将所有量化后的特征向量做平均，得到对应的语义属性共现模式向量S；（3d）利用欧氏距离公式，计算数据库中每幅待检索图像语义属性特征与上所述语义属性共现模式向量S的相似性距离，选取相似性距离最小的10幅图像作为参考图像；（4）计算特征融合模板权重矩阵：（4a）定义每一特征通道的检索结构关系函数：其中，A表示参考图像的个数，表示第i幅参考图像的第m种特征表示，表示第j幅参考图像的第m种特征表示，表示用户指定的查询图像的第m种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第j列元素的值，||||2代表矩阵的2-范数；（4b）定义每一特征通道之间的检索结构关系函数：其中，N表示数据库中待检索图像的个数，表示第i幅参考图像的第m种特征表示，表示第i幅参考图像的第m'种特征表示，表示第k幅参考图像的第m种特征表示，表示第k幅参考图像的第m'种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第k列元素的值，表示第m'种特征通道对应的融合模板矩阵wm'第i行第k列元素的值，||||2代表矩阵的2-范数；（4c）优化如下目标函数，得到每一图像特征的融合模板矩阵{wm},m=1...3：其中，λ和γ分别是给定的常数，||||1代表矩阵的1-范数；（5）图像精检索：（5a）根据步骤（3a）得到的图像邻接距离矩阵H1、H2、H3及步骤（4c）得到的每一种图像特征的融合模板矩阵{wm}，计算融合后的图像邻接矩阵H：其中，wm表示第m种特征通道对应的融合模板矩阵，代表矩阵的模板点乘运算；（5b）根据融合后的图像邻接矩阵H，按照其第一行的值从小到大排列，将得到排列结果的前k幅图像作为检索结果返回给用户。本专利技术具有以下优点：1）本专利技术结合图像的语义内容信息，根据每一种视觉特征通道的检索结果计算语义属性共现模式向量，从而自适应地得到参考图像，有效提高了参考图像选择的准确度。2）本专利技术通过构建每一特征通道的检索结构关系函数和每一特征通道之间的检索结构关系函数，自适应地计算出每一种图像特征对应的融合模板权重矩阵，更准确地编码了图像之间的相似度距离，从而有效提高了最终检索的准确度。附图说明图1是本专利技术的实现流程图。具体实施方案以下结合附图对本专利技术的
技术实现思路
及效果做进一步详述：参照图1，本专利技术提取图像特征、图像粗检索及参考图像选择、特征融合模板矩阵计算和图像精检索四部分，具体步骤如下：一、提取图像特征步骤1：对待检索图像集合中的每幅图像，分别提取其8192维的BoW视觉词袋词频特征、960维的GIS本文档来自技高网...

【技术保护点】
一种基于多特征融合的图像检索方法，包括如下步骤：（1）提取图像特征：（1a）对待检索图像集合中的所有图像提取8192维视觉词袋词频BoW特征；（1b）对待检索图像集合中的所有图像提取960维GIST特征；（1c）对待检索图像集合中的所有图像提取512维HSV颜色直方图特征；（1d）通过离线训练学习，针对2659种基本语义标签，分别训练2659种语义标签的分类器，对待检索图像集合中的每幅图像，分别用这2659种分类器做预测，并将对应每一种分类器得到的预测分数连成向量，作为该图像的语义属性特征。（2）根据步骤(1a)、（1b）、（1c）得到的三种图像特征，用欧式距离公式分别计算待检索图像集合中所有图像两两之间的相似性距离，分别得到步骤(1a)对应图像特征通道的邻接距离矩阵H1'、步骤(1b)对应图像特征通道的邻接距离矩阵H'2、步骤(1c)对应图像特征通道的邻接距离矩阵H'3，每个矩阵中的每个元素值代表对应图像两两之间用对应特征计算得到的相似性距离；（3）对图像进行粗检索，并选择参考图像：（3a）根据步骤(1a)、（1b）、（1c）得到的图像特征，用欧式距离公式分别计算用户指定的查询图像和待检索图像集合中每幅图像之间在每一种特征通道上的相似性距离，构成对应三种特征通道的三组检索相似性距离向量；（3b）利用上述三种特征通道的三组检索相似性距离向量分别对步骤（2a）得到的图像邻接距离矩阵H1'、H'2、H'3进行扩展，即将对应特征通道的检索相似性距离向量添加到对应矩阵的第一行和第一列，得到分别对应所述三种特征通道的扩展后图像邻接矩阵H1、H2、H3；（3b）按照待检索图像集合中每幅待检索图像和用户给出的查询图像，将每一种特征通道的相似性距离从小到大分别排序，得到分别对应所述三种特征通道的粗检索排序列表l1、l2、l3；（3c）根据步骤（3b）得到的粗检索排序列表l1、l2、l3，选取每一个列表的前k副图像构成目标集合，对于目标集合中的每幅图像按步骤(1d)所述的语义属性特征，将小于0的维度置0，大于0的维度置1，得到目标集合中每幅图像量化后的特征向量，并将所有量化后的特征向量做平均，得到对应的语义属性共现模式向量S；（3d）利用欧氏距离公式，计算数据库中每幅待检索图像语义属性特征与上所述语义属性共现模式向量S的相似性距离，选取相似性距离最小的10幅图像作为参考图像；（4）计算特征融合模板权重矩阵：（4a）定义每一特征通道的检索结构关系函数：Q(wm)=Σi=1A12(||xi~m-Σj≠iAwijmx~jm||22+xqm-w1imx~im||22),]]>其中，A表示参考图像的个数，表示第i幅参考图像的第m种特征表示，表示第j幅参考图像的第m种特征表示，表示用户指定的查询图像的第m种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第j列元素的值，||||2代表矩阵的2‑范数；（4b）定义每一特征通道之间的检索结构关系函数：R(wm)=Σm′=13Σi=1AΣk=1N-A12(||xi~m-wikmxkm||22-||xi~m′-wikm′xkm′||22),]]>其中，N表示数据库中待检索图像的个数，表示第i幅参考图像的第m种特征表示，表示第i幅参考图像的第m'种特征表示，表示第k幅参考图像的第m种特征表示，表示第k幅参考图像的第m'种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第k列元素的值，表示第m'种特征通道对应的融合模板矩阵wm'第i行第k列元素的值，||||2代表矩阵的2‑范数；（4c）优化如下目标函数，得到每一图像特征的融合模板矩阵{wm},m=1...3：J=minwΣm=1MQ(wm)+λΣm′≠mMR(wm)+γΣm=1M||wm||1,s.t.Σjwij=1,wij≥0]]>其中，λ和γ分别是给定的常数，||||1代表矩阵的1‑范数；（5）图像精检索：（5a）根据步骤（3a）得到的图像邻接距离矩阵H1、H2、H3及步骤（4c）得到的每一种图像特征的融合模板矩阵{wm}，计算融合后的图像邻接矩阵H：H=Σmwm⊗Hm,m=1...3,]]>其中，wm表示第m种特征通道对应的融合模板矩阵，代表矩阵的模板点乘运算；（5b）根据融合后的图像邻接矩阵H，按照其第一行的值从小到大排列，将得到排列结果的前k幅图像作为检索结果返回给用户。...

【技术特征摘要】
1.一种基于多特征融合的图像检索方法，包括如下步骤：(1)提取图像特征：(1a)对待检索图像集合中的所有图像提取8192维视觉词袋词频BoW特征；(1b)对待检索图像集合中的所有图像提取960维GIST特征；(1c)对待检索图像集合中的所有图像提取512维HSV颜色直方图特征；(1d)通过离线训练学习，针对2659种基本语义标签，分别训练2659种语义标签的分类器，对待检索图像集合中的每幅图像，分别用这2659种分类器做预测，并将对应每一种分类器得到的预测分数连成向量，作为该图像的语义属性特征；(2)根据步骤(1a)、(1b)、(1c)得到的三种图像特征，用欧式距离公式分别计算待检索图像集合中所有图像两两之间的相似性距离，分别得到步骤(1a)对应图像特征通道的邻接距离矩阵H1'、步骤(1b)对应图像特征通道的邻接距离矩阵H'2、步骤(1c)对应图像特征通道的邻接距离矩阵H'3，每个矩阵中的每个元素值代表对应图像两两之间用对应特征计算得到的相似性距离；(3)对图像进行粗检索，并选择参考图像：(3a)根据步骤(1a)、(1b)、(1c)得到的图像特征，用欧式距离公式分别计算用户指定的查询图像和待检索图像集合中每幅图像之间在每一种特征通道上的相似性距离，构成对应三种特征通道的三组检索相似性距离向量；(3b)利用上述三种特征通道的三组检索相似性距离向量分别对步骤(2a)得到的图像邻接距离矩阵H1'、H'2、H'3进行扩展，即将对应特征通道的检索相似性距离向量添加到对应矩阵的第一行和第一列，得到分别对应所述三种特征通道的扩展后图像邻接距离矩阵H1、H2、H3；(3d)按照待检索图像集合中每幅待检索图像和用户给出的查询图像，将每一种特征通道的相似性距离从小到大分别排序，得到分别对应所述三种特征通道的粗检索排序列表l1、l2、l3；(3c)根据步骤(3b)得到的粗检索排序列表l1、l2、l3，选取每一个列表的前k副图像构成目标集合，对于目标集合中的每幅图像按步骤(1d)所述的语义属性特征，将小于0的维度置0，大于0的维度置1，得到目标集合中每幅图像量化后的特征向量，并将所有量化后的特征向量做平均，得到对应的语义属性共现模式向量S；(3d)利用欧氏距离公式，计算数据库中每幅待检索图像语义属性特征与上所述语义属性共现模式向量S的相似性距离，选取相似性距离最小的10幅图像作为参考图像；(4)计算特征融合模板权重矩阵：(4a)定义每一特征通道的检索结构关系函数：其中，A表示参考图像的个数，表示第i幅参考图像的第m种特征表示，表示第j幅参考图像的第m种特征表示，表示用户指定的查询图像的第m种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第j列元素的值，||||2代表矩阵的2-范数；(4b)定义每一特征通道之间的检索结构关系函数：其中，N表示数据库中待检索图像的个数，表示第i幅参考图像的第m种特征表示，表示第i幅参考图像的第m'种特征表示，表示第k幅参考图像的第m种特征表示，表示第k幅参考图像的第m'种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第k列元素...

【专利技术属性】
技术研发人员：邓成，王嘉龙，杨延华，李洁，彭海燕，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61