一种无监督的多视图图像的图嵌入方法及系统技术方案

本发明专利技术公开了一种无监督的多视图图像的图嵌入方法及系统，属于多视图图像的图嵌入领域。本发明专利技术无监督的多视图图像的图嵌入方法及系统，在融合多种特征信息的前提下，可以有效处理样本外特征、噪声特征和新特征，学得无标签高维多视图图像的低维嵌入，用于预处理无标签高维多视图图像。本发明专利技术引入的回归项，不仅可以处理异常图像特征和噪声特征，还放宽了严格的线性投影关系，还有助于原始高维图像和低维嵌入之间的相互协作。自适应地为在不同特征上构建的相似度矩阵分配权重，为多种特征学习了一个统一相似度矩阵，该统一相似度矩阵可以更精确地编码各幅图像之间的关系，有助于高质量的图嵌入。量的图嵌入。量的图嵌入。

【技术实现步骤摘要】
一种无监督的多视图图像的图嵌入方法及系统


[0001]本专利技术属于多视图图像的图嵌入领域，尤其是一种无监督的多视图图像的图嵌入方法及系统。

技术介绍

[0002]随着摄像技术和图像采集技术的不断增强，经常使用多种特征从不同角度描述同一幅图像。此类用多种特征描述同一幅图像的数据是多视图图像。近年来，特征维度高的多视图图像在计算机视觉领域迅速增加。在高维度的多视图图像中，不相关或冗余特征会降低多视图学习的质量并消耗更多的存储空间和计算时间，有时还会导致多视图图像分析方法失效。然而，图像特征的“本征维度”通常要低很多。降维技术可以将原始高维特征空间的图像映射到紧凑的低维特征空间，得到高维图像的低维表示。从标签信息的使用情况可以将降维方法分为有监督、半监督和无监督三类。前两类不同程度地依赖标签信息来指导降维，后一类不使用任何标签信息。通常，未标记多视图图像在实际应用中大量存在且易于获取，而人工标记图像费时、费力且成本高昂。因此，多视图无监督降维(Multi
‑
view Unsupervised Dimensionality Reduction，MUDR)的研究可以解决高维度多视图图像的使用问题。
[0003]在过去几十年中，研究者们提出了许多降维方法，代表性的有：线性判别分析(Linear Discriminant Analysis，LDA)、主成分分析(Principal Component Analysis，PCA)、拉普拉斯特征映射(Laplacian Eigenmaps，LE)、局部保持投影(Locality Preserving Projections，LPP)等。然而，这些方法只适用于处理高维单视图图像，用于处理高维多视图图像的降维方法仍然缺乏。因此，迫切需要研究用于降低高维多视图图像特征维度的多视图降维方法。
[0004]多视图图像降维方法需要融合来自多种特征的信息以提高低维特征空间的代表性。常用的多视图融合策略有：贝叶斯推理、神经网络和基于权重的线性融合。贝叶斯推理将特征信息与概率论结合，需要明确定义条件概率和先验知识。神经网络通过复杂的权重和激励函数连接输入节点和输出节点，但很难构建合适的网络结构。线性融合策略为不同图像特征分配权重，但需要确定合适的权重以实现多种特征的最佳融合。尽管这些多视图融合策略在各自的应用中取得了显著的成果，有效地融合多视图信息并学得一个多视图共享的统一模式仍然是一个挑战。
[0005]图嵌入是一种典型的基于图的降维方法。图结构的重要优势是其能够识别任意分布的数据集。通常，基于图的多视图图像降维方法对相似度矩阵进行操作，将高维图像嵌入到可靠的低维子空间，该子空间保留了原始高维图像特征空间的几何结构和统计特征。现有的图嵌入方法分为非线性图嵌入和线性图嵌入两种。非线性图嵌入对拉普拉斯矩阵做特征分解，提取主特征向量作为低维表示。因非线性图嵌入方法无法有效地处理样本外特征和噪声特征，线性图嵌入方法被提出。线性图嵌入方法借助投影矩阵缩小异常特征和噪声特征对低维表示的影响，也可以使用投影矩阵直接将新的图像特征映射到低维特征空间。
但是，真实情景中的多视图图像种类复杂多样，图像的分布特征也无法一概而论，直接的线性映射关系对于真实多视图图像数据集来说，要求太过严格，学习得到的低维表示并不理想。

技术实现思路

[0006]本专利技术的目的在于克服上述现有技术的缺点，提供一种无监督的多视图图像的图嵌入方法及系统。
[0007]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0008]一种无监督的多视图图像的图嵌入方法，包括以下步骤：
[0009]步骤1：获取三视图图像数据集，在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵；
[0010]步骤2：自适应地对构建于各特征的相似度矩阵进行加权，学习得到一个多特征共享的统一相似度矩阵；基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项；
[0011]步骤3：计算图拉普拉斯矩阵；
[0012]步骤4：建立图嵌入模型；
[0013]步骤5：基于低维表示和线性投影关系构建一个回归项，将所述回归项引入图嵌入模型；
[0014]步骤6：以步骤2中的残差项、步骤4中的图嵌入模型和步骤5中的回归项最小为优化目标，构建FMUGE的目标函数；
[0015]步骤7：利用迭代交替优化方法求解目标函数，直至目标函数收敛，输出三视图图像数据集的低维表示，对所述低维表示进行聚类操作，采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数来衡量降维性能。
[0016]进一步的，步骤1具体为：
[0017]获取使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3}；
[0018]其中，表示LBP特征，n为多视图图像数据集所包含的图像总量，表示第i幅图像的LBP特征，i∈1,
…
,n，d1表示LBP特征的维度；表示Gabor特征，表示第i幅图像的Gabor特征，i∈1,
…
,n，d2表示Gabor特征的维度；表示Intensity特征，表示第i幅图像的Intensity特征，d3表示Intensity特征的维度；
[0019]利用高斯核方法为第v种特征构造相似度矩阵
[0020][0021]式中，表示第v种特征中第i幅图像和第j幅图像之间的相似度，j∈1,
…
,n；||
·
||2代表l
‑
2范数；表示的k最近邻样本集；σ是带宽参数，被设置为的k最近邻样本集；σ是带宽参数，被设置为是的第k个最近邻样本。
[0022]进一步的，步骤2具体为：
[0023]在降维过程中自适应地学习权重向量将相似度矩阵A1、A2、A3融合，学得一个多种特征共享的统一相似度矩阵
[0024]引入一个用于模拟S和之间不匹配误差的残差项：
[0025][0026]式(2)中，||
·
||
F
代表l
‑
F范数，S和α被约束为S1＝1,S≥0和α1＝1,α≥0；α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。
[0027]进一步的，步骤3具体为：
[0028]计算图拉普拉斯矩阵L
S
＝D
‑
(S+S
T
)/2；
[0029]其中，D是第i个对角元素为d
ii
＝∑
j
(s
ij
+s
ji
)/2的对角矩阵。
[0030]进一步的，步骤4具体为：
[0031]建立图嵌入模型：
[0032][0033]式中，表示低维表示，m表示低维特征空间的维数，m＜＜d。
[0034]进一步的，步骤5具体为：
[0035]由于从高维数据到低维表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督的多视图图像的图嵌入方法，其特征在于，包括以下步骤：步骤1：获取三视图图像数据集，在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵；步骤2：自适应地对构建于各特征的相似度矩阵进行加权，学习得到一个多特征共享的统一相似度矩阵；基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项；步骤3：计算图拉普拉斯矩阵；步骤4：建立图嵌入模型；步骤5：基于低维表示和线性投影关系构建一个回归项，将所述回归项引入图嵌入模型；步骤6：以步骤2中的残差项、步骤4中的图嵌入模型和步骤5中的回归项最小为优化目标，构建FMUGE的目标函数；步骤7：利用迭代交替优化方法求解目标函数，直至目标函数收敛，输出三视图图像数据集的低维表示，对所述低维表示进行聚类操作，采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数来衡量降维性能。2.根据权利要求1所述的无监督的多视图图像的图嵌入方法，其特征在于，步骤1具体为：获取使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3}；其中，表示LBP特征，n为多视图图像数据集所包含的图像总量，表示第i幅图像的LBP特征，i∈1,
…
,n，d1表示LBP特征的维度；表示Gabor特征，表示第i幅图像的Gabor特征，i∈1,
…
,n，d2表示Gabor特征的维度；表示Intensity特征，表示第i幅图像的Intensity特征，d3表示Intensity特征的维度；利用高斯核方法为第v种特征构造相似度矩阵利用高斯核方法为第v种特征构造相似度矩阵式中，表示第v种特征中第i幅图像和第j幅图像之间的相似度，j∈1,
…
,n；||
·
||2代表l
‑
2范数；表示的k最近邻样本集；σ是带宽参数，被设置为的k最近邻样本集；σ是带宽参数，被设置为是的第k个最近邻样本。3.根据权利要求2所述的无监督的多视图图像的图嵌入方法，其特征在于，步骤2具体为：在降维过程中自适应地学习权重向量将相似度矩阵A1、A2、A3融
合，学得一个多种特征共享的统一相似度矩阵引入一个用于模拟S和之间不匹配误差的残差项：式(2)中，||
·
||
F
代表l
‑
F范数，S和α被约束为S1＝1,S≥0和α1＝1,α≥0；α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。4.根据权利要求3所述的无监督的多视图图像的图嵌入方法，其特征在于，步骤3具体为：计算图拉普拉斯矩阵L
S
＝D
‑
(S+S
T
)/2；其中，D是第i个对角元素为d
ii
＝∑
j
(s
ij
+s
ji
)/2的对角矩阵。5.根据权利要求4所述的无监督的多视图图像的图嵌入方法，其特征在于，步骤4具体为：建立图嵌入模型：式中，表示低维表示，m表示低维特征空间的维数，m＜＜d。6.根据权利要求5所述的无监督的多视图图像的图嵌入方法，其特征在于，步骤5具体...

【专利技术属性】
技术研发人员：张斌，强倩瑶，王飞，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：