基于语义关系图的图像分类方法技术

本发明专利技术公开的基于语义关系图的图像分类方法，具体为：1)准备图像训练样本集，并根据图像训练样本集构建语义关系图；2)根据图像训练样本集和语义关系图，搭建基于语义关系图的图像分类方法的网络模型；3)构造语义相关性目标函数；4)构造局部几何结构一致性目标函数；5)根据语义相关性目标函数和局部几何结构一致性目标函数，构造总的目标函数；6)根据步骤5)构造的总的目标函数在训练样本集上训练步骤2)所搭建的网络模型；7)将待分类的图像输入到步骤6)训练好的网络模型，在分类层得到该图像的预测类别。该方法能够学习出更具有语义相关性的图像特征向量，且能够显著提高图像分类精度。度。度。

【技术实现步骤摘要】
基于语义关系图的图像分类方法


[0001]本专利技术属于计算机视觉图像分类
，具体涉及一种基于语义关系图的图像分类方法。

技术介绍

[0002]图像分类是指给定一张输入图像，根据图像中所包含的内容将其划分到合适的类别。传统的图像分类方法包括图像特征提取和分类器判别两个阶段。深度卷积神经网络能够从原始图像端到端地学习到适合分类任务的特征向量和分类器。目前最好的图像分类方法都是基于深度卷积神经网络的。尽管深度卷积神经网络在几乎所有图像分类数据集上都取得了目前最好的分类精度，但在具体的实际应用中，分类精度还达不到人们的期望。
[0003]目前大部分提高图像分类精度的方法是通过增加网络模型复杂度或增加有标注训练样本数量来实现的。增加网络模型复杂度将耗费更多的计算资源，影响这些方法在轻型设备及移动终端的使用；对大量训练样本进行人工标注需要耗费大量的人力物力和财力，而且往往还需要相关专业知识。这些通过大模型驱动和大数据驱动的图像分类方法限制了它们的实际应用范围。
[0004]终上所述，如何在不增加网络模型复杂度和有标注训练样本的前提下，提高图像分类精度具有重要的研究意义。

技术实现思路

[0005]本专利技术的目的是提供一种基于语义关系图的图像分类方法，该方法不依赖于深度卷积神经网络结构，能够学习出类别标签的隐语义信息的向量表示，能够学习出更具有语义相关性的图像特征向量，且能够显著提高图像分类精度。
[0006]本专利技术所采用的技术方案是，基于语义关系图的图像分类方法，包括以下步骤：
[0007]1)准备图像训练样本集，并根据图像训练样本集构建语义关系图；
[0008]2)根据图像训练样本集和语义关系图，搭建基于语义关系图的图像分类方法的网络模型；
[0009]3)构造语义相关性目标函数；
[0010]4)构造局部几何结构一致性目标函数；
[0011]5)根据语义相关性目标函数和局部几何结构一致性目标函数，构造总的目标函数；
[0012]6)根据步骤5)构造的总的目标函数在训练样本集上训练步骤2)所搭建的网络模型；
[0013]7)将待分类的图像输入到步骤6)训练好的网络模型，在分类层得到该图像的预测类别。
[0014]本专利技术的特征还在于，
[0015]步骤1)的具体实现方法如下：
[0016]步骤1.1、假定为图像训练样本集，X
i
表示第i个训练样本图像，c
i
∈{l1,l2,
…
,l
C
}表示训练样本图像X
i
的类别标签，{l1,l2,
…
,l
C
}表示图像训练样本集的类别标签集合，l
j
表示训练样本集的第j个类别标签，j＝1,2,
…
,C，C表示训练样本集类别标签的个数，N表示训练样本的总数；
[0017]步骤1.2、构建语义关系图：构建一个无向图其中是顶点集，ε＝{(l
i
,l
j
)|i,j＝1,2,
…
,C}是边集，A＝(a
ij
)
C
×
C
是邻接矩阵，a
ij
表示类别标签l
i
与l
j
之间的相似度，其中，w
i
和w
j
分别表示类别标签l
i
和l
j
的词嵌入向量，exp(
·
)表示指数函数，||
·
||表示向量的模长，参数η大于零，是一个可以调节的参数。
[0018]步骤2)中搭建基于语义关系图的图像分类方法的网络模型的具体实现方法如下：
[0019]选定一个深度卷积神经网络，深度卷积神经网络的最后一层为分类层，将分类层神经元的数目设为C，分类层的激活函数为softmax激活函数；将深度卷积神经网络的倒数第二层作为特征层，特征层前面是若干卷积层；将语义关系图中节点的值设为其对应类别标签的词嵌入向量，然后在语义关系图上通过两层的图卷积网络学习出对应类别标签的隐语义信息的向量表示；本专利技术构造的语义相关性目标函数和局部几何结构一致性目标函数同时作用于特征层和类别标签的隐语义信息的向量表示。
[0020]步骤3)的具体实现方法如下：
[0021]定义训练样本图像X
i
的特征向量为x
i
，即将训练样本图像X
i
输入到步骤2)所搭建的网络模型中在特征层的输出为x
i
，假定特征向量的维数为D；
[0022]在步骤2)所搭建的网络模型中，图卷积网络第一层的输入是语义关系图，语义关系图的每一个节点的值是其对应类别标签的词嵌入向量；第一层图卷积的输出是第二层图卷积的输入，经过第二层图卷积运算，第二层的输出仍是一个图，输出的图中每一个节点的值都是一个D维的向量，表示对应类别标签的隐语义信息的向量表示；
[0023]假定类别标签l
i
的隐语义信息的向量表示为v
li
，采用的语义相关性目标函数L1为：
[0024][0025]其中，表示类别标签c
i
的隐语义信息的向量表示。
[0026]在网络训练过程中，最小化语义相关性目标函数，能够使得网络模型学习出更具有语义相关性的图像特征向量。
[0027]步骤4)的具体实现方法如下：
[0028]采用的构造局部几何结构一致性目标函数为：
[0029][0030]其中，参数σ大于零，是一个可以调节的参数。
[0031]在网络训练过程中，最小化局部几何结构一致性目标函数，能够使得特征空间和隐语义信息的向量表示空间的局部几何结构是一致的，即如果两个图像的隐语义信息的向量表示彼此靠近，那么它们对应的特征向量也应该彼此靠近。
[0032]步骤5)中构造的总的目标函数为：
[0033][0034]其中表示训练样本集的softmax分类损失函数，表示步骤2)所搭建的网络模型的层参数集合，L1和L2分别是语义相关性目标函数和局部几何结构一致性目标函数，参数λ1和λ2均大于零，用于调节上式右边三项之间的平衡。
[0035]本专利技术的有益效果是：
[0036](1)本专利技术方法提出通过图卷积网络学习出类别标签的隐语义信息的向量表示。
[0037](2)本专利技术方法提出的语义相关性目标函数能够使得网络模型学习出更具有语义相关性的图像特征向量。
[0038](3)本专利技术方法提出的局部几何结构一致性目标函数，能够使得特征空间和隐语义信息的向量表示空间的局部几何结构是一致的。
[0039](4)本专利技术方法能够显著提高图像分类精度。
附图说明
[0040]图1是本专利技术基于语义关系图的图像分类方法的网络模型示意图。
具体实施方式<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于语义关系图的图像分类方法，其特征在于，包括以下步骤：1)准备图像训练样本集，并根据图像训练样本集构建语义关系图；2)根据图像训练样本集和语义关系图，搭建基于语义关系图的图像分类方法的网络模型；3)构造语义相关性目标函数；4)构造局部几何结构一致性目标函数；5)根据语义相关性目标函数和局部几何结构一致性目标函数，构造总的目标函数；6)根据步骤5)构造的总的目标函数在训练样本集上训练步骤2)所搭建的网络模型；7)将待分类的图像输入到步骤6)训练好的网络模型，在分类层得到该图像的预测类别。2.根据权利要求1所述的基于语义关系图的图像分类方法，其特征在于，步骤1)的具体实现方法如下：步骤1.1、假定为图像训练样本集，X
i
表示第i个训练样本图像，c
i
∈{l1,l2,
…
,l
C
}表示训练样本图像X
i
的类别标签，{l1,l2,
…
,l
C
}表示图像训练样本集的类别标签集合，l
j
表示训练样本集的第j个类别标签，j＝1,2,
…
,C，C表示训练样本集类别标签的个数，N表示训练样本的总数；步骤1.2、构建语义关系图：构建一个无向图其中是顶点集，是边集，A＝(a
ij
)
C
×
C
是邻接矩阵，a
ij
表示类别标签l
i
与l
j
之间的相似度，其中，w
i
和w
j
分别表示类别标签l
i
和l
j
的词嵌入向量，exp(
·
)表示指数函数，||
·
||表示向量的模长，参数η大于零。3.根据权利要求2...

【专利技术属性】
技术研发人员：石伟伟，张璐鑫，黑新宏，谢国，王晓帆，费蓉，鲁晓锋，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：