一种基于正则化监督损失函数的图像分类方法技术

本发明专利技术属于计算机视觉技术领域，具体涉及一种基于正则化监督损失函数的图像分类方法，该方法首先利用构建好的分类模型对训练图像提取特征，通过网络中的分类器与Softmax层将特征转化为输出概率值；然后基于样本的类别签值计算样本特征之间的监督对比损失函数以及正则化因子，从而得到正则化监督对比损失函数；最后，计算正则化Softmax损失函数和正则化监督对比损失函数的加权和作为总的损失函数对网络中的参数进行优化，利用训练后的网络对测试图像进行分类决策。本发明专利技术公开的方法能够使监督损失函数在训练图像数据集上避免过拟合，从而提高网络的泛化性能。从而提高网络的泛化性能。从而提高网络的泛化性能。

【技术实现步骤摘要】
一种基于正则化监督损失函数的图像分类方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于正则化监督损失函数的图像分类方法。

技术介绍

[0002]图像的自动分类识别是计算机视觉研究领域中的一个重要的基础性课题，其在诸如安防系统的智能监控、零售中的商品识别、交通系统智能监控等社会生活和生产方方面面都发挥着重要作用。近年来，随着大规模的数据以及高性能的计算机的出现，深度学习技术使得该领域取得了长足发展。ImageNet等标准图像测试数据集上的分类性能不断被刷新，甚至已经接近人类识别的性能。
[0003]深度卷积神经网络是深度学习技术中最具代表性的模型之一，同时又是在图像分类领域中被应用最为广泛的模型。这种神经网络模型通过逐层的特征变换来组合低层特征来形成抽象的高层表示，并基于某种损失函数利用梯度下降算法对模型中的大量参数进行优化完成图像的分类识别。在网络结构相同的情况下，如何定义损失函数是提高图像分类识别性能的关键要素。目前，深度卷积网络中最常用的损失函数为Softmax损失函数，该函数将Softmax函数与交叉熵损失函数相结合，通过最小化图像的Softmax类别概率预测值与其标签值之间的差异对网络中的参数进行优化。然而，这种损失函数的缺点在于其更关注于图像类别之间的类间距离，从而忽略了图像样本之间的类内距离。
[0004]为此，Liu等(Liu W,Wen Y,YuZ,et al.Large
‑
Margin Softmax Loss for Convolutional NeuralNetworks[C]//ICML.2016:507
‑
516.)提出L
‑
Softmax损失函数，该方法Softmax损失函数中样本与分类器中的每类权重向量之间距离计算的位置引入间隔参数，从而达到增大类间距离和减小类内距离的目的；Liu等(Liu W,Wen Y,Yu Z,et al.Sphereface:Deep hypersphere embedding for face recognition[C]//The IEEE Conference on Computer Vision and Pattern Recognition，CVPR，2017)提出A
‑
softmax损失函数，该算法对分类器中的权重向量进行了归一化的约束，从而达到增强特征的区分度的目的；Ranjan等(Ranjan R,Castillo C D,Chellappa R.L2
‑
constrained softmax loss for discriminative face verification[J].arXiv preprint arXiv:1703.09507,2017.)又进一步对卷积神经网络中提取的特征进行归一化约束，从而提出L2范数约束的softmax损失函数。最近，Khosla等(P Khosla，P Teterwak，C Wang，A Sarna，Y Tian，P Isola，A Maschinot，C Liu，D Krishnan.Supervised Contrastive Learning.NIPS20.)提出监督对比学习损失函数，该方法通过减小样本特征之间的类内距离和增大类间距离达从而完成网络参数的优化，能够弥补Softmax损失函数的缺点。然而目前的监督损失函数都是从减小经验损失函数的目的出发设计的，存在在训练数据集上过拟合的缺点，从而降低了模型的泛化性能。
[0005]为了解决上述问题，本专利技术提供了一种基于正则化监督损失函数的图像分类方法。

技术实现思路

[0006]针对以上问题，本专利技术提供了一种基于正则化监督损失函数的图像分类方法，在使用监督损失函数对卷积神经网络进行训练时，避免在训练集出现过拟合，提高网络的泛化性能。
[0007]为了实现上述目的，本专利技术采用的技术方案如下：
[0008]一种基于正则化监督损失函数的图像分类方法，包括以下步骤：
[0009]步骤1：分类模型的构建；分类模型由4个特征提取单元、全连接层、分类器以及Softmax层组成；
[0010]步骤2：训练图像的特征提取以及分类；在训练图像数据集中随机选择一批图像依次输入到特征提取单元和全连接层提取图像卷积特征，然后全连接层对卷积特征进行转换，输入到分类器中得到分类分值，最后Softmax层将分类分值转化为概率输出值；
[0011]步骤3：正则化Softmax损失函数的计算；基于步骤2所得的概率输出值与图像真实标签值计算Softmax损失函数以及正则化因子，从而得到正则化Softmax损失函数；
[0012]步骤4，正则化监督对比损失函数的计算；基于样本的类别签值计算样本特征之间的监督对比损失函数以及正则化因子，从而得到正则化监督对比损失函数；
[0013]步骤5：网络的训练与测试；计算正则化Softmax损失函数和正则化监督对比损失函数的加权和作为总的损失函数对网络中的参数进行优化，固定优化后网络中的参数，在线采集图像，输入到网络中得到图像的类别预测值。
[0014]优选地，在步骤1中，分类模型的构建的具体步骤如下：
[0015]S11：分类模型中每个特征提取单元是由卷积残差块和注意力模块组成的，每个特征提取单元中卷积残差块的数目分别为3，4，6，3，每个残差块由3个卷积层组成的，注意力模块采用SENet注意力机制；第一个特征提取单元被表示为R
θ1
(
·
)，每个卷积层中卷积核的数目分别为64，64，256；第二个特征提取单元被表示为R
θ2
(
·
)，每个卷积层中卷积核的数目分别为128，128，512；第三个特征提取单元被表示为R
θ3
(
·
)，每个卷积层中卷积核的数目分别为256，256，1024；第四个特征提取单元被表示为R
θ4
(
·
)，每个卷积层中卷积核的数目分别为512，512，2048，θ1，θ2，θ3，θ4为特征提取单元中参数；
[0016]S12：分类模型中全连接层表示为神经元的数目为1000，将平均池化的卷积特征转化为1000维的特征；
[0017]S13：分类模型中的分类器表示为C
w
(
·
)，将步骤S12中的图像特征转化为分类分值；
[0018]S14：分类模型中的Softmax层表示为S(
·
)，将步骤S13中的分类分值转化为概率输出值。
[0019]优选地，在步骤2中，训练图像的特征提取以及分类过程的具体步骤如下：
[0020]S21：在训练数据集中随机抽取一批图像，该批图像的数目为L，其中任意一幅图像被表示为x
i
，该图像对应的分类标签表示为y
i
；
[0021]S22：将图像x<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于正则化监督损失函数的图像分类方法，其特征在于，包括以下步骤：步骤1：分类模型的构建；分类模型由4个特征提取单元、全连接层、分类器以及Softmax层组成；步骤2：训练图像的特征提取以及分类；在训练图像数据集中随机选择一批图像依次输入到特征提取单元和全连接层提取图像卷积特征，然后全连接层对卷积特征进行转换，输入到分类器中得到分类分值，最后Softmax层将分类分值转化为概率输出值；步骤3：正则化Softmax损失函数的计算；基于步骤2所得的概率输出值与图像真实标签值计算Softmax损失函数以及正则化因子，从而得到正则化Softmax损失函数；步骤4，正则化监督对比损失函数的计算；基于样本的类别签值计算样本特征之间的监督对比损失函数以及正则化因子，从而得到正则化监督对比损失函数；步骤5：网络的训练与测试；计算正则化Softmax损失函数和正则化监督对比损失函数的加权和作为总的损失函数对网络中的参数进行优化，固定优化后网络中的参数，在线采集图像，输入到网络中得到图像的类别预测值。2.根据权利要求1所述的一种基于正则化监督损失函数的图像分类方法，其特征在于，在步骤1中，分类模型的构建的具体步骤如下：S11：分类模型中每个特征提取单元是由卷积残差块和注意力模块组成的，每个特征提取单元中卷积残差块的数目分别为3，4，6，3，每个残差块由3个卷积层组成的，注意力模块采用SENet注意力机制；第一个特征提取单元被表示为R
θ1
(
·
)，每个卷积层中卷积核的数目分别为64，64，256；第二个特征提取单元被表示为R
θ2
(
·
)，每个卷积层中卷积核的数目分别为128，128，512；第三个特征提取单元被表示为R
θ3
(
·
)，每个卷积层中卷积核的数目分别为256，256，1024；第四个特征提取单元被表示为R
θ4
(
·
)，每个卷积层中卷积核的数目分别为512，512，2048，θ1，θ2，θ3，θ4为特征提取单元中参数；S12：分类模型中全连接层表示为神经元的数目为1000，将平均池化的卷积特征转化为1000维的特征；S13：分类模型中的分类器表示为C
w
(
·
)，将步骤S12中的图像特征转化为分类分值；S14：分类模型中的Softmax层表示为S(
·
)，将步骤S13中的分类分值转化为概率输出值。3.根据权利要求1所述的一种基于正则化监督损失函数的图像分类方法，其特征在于，在步骤2中，训练图像的特征提取以及分类过程的具体步骤如下：S21：在训练数据集中随机抽取一批图像，该批图像的数目为L，其中任意一幅图像被表示为x
i
，该图像对应的分类标签表示为y
i
；S22：将图像x
i
输入到分类模型的第一个特征提取单元，得到z
i1
＝R
θ1
(x
i
)，随后将z
i1
输入到第二个特征提取单元得到z
i2
＝R
θ2
(z
i1
)，之后将z

【专利技术属性】
技术研发人员：周伯俊，杨赛，顾菊平，程天宇，赵凤申，蒋凌，赵佳皓，言淳恺，
申请(专利权)人：南通大学，
类型：发明
国别省市：