一种基于混淆样本的图像分类模型优化方法技术

本发明专利技术涉及一种基于混淆样本的图像分类模型优化方法，包括建立CNN特征提取器，利用CNN特征提取器对输入图像进行常规特征、混淆特征的提取，建立CNN特征分类器，利用CNN特征分类器对常规特征、混淆特征、去混淆之后的特征对应的全连接层进行分类，对常规特征、混淆特征、去混淆之后的特征分类的输出计算交叉熵损失，对三个交叉熵损失求和后反向传播梯度，训练模型，模型融合，得到具有去混淆化能力的CNN模型权重。本发明专利技术具有较为普遍的适用性，对于大部分常规的CNN模型都可以进行适用，提升分类准确率。分类准确率。分类准确率。

【技术实现步骤摘要】
一种基于混淆样本的图像分类模型优化方法


[0001]本专利技术涉及图像智能分类
，具体涉及一种基于混淆样本的图像分类模型优化方法。

技术介绍

[0002]图像分类是根据图像信息中的特征，将图像中主要物体所属类别判断出来的处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。
[0003]传统的图像分类方法主要包括以下几类：(1)基于色彩特征的索引技术：同一类物体一般有着相似的色彩特征，因此可以根据色彩特征来区分物体，例如利用色彩直方图进行全局色彩特征索引和局部色彩特征索引；(2)基于纹理的图像分类技术：纹理特征也是图像的重要特征之一，例如基于纹理特征的灰度共生矩阵表示法、基于小波变换的表示法；(3)基于形状的图像分类技术：形状也是图像的重要可视化内容之一，目前的基于形状分类方法大多围绕着从形状的轮廓特征和形状的区域特征建立图像索引，例如直线段描述、样条拟合曲线、傅立叶描述子以及高斯参数曲线等。这些低层次特征的优点是计算时相对简单，缺点是不具备较好的语义表达能力，导致在复杂、大量、细粒度的图像分类时，识别性能不佳，可靠性、稳定性较差等问题。
[0004]在特征表示方法之后，如何度量不同图片的特征距离也是图像分类领域的关键问题。现有的距离度量模型主要分为非学习方法和学习方法两类。其中多数方法选择了简单的非学习度量方法，例如：一阶距离、二阶距离、巴氏距离等，然而，由于提取出的图像特征的冗余性、鲁棒性等问题的影响，辨识结果并不理想；而基于学习的度量方法，通常学习如何最优化样本之间的差异性和相似性，因此，辨识效果往往相对较好。
[0005]随着深度学习方法的发展，上述特征表示和距离度量问题被统一到深度模型中，通过海量自学习的网络权重，获得了优秀的特征提取、特征表示和特征度量能力。但是，同时由于网络权重完全依靠训练样本得到，模型的分类效果会被训练数据的质量所影响，有可能学习到错误、易混淆特征的提取知识，从而导致模型分类时输出错误的类别。
[0006]参见公开号为CN111428876A的专利公开了一种基于自步学习的混合空洞卷积神经网络的图像分类方法，能够加快传统卷积神经网络的收敛并提高泛化能力，还可避免因使用池化导致的图像信息损失，能计算更多的信息，进而提高分类性能。然而，该方法对于训练的模型具有较高要求，需要使用混合空洞卷积，并且限制了其使用范围；进一步，由于易混淆样本在光照变化、朝向、视角、遮挡、图像分辨率等各方面因素的影响，模型在复杂易混淆场景下的图像分类效果依然不佳。

技术实现思路

[0007]本专利技术的目的是提供一种基于混淆样本的图像分类模型优化方法。
[0008]为达到上述目的，本专利技术采用的技术方案是：
[0036]loss
de
→
y
de
→
X
conf
→
f2。
[0037]上述技术方案优选地，在S5中，损失收敛后，获得双分支的图像分类网络；使用网络权重平均化方法，融合CNN双分支，结合去混淆的全连接分类网络，得到最终网络模型。
[0038]进一步优选地，使用网络权重平均化方法，对网络进行简化：
[0039]f＝WA(f1,f2)
[0040]c＝c3[0041]其中：WA为网络权重平均化操作，f、c为平均化后合并得到的特征提取网络和分类网络。
[0042]由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：
[0043]1、提取图像中容易混淆的特征，采用易混淆样本对特征提取网络进行监督训练，可以使网络获得识别易混淆特征的能力；
[0044]2、基于可解释的特征归因方法，通过结合普通特征与混淆特征来获得去混淆的特征，降低普通特征中存在易混淆特征的问题，并通过监督学习保证去混淆后的特征依然具有足够用于正确分类的特征；
[0045]3、采用网络权重平均化的思想，将多个分支的网络结合成一个分支，使得网络与原始网络相比，计算量不变、效率不变；
[0046]4、具有较为普遍的适用性，对于大部分常规的CNN模型都可以进行适用，提升分类准确率。
附图说明
[0047]附图1为本专利技术方法的流程示意图，
[0048]附图2为本专利技术方法的网络结构图，
[0049]附图3为本专利技术方法在CIFAR
‑
100数据集上进行t
‑
SNE可视化的特征分布图，
[0050]附图4为本专利技术方法在训练过程中模型准确率的变化图，
[0051]附图5为本专利技术方法的模型去混淆特征后的CAM热力图。
具体实施方式
[0052]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0053]如图1所示的一种基于混淆样本的图像分类模型优化方法，具体包括以下步骤：
[0054]图像分类任务中，不同类别往往存在类似的特征，为了确定对图像分类贡献较小、且容易导致混淆的这一类共同特征，首先建立双分支特征提取网络和分类网络：
[0055]1)、建立2组CNN特征提取器(双分支特征提取网络)对输入图像进行常规特征、混淆特征的提取，具体为：分别命名为f1、f2，用于提取图像特征，其中：利用f1进行常规特征的提取，利用f2进行混淆特征的提取。
[0056]2)、建立3组CNN特征分类器(分类网络)对常规特征、混淆特征、去混淆之后的特征对应的全连接层进行分类，具体为：分别建立命名为c1、c2、c3的CNN特征分类器，利用c1进行常规特征的分类，利用c2进行混淆特征的分类，利用c3进行去混淆之后的特征的分类。
[0057]建立好的网络结构如图2所示。
[0058]对图像常规特征、混淆特征的提取具体为：将图像同时输入f1、f2进行特征提取。训练初始阶段，两个特征提取分支随机初始化，随着监督训练的进行，两个分支分别具有了不同的特征提取偏好，提取出的特征分别代表了常规图像分类和易混淆图像分类，同时进行去混淆操作，即将混淆特征从常规特征中减去，得到去混淆后的特征，即：
[0059][0060][0061]X
de
＝X
‑
X
conf
[0062]其中：A为输入图像，f1为CNN常规特征提取网络，f2为CNN混淆特征提取网络，X为常规卷积特征，X
conf
为混淆样本的卷积特征，n为特征长度，X与X
conf
向量中中每一位置表示图像的分类特征，每一位置的数值表示对应特征的强度，X
de
为去掉混淆特征后的特征。
[0063]对常规特征、混淆特征、去混淆之后的特征的分类具体为：对于提取出的常规特征、混淆特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混淆样本的图像分类模型优化方法，其特征在于：包括：S1：建立CNN特征提取器，利用CNN特征提取器对输入图像进行常规特征、混淆特征的提取，S2：建立CNN特征分类器，利用CNN特征分类器对常规特征、混淆特征、去混淆之后的特征对应的全连接层进行分类，S3：对常规特征、混淆特征、去混淆之后的特征分类的输出计算交叉熵损失，S4：对三个交叉熵损失求和后反向传播梯度，训练模型，S5：模型融合，得到具有去混淆化能力的CNN模型权重。2.根据权利要求1所述的基于混淆样本的图像分类模型优化方法，其特征在于：在S1中，分别建立命名为f1、f2的CNN特征提取器，利用f1进行常规特征的提取，利用f2进行混淆特征的提取。3.根据权利要求2所述的基于混淆样本的图像分类模型优化方法，其特征在于：对常规特征进行去混淆，获得去混淆后的特征：X＝f1(A)，X
conf
＝f2(A)，X
de
＝X
‑
X
conf
其中：A为输入图像，f1为CNN常规特征提取网络，f2为CNN混淆特征提取网络，X为常规卷积特征，X
conf
为混淆样本的卷积特征，n为特征长度，X与X
conf
向量中中每一位置表示图像的分类特征，每一位置的数值表示对应特征的强度，X
de
为去掉混淆特征后的特征。4.根据权利要求1所述的基于混淆样本的图像分类模型优化方法，其特征在于：在S2中，分别建立命名为c1、c2、c3的CNN特征分类器，利用c1进行常规特征的分类，利用c2进行混淆特征的分类，利用c3进行去混淆之后的特征的分类。5.根据权利要求4所述的基于混淆样本的图像分类模型优化方法，其特征在于：c1、c2、c3分类的输出结果为：y＝c1(X)y
conf
＝c2(X
conf
)y
de
＝c3(X
‑
X
conf
)其中：c1为常规全连接分类网络，用于输出常规分类结果y，c2为混淆特征的全连接分类网络，用于输出混淆类别的分类结果y
conf
，c3为去混淆特征的全连接分类网络，用于输出去混淆后正确类别的分类结果y
de
。6.根据权利...

【专利技术属性】
技术研发人员：邓若愚，胡尚薇，
申请(专利权)人：同济人工智能研究院苏州有限公司，
类型：发明
国别省市：