一种带有并行卷积块的多层特征融合细粒度图像分类方法技术

本发明专利技术公开了一种带有并行卷积块的多层特征融合细粒度图像分类方法，所述方法包括：对训练集进行随机裁剪、水平翻转增强，使用权重迁移学习防止过拟合；在ResNet34模型的最后一个层级上通过并行卷积块代替原有卷积块，增强网络的显著性特征提取能力；使用改进后的ResNet34模型作为特征提取器，将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降作为网络优化器来更新网络参数。本发明专利技术提高了细粒度图像的分类准确率。

【技术实现步骤摘要】
一种带有并行卷积块的多层特征融合细粒度图像分类方法
本专利技术涉及图像分类任务中的细粒度图像分类领域，尤其涉及一种带有并行卷积块的多层特征融合细粒度图像分类方法。
技术介绍
细粒度图像分类是对某一类别下的图像子类进行精确划分。细粒度图像分类以其“类间差异小，类内差异大”等特点，一直是计算机视觉和模式识别领域的研究难点，具有重要的研究价值。鉴于传统方法对细粒度图像分类准确率低，模型泛化能力差；基于强监督方法需要标注框等人工信息，难以应用到实际生产中。弱监督方法为该领域的主流方法，可以分为：基于双线性池化等网络结构的调整来增强层间特征信息的交互能力；以及基于注意力机制的分类方法用于提取显著性区域；还有基于局部特征定位的方法来捕捉具有判别性的局部特征信息。细粒度图像分类的难点在于：训练样本的分类数目较多，但每个类别下的样本数目太少，容易导致过拟合；网络模型复杂，参数量较多，对计算机要求较高；同一类别下的样本受光照，姿态等影响差异较大，使得网络难以学习到判别性特征。目前，细粒度图像分类的问题主要体现在三个方面：1)如何增强网络层间的信息交互；2)如何使网络精确地提取显著性区域特征；3)如何有效防止过拟合现象。
技术实现思路
本专利技术提出了一种带有并行卷积块的多层特征融合细粒度图像分类方法，本专利技术提高了细粒度图像的分类准确率，详见下文描述：一种带有并行卷积块的多层特征融合细粒度图像分类方法，所述方法包括：对训练集进行随机裁剪、水平翻转增强，使用权重迁移学习防止过拟合；在ResNet34模型的最后一个层级上通过并行卷积块代替原有卷积块，增强网络的显著性特征提取能力；使用改进后的ResNet34模型作为特征提取器，将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降作为网络优化器来更新网络参数。其中，所述并行卷积块用于对中间层的判别性特征进行提取，具体为：对输入的特征矩阵使用不同大小的卷积核，增强输出矩阵的特征表达能力；将步长为2，1×1大小卷积核的残差结构改为3×3大小卷积核，防止部分特征信息的丢失；将原始3×3大小的卷积核改为1×3和3×1卷积核的串联模式，减少计算量。将激活函数ReLU改为LeakyReLU，可以有效防止梯度消失。进一步地，所述将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层具体为：对并行卷积块得到三个输出特征矩阵，两两双线性操作得到三个特征融合的结果，将三个结果求和，送入全连接层中。其中，所述对并行卷积块得到三个输出特征矩阵，两两双线性操作得到三个特征融合的结果具体为：三个特征矩阵为X，Y和Z，矩阵的维度是(B,C,H,W)，其中，B代表batchsize，C代表通道数，H×W表示特征图的大小；将X，Y的维度分别重置为(B,C,H×W)和(B,H×W,C)，对X和Y进行双线性特征融合后的结果的维度为(B,C×C)；对X，Y和Z均进行上述操作，将得到的三个结果相加送入全连接层。进一步地，所述方法还包括：保存最终的训练模型为.pth文件，该文件中保存了网络层的训练参数信息，并在测试集上进行测试，得到最终的准确率。本专利技术提供的技术方案的有益效果是：1、本专利技术综合考虑到了神经网络不同层间特征信息的关系，由于低层特征矩阵具有丰富的全局信息，高层特征矩阵更具判别性信息，使用双线性结构即矩阵乘法增强层间特征信息的交互能力，同时增强网络结构的特征表达能力；2、本专利技术提出的并行卷积块结构主要包含两个部分，一个是使用不同大小的卷积核代替原有单一大小卷积核形成一个并行结构提取特征信息；另一个是使用3×3大小卷积核代替原来的1×1大小卷积核进行残差保证不丢失残差过程中的特征信息；3、本专利技术可以在国际上公开的细粒度数据集(CUB-200-2011、FGVCAircraft和StanfordCars)上进行实验仿真，分类准确率分别达到87.1％、91.4％和93.4％；与使用HBP-RNet结构相比，分别提高了1.3％，1.2％和1.2％；明显高于现有经典方法BCNN等，也高于人类表现，验证了本专利技术的有效性。附图说明图1为本专利技术算法的流程图；图2为网络结构图；图3并行卷积块的结构图；图4为CUB-200-2011数据集示例；其中，每一行为一个类别，由上到下依次为：California_Gull,Glaucous_winged_Gull,Herring_Gull,Ring_billed_Gull,Western_Gull。图5为改进前与改进后的不同通道下的热图；图6为不同数据集下得到的混淆矩阵，左边为训练集的结果右边为测试集的结果；图7为被错误分类的测试样本，左边为测试样例及其对应的真实标签，右边为预测标签及其部分样本。表1为本专利技术方法及其消融实验对比研究；表2为本专利技术方法与该领域其他算法的对比实验。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于带有并行卷积块多层特征融合的细粒度图像分类方法，参见图1，该方法包括以下步骤：101：获取国际上公开的细粒度数据集；102：由于训练数据集样本数过少，对训练数据集进行随机裁剪、水平翻转等操作来增强数据集的同时，使用权重迁移学习方法防止过拟合；103：在ResNet34模型的最后一个层级上使用本专利技术提出的并行卷积块，如图3所示，代替原有卷积块，增强网络的显著性特征提取能力；其中，ResNet34模型为本领域技术人员所公知，本专利技术实施例对此不做赘述。104：输入训练样本，将训练样本统一输入大小为448×448，使用上述改进后的网络模型作为特征提取器，将最后一个层级的三个输出结果进行双线性矩阵乘法，增强层间特征表达能力，送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降(SGD)作为网络优化器来更新网络参数；整个网络结构如图2所示。105：保存最终的训练模型为.pth文件，该文件中保存了网络层的训练参数信息，并在测试集上进行测试，得到最终的准确率。其中，步骤101的细粒度数据集包括：CUB-200-2011、FGVCAircraft和StanfordCars。1)CUB-200-2011数据集：由加利福尼亚理工学院颁布和维护，包含200类，共10000余张鸟类图像；其中，5994张用作训练集，5794张用作测试集。2)FGVC数据集：包含100种飞机类型，共10000个飞机图像；其中，训练集和测试集按2:1的比率进行划分。3)StanfordCars数据集：由斯坦福大学发布本文档来自技高网...

【技术保护点】
1.一种带有并行卷积块的多层特征融合细粒度图像分类方法，其特征在于，所述方法包括：/n对训练集进行随机裁剪、水平翻转增强，使用权重迁移学习防止过拟合；/n在ResNet34模型的最后一个层级上通过并行卷积块代替原有卷积块，增强网络的显著性特征提取能力；/n使用改进后的ResNet34模型作为特征提取器，将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降作为网络优化器来更新网络参数。/n

【技术特征摘要】
1.一种带有并行卷积块的多层特征融合细粒度图像分类方法，其特征在于，所述方法包括：
对训练集进行随机裁剪、水平翻转增强，使用权重迁移学习防止过拟合；
在ResNet34模型的最后一个层级上通过并行卷积块代替原有卷积块，增强网络的显著性特征提取能力；
使用改进后的ResNet34模型作为特征提取器，将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降作为网络优化器来更新网络参数。


2.根据权利要求1所述的一种带有并行卷积块的多层特征融合细粒度图像分类方法，其特征在于，所述并行卷积块用于对中间层的判别性特征进行提取，具体为：
对输入的特征矩阵使用不同大小的卷积核，增强输出矩阵的特征表达能力；
将步长为2，1×1大小卷积核的残差结构改为3×3大小卷积核，防止部分特征信息的丢失；
将原始3×3大小的卷积核改为1×3和3×1卷积核的串联模式，减少计算量。
将激活函数ReLU改为LeakyReLU，可以有效防止梯度消失。


3.根据权...

【专利技术属性】
技术研发人员：何凯，冯旭，马希涛，赵岩，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12