一种基于细粒度分类技术的害虫图像分类方法技术

本发明专利技术涉及一种基于细粒度分类技术的害虫图像分类方法，与现有技术相比解决了害虫细粒度识别效果差的缺陷。本发明专利技术包括以下步骤：训练图像的获取；害虫识别网络的构建；害虫识别网络的训练；待识别害虫图像的获取；害虫识别结果的获得。本发明专利技术使用特征过滤融合和设计损失函数达到了最高性能，能同时适用于相近害虫和粗类害虫的分类，均能获得理想效果。同时，针对背景非常复杂，且害虫颜色和形态与背景较为接近的害虫，也能关注到了目标本身，可准确识别，进一步拓宽农业害虫自动分类的害虫类别数量。

【技术实现步骤摘要】
一种基于细粒度分类技术的害虫图像分类方法
本专利技术涉及害虫图像识别方法，具体来说是一种基于细粒度分类技术的害虫图像分类方法。
技术介绍
常规图像分类是指粗类别分类，如猫与狗间分类，细粒度分类是对同一粗类里多个子类别作分类，例如不同种类的狗，不同种类的鸟等，这些子类间差异不明显，类内个体间存在姿势、动作和外表等明显差别，因此，细粒度图像分类任务要求分类模型能提取目标对象的细微特征信息。近几年，细粒度图像分类吸引了越来越多的关注，FGVC在一些需求细致分类的实际场景中有着巨大的应用。基于目标部位提取对应的局部特征和全局特征进行融合是细粒度分类的经典做法。(BergandBelhumeur2013)借助人工标记的部位获取了不同部位的特征进行分类，其中一些方法(ZhangandDonahue2014；KrauseandJin2015；HuangandXu2016；ZhangandXu2016；LamandMahasseni2017；WeiandXie2018；LiuandXie2020)通过寻找最佳的部位，进行更准确的语义分割和特征融合获得更好的细粒度级别的部位特征表示。一些学者(SimonandRodner2015；ZhangandWei2016；HeandPeng2017；GeandLin2019；WangandWang2020，HuangandLi2020；)通过弱监督和无监督的方法提取部位特征，降低了人力标注的成本。还有一些研究人员(ZhangandXiong2016；WangandMorariu2018；)借助深度卷积过滤器寻找目标的潜在部位，无需借助额外的部位标注；一些结合attention机制的方法(XiaoandXu2015；FuandZheng2017；ZhengandFu2017；SunandYuan2018；ZhengandFu2019)也被提了出来，通过注意力机制提取更具有相关性的部位特征。(JiandWen2020)在二叉神经树结构网络上结合attention机制，由粗到细地学习目标表示，并专注于捕获有差别性的特征。另外，ZhuangandWang通过对比学习的方式学习相似目标之间有差别的部位，在共有特征上融合通过门控获得有差别的部位特征进行分类。这些方法的工作重点是提取更好的有差别性的部位特征，将其与整体特征进行融合，达到更好的分类效果。与专注于部位的方法不同，基于端到端特征编码的方法则是将精力放在提取目标部位特征的高阶表示以及交互关系上。(Lin2015)将双线性CNN模型用于细粒度分类取得了不错的分类效果，让研究人员对端到端方法产生浓厚的研究兴趣。在此之后Gao2016针对双线性特征维度过高的不足，提出了用经过双线性池化后的低维度紧凑表示代替原始的完整双线性表示。在双线性池化的基础上，CuiandZhou2017提出了一个通用的池化框架，该框架以内核的形式捕获特征的更高阶交互。为了进一步降低双线性的计算量，KongandFowlkes2017提出了一个分类器共分解方法，通过将双线性分类器的集合分解为一个公因子和紧凑的子类项来压缩模型。ZhengandFu2019提出了一种深双线性变换(DBT)块，利用DBT块将输入通道均匀地分为几个语义组。分别计算每个组内的成对相互作用来表示双线性变换，大大减轻了计算成本。此外，YuandZhao2018提出了一种跨层双线性池化框架集成多个跨层双线性特征来捕获层间部位特征关系增强其表示能力。在卷积神经网络中用全局协方差池化替代经典的一阶池化获得了令人印象深刻的提升，但通常需要更长的训练时间。LiandXie2018提出了一种迭代矩阵平方根归一化方法，可以加速基于全局协方差池化的端到端网络的训练速度。EnginandWang2018提出共同学习局部描述器以及用核矩阵代替协方差矩阵得到池化表示来进行端到端的训练。另外，CaiandZuo2017等人将分层卷积的激活表示为不同比例的局部表示，并用基于多项式核的预测器来捕获卷积激活的高阶统计量，对部位交互进行建模，获得了更高阶的层内和层间特征关系。GaoandHan2020设计了一个通道交互网络(CIN)，对图像内和图像间的通道交互作用进行建模，探索图像内的通道相关性，使模型从相关通道中学习互补特征，从而产生更强的细粒度特征。我们的端到端方法更为简单有效，反卷积块在模型学习到的深层特征上添加额外的浅层特征，通过为最终特征表示融合更小尺度的细节特征的方式为模型提供了更多的细粒度级别信息进行分类。在细粒度识别中，类间分离难度高于常规图像分类任务，一些方法通过改进损失函数提高细粒度分类效果。(Wangetal.2016)使用了三重态损失，以实现更好的类间分离。然而，三重损失增加了训练的计算成本。(DubeyandGupta2018)利用最大熵原理，提出了一种可用于细粒度分类的最大熵损失。(DubeyandGupta2018)之后他们又通过在模型输出激活中故意引入混乱来减少训练过程中的过拟合现象。SunandCholakkal2020等人设计了“梯度增强”损失函数，通过仅关注每个样本的混淆类加速模型收敛。但以上的方法忽视了在模型训练时，简单样本和相似样本的置信分数分布有很大不同，有些被相似样本干扰的困难样本被预测正确，但从其置信分数分布能得知模型对该类样本的预测信心不足，致使识别率低、分类效果差。
技术实现思路
本专利技术的目的是为了解决现有技术中害虫细粒度识别效果差的缺陷，提供一种基于细粒度分类技术的害虫图像分类方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于细粒度分类技术的害虫图像分类方法，包括以下步骤：11)训练图像的获取：获取待训练的害虫图像数据集并进行预处理；12)害虫分类模型的构建：基于ResNet18网络和交叉熵损失函数构建害虫分类模型，记为DB_RN18模型；13)害虫分类模型的训练：利用待训练的害虫图像数据集对害虫DB_RN18模型进行训练，设计对DB_RN18模型的分类结果更敏感的损失函数，采用端到端方式完成；14)待识别害虫图像的获取：获取待识别的害虫图像并进行预处理；15)害虫分类结果的获得：将预处理后的害虫图像输入到训练后的DB_RN18模型获得分类结果。所述害虫分类模型的构建包括以下步骤：21)设定ResNet18网络，并在ResNet18网络最后一个ResBlock层与分类层之间，添加两个DeconvBlock模块，构建DB_RN18分类模型；22)在两个DeconvBlock模块中均添加Channelattention和Spatialattenion机制；23)基于交叉熵损失函数构建适用细粒度图像分类的损失函数：设定对细粒度图像识别模型置信分数较敏感的Loss函数，在同一个batchsize内，预测正确且同一个batchsize内样本集的置信度稳定、预测正确但样本集的置信度动态变化和batchsize内预测错误三种情况，分别给出不同的Loss函数用来奖励或惩罚模型，且随着模型深度加入本文档来自技高网...

【技术保护点】
1.一种基于细粒度分类技术的害虫图像分类方法，其特征在于，包括以下步骤：/n11)训练图像的获取：获取待训练的害虫图像数据集并进行预处理；/n12)害虫分类模型的构建：基于ResNet18网络和交叉熵损失函数构建害虫分类模型，记为DB_RN18模型；/n13)害虫分类模型的训练：利用待训练的害虫图像数据集对害虫DB_RN18模型进行训练，设计对DB_RN18模型的分类结果更敏感的损失函数，采用端到端方式完成；/n14)待识别害虫图像的获取：获取待识别的害虫图像并进行预处理；/n15)害虫分类结果的获得：将预处理后的害虫图像输入到训练后的DB_RN18模型获得分类结果。/n

【技术特征摘要】
1.一种基于细粒度分类技术的害虫图像分类方法，其特征在于，包括以下步骤：
11)训练图像的获取：获取待训练的害虫图像数据集并进行预处理；
12)害虫分类模型的构建：基于ResNet18网络和交叉熵损失函数构建害虫分类模型，记为DB_RN18模型；
13)害虫分类模型的训练：利用待训练的害虫图像数据集对害虫DB_RN18模型进行训练，设计对DB_RN18模型的分类结果更敏感的损失函数，采用端到端方式完成；
14)待识别害虫图像的获取：获取待识别的害虫图像并进行预处理；
15)害虫分类结果的获得：将预处理后的害虫图像输入到训练后的DB_RN18模型获得分类结果。


2.根据权利要求1所述的一种基于细粒度分类技术的害虫图像分类方法，其特征在于，所述害虫分类模型的构建包括以下步骤：
21)设定ResNet18网络，并在ResNet18网络最后一个ResBlock层与分类层之间，添加两个DeconvBlock模块，构建DB_RN18分类模型；
22)在两个DeconvBlock模块中均添加Channelattention和Spatialattenion机制；
23)基于交叉熵损失函数构建适用细粒度图像分类的损失函数：设定对细粒度图像识别模型置信分数较敏感的Loss函数，在同一个batchsize内，预测正确且同一个batchsize内样本集的置信度稳定、预测正确但样本集的置信度动态变化和batchsize内预测错误三种情况，分别给出不同的Loss函数用来奖励或惩罚模型，且随着模型深度加入，惩罚的程度逐渐减轻。


3.根据权利要求1所述的一种基于细粒度分类技术的害虫图像分类方法，其特征在于，所述害虫分类模型的训练包括以下步骤：
31)将待训练的害虫图像数据集输入ResNet18网络进行训练；
32)在ResNet18网络最后一层卷积层特征图作Channelattention和Spatialattenion处理，获得包含卷积层特征图深层特征信息的Attentionmap，扩大模型的感受野；
33)对ResNet18最后一层卷积层特征图作反卷积处理，扩展卷积特征图尺寸；
34)融合上述的Attentionmap和反卷积特征图信息，利用双卷积层提取融合后特征图信息；即将上一个ResBlock的输出Op和之前具有相同输出尺度ResBlock的输出Oss作为反卷积块输入，其...

【专利技术属性】
技术研发人员：钱蓉，董伟，程泽凯，朱静波，夏皖，孔娟娟，刘桂民，张萌，李闰枚，王忠培，管博伦，
申请(专利权)人：安徽省农业科学院农业经济与信息研究所，
类型：发明
国别省市：安徽;34