一种基于Transformer结构的轻量化害虫识别方法技术

本发明专利技术涉及一种基于Transformer结构的轻量化害虫识别方法，属于深度学习领域，包括以下步骤：S1：使用聚焦快速下采样模块提取害虫图像的浅层特征；S2：使用多头自注意力模块提取深层特征图中的全局特征信息；S3：使用局部卷积为深层特征图添加局部特征敏感性和尺度不变性信息；S4：将全局特征信息与局部特征敏感性和尺度不变性信息进行特征拼接，得到语义信息丰富的害虫图像，送入多层感知机，对融合特征张量进行特征拟合；S5：通过残差连接减少网络的梯度消失问题，使用逐点卷积对通道中的信息进行整合；S6：将最终计算出的特征表示使用池化机制，通过分类模块分类。通过分类模块分类。通过分类模块分类。

【技术实现步骤摘要】
一种基于Transformer结构的轻量化害虫识别方法


[0001]本专利技术属于深度学习领域，涉及一种基于Transformer结构的轻量化害虫识别方法。

技术介绍

[0002]随着近几年温室效应的不断加强，农林业病虫害的日益严重导致粮食损失也在不断增加。因此，对病虫害的精细化预防和控制是当前解决粮食减产的重要举措。现阶段普遍采用人工手动识别害虫的方法；为了降低生产成本、减轻农业工作量，需要研究高效、低成本的害虫自动识别算法。
[0003]传统的害虫自动识别算法主要基于计算机视觉的机器学习技术，分为害虫图像预处理、特征提取和特征分类三个阶段。该方法通常先对图像中显著性区域进行增强、去除图像背景；之后对主体的颜色、纹理和形状等特征进行提取；最后使用支持向量机(Support Vector Machine,SVM)、Adaboost和人工神经网络(Artificial Neural Network,ANN)等方法对图像分类。该类方法精度较低，鲁棒性不强，且特征提取过程过分依赖人工技巧，算法的应用局限性较大。
[0004]随着深度学习在计算机视觉中的快速发展，基于卷积神经网络的害虫自动识别系统实现了端到端的自动特征提取，速度快、准确率高，已经成为当前主流的害虫自动识别方案。为了实现复杂背景图像中的害虫精确识别，当前研究主要从以下三个方面入手：(1)基于显著性特征的害虫识别方法。该方法通过基于图形的视觉显著性(Graph
‑
Based Visual Saliency，GBVS)、块显著性图算法(Patch
‑
Saliency map Algorithm)或聚类的显著性检测(Cluster
‑
based Saliency Detection)等方法将输入图像中显著性区域阈值提高、以达到突出显著性区域的目的，然后通过卷积神经网络对其进行特征提取和分类。由于害虫图像中常常存在颜色、纹理等复杂的背景干扰，常规的显著性算法较难从中提取出高级语义信息。(2)结合注意力机制的害虫识别方法。该方法向卷积神经网络中添加通道或空间注意力机制，增强网络的特征提取能力，以达到更好的分类效果。但注意力机制增加模型参数量的同时，对特征间的空间关系处理不足。同时，害虫数据集普遍存在类内差距大、类间差距小和背景复杂的特点，小感受野的卷积神经网络较难从中提取出高级语义信息，不能在准确率和速度上取得较好的均衡。(3)融合多模型的害虫识别方法。该方法首先对不同模型进行训练，然后通过结构和权值的整合获得新的害虫识别模型，实现更高准确率的害虫识别模型。然而该方法仅将准确率作为唯一指标，导致模型参数量较大，训练成本高，并且常需要借助一些高性能的计算设备部署在云端，在大规模的农田和山区等信号弱的地方具有一定局限性。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于使用能够对输入进行全局特征建模的Transformer结构为模型添加全局感受野，增强模型对抗复杂背景的能力。然而单纯的transformer结构
由于本身对局部敏感性和尺度不变性的缺乏，需要巨大的参数量和训练成本，较难做到轻量化。因此本文从参数量和全局感受野两个方面出发，分别对模型特征提取的浅层和深层进行了设计，提出了轻量化Transformer结构的害虫识别网络(Transformer based Pest Classification Network,TPCNet)。TPCNet在浅层分别从参数量、模型复杂度、浮点运算数(floating point operations,FLOPs)和内存访问成本(memory access cost,MAC)等方面对下采样结构进行了设计，降低了浅层的推理时间。在深层利用Transformer增加网络感受野，并使用卷积弥补单纯Transformer结构缺乏局部性和尺度不变性的缺点。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种基于Transformer结构的轻量化害虫识别方法，包括以下步骤：
[0008]S1：使用聚焦快速下采样模块提取害虫图像的浅层特征；
[0009]S2：使用多头自注意力模块提取深层特征图中的全局特征信息；
[0010]S3：使用局部卷积为深层特征图添加局部特征敏感性和尺度不变性信息；
[0011]S4：将全局特征信息与局部特征敏感性和尺度不变性信息进行特征拼接，得到语义信息丰富的害虫图像，送入多层感知机，对融合特征张量进行特征拟合；
[0012]S5：通过残差连接减少网络的梯度消失问题，使用逐点卷积对通道中的信息进行整合；
[0013]S6：将最终计算出的特征表示使用池化机制，通过分类模块分类。
[0014]进一步，步骤S1中，所述聚焦快速下采样模块的具体操作如下：
[0015]S11：将下采样操作与局部特征提取操作剥离；
[0016]S12：使用间隔像素取值再通道拼接的切片操作替换步长为2的卷积操作；
[0017]S13：使用1*1的逐点卷积对下采样操作后的特征图通道数量和信息进行缩减与整合；
[0018]S14：使用3*3的卷积增加局部特征的提取能力。
[0019]进一步，步骤S2中，使用Transformer结构的多头自注意力机制，计算特征像素之间的互相关性，表达式为：
[0020]X
a
＝MultiHead(X
ai
)＝Concat(head1,...,head
i
)W
o
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0021][0022]Q＝X
ai
W
Q
,K＝X
ai
W
K
,V＝X
ai
W
V
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0023]其中W
Q
,W
K
,W
V
,W
o
分别表示自注意力机制中的查询query、键值key、值value和加权求和的投影权重矩阵，X
ai
表示输入的特征张量，X
a
表示输出特征张量。
[0024]进一步，步骤S4中具体包括：将全局特征信息与局部特征敏感性和尺度不变性特征信息进行交叉拼接，以增加不同特点特征的融合能力，公式为：
[0025]X
c
＝Conv2d(X
ci
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0026]X
m
＝Concat(X
c
,X
a
)+X
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0027]X
o
＝Concat(MLP(LN(X
m<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer结构的轻量化害虫识别方法，其特征在于：包括以下步骤：S1：使用聚焦快速下采样模块提取害虫图像的浅层特征；S2：使用多头自注意力模块提取深层特征图中的全局特征信息；S3：使用局部卷积为深层特征图添加局部特征敏感性和尺度不变性信息；S4：将全局特征信息与局部特征敏感性和尺度不变性信息进行特征拼接，得到语义信息丰富的害虫图像，送入多层感知机，对融合特征张量进行特征拟合；S5：通过残差连接减少网络的梯度消失问题，使用逐点卷积对通道中的信息进行整合；S6：将最终计算出的特征表示使用池化机制，通过分类模块分类。2.根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：步骤S1中，所述聚焦快速下采样模块的具体操作如下：S11：将下采样操作与局部特征提取操作剥离；S12：使用间隔像素取值再通道拼接的切片操作替换步长为2的卷积操作；S13：使用1*1的逐点卷积对下采样操作后的特征图通道数量和信息进行缩减与整合；S14：使用3*3的卷积增加局部特征的提取能力。3.根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：所述步骤S2中，使用Transformer结构的多头自注意力机制，计算特征像素之间的互相关性，表达式为：X
a
＝MultiHead(X
ai
)＝Concat(head1,...,head
i
)W
o
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)Q＝X
ai
W
Q
,K＝X
ai
W
K
,V＝X
ai
W
V
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中W
Q
,W
K
,W
V
,W
o
分别表示自注意力机制中的查询query、键值key、值value和加权求和的投影权重矩阵，X
ai
表示输入的特征张量，X
a
表示输出特征张量。4.所述根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：步骤S4中...

【专利技术属性】
技术研发人员：梁燕，雷宇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：