一种基于自注意力机制的萱草病害目标检测方法及系统技术方案

本发明专利技术属于计算机视觉领域，具体涉及一种基于自注意力机制的萱草病害目标检测方法及系统包括：采集萱草叶图像，输入RGB彩色图，基于快速自注意力机制构建FTC特征提取骨干网络，使用两组结构相同的自顶向下金字塔融合模块组构成颈部网络前两层，使用两个结构相同的基于自适应的变形卷积模块构建自底向上的金字塔融合模块组来构成颈部网络后两层，使用预测头对颈部网络第二第三和四层的特征图进行特征压缩和聚合处理，产生目标定位分类预测向量作为最终预测结果，能够有效地对现实场景中的病害、叶片和背景进行区分，降低参数量和计算量，使用自适应学习的变形卷积核，能够有效对特征金字塔的特征图进行对齐，更加精准的对目标进行定位和分类。目标进行定位和分类。目标进行定位和分类。

【技术实现步骤摘要】
一种基于自注意力机制的萱草病害目标检测方法及系统


[0001]本专利技术属于计算机视觉
，具体涉及一种基于自注意力机制的萱草病害目标检测方法及系统。

技术介绍

[0002]目标检测旨在让计算机在RGB图像中将所需检测的目标进行定位以及分类。近年来，自注意力机制首先在自然语言处理中被应用，然后在计算机视觉领域的各种细分方向相继被使用。由于自注意力机制拥有出色的全局空间特征关联能力，现在被广泛应用由于卷积神经网络在特征提取方面的强大能力，基于卷积神经网络的方法被设计出来并在显著目标检测方面表现出优异的性能，其被广泛应用于医学图像分割、目标追踪、图像编辑等。在萱草叶片病害检测中，对复杂背景的误检与算法参数量和计算量大是其中重要的两个问题，所以为了解决以上两个问题，提出了一种基于快速自注意力机制的萱草叶片病害目标检测方法。
[0003]目前已有的基于深度神经网络的目标检测主要分为两类：1)基于单阶段的目标检测方法；2)基于二阶段的目标检测方法。方法1)由于没有经过RPN产生ROI区域，定位精度较弱；方法2)具备RPN网络，但参数量和计算量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的萱草病害目标检测方法，其特征在于：包括，采集萱草叶图像，输入RGB彩色图，基于快速自注意力机制构建FTC特征提取骨干网络，所述骨干网络分成五个尺度的特征提取层；使用两组结构相同的自顶向下金字塔融合模块组构成颈部网络前两层，对骨干网络的第三和第四个尺度层特征分别进行自顶向下特征融合；使用两个结构相同的基于自适应的变形卷积模块构建自底向上的金字塔融合模块组来构成颈部网络后两层，对颈部网络的前两个融合层的中间输出特征分别进行对齐和自底向上融合；使用预测头对颈部网络第二第三和四层的特征图进行特征压缩和聚合处理，产生目标定位分类的预测向量作为最终预测结果。2.如权利要求1所述的一种基于自注意力机制的萱草病害目标检测方法，其特征在于：所述特征提取骨干网络包括构建一个同时提取全局和局部空间特征信息并进行融合的特征提取网络，通过一组由四个通道数分别为64、128、256、512的卷积层对输入彩色图进行空间下采样、空间特征融合，将输出特征图输入到FTC块进行空间全局特征信息关联，使用一个通道数为512的卷积模块进行空间下采样，使用一个快速金字塔池化层进行感受野的扩充。3.如权利要求2所述的一种基于自注意力机制的萱草病害目标检测方法，其特征在于：所述特征提取骨干网络还包括构建一个FTC块，将输入三维矩阵特征图长宽维度信息展开成二维矩阵，第一个维度的大小维持通道数c，第二个维度大小为空间维度像素的数量h*w，其中h为特征图的长，w为特征图的宽，输入到4个结构相同，由一个快速自注意力机制构成的FTC层,输入特征增加残差连接至第二层的输出，将第二层的输出增加一个残差连接到第四层的输出，得到经过全局空间特征信息关联的特征图。4.如权利要求3所述的一种基于自注意力机制的萱草病害目标检测方法，其特征在于：所述特征提取骨干网络还包括采用快速自注意力机制构建一个FTC层，将输入矩阵分别使用卷积分支、高效自注意力模块分支、残差分支进行处理，三个分支的输出进行逐元素相加以及层标准化得到输出A，将A输入到全连接层并进行批标准化得到输出B，将A对B进行残差连接；卷积分支将形状为(c,h*w)的矩阵变换到形状为(c,h,w)的矩阵，使用一个卷积层进行卷积，所述卷积层包括两个3x3的卷积模块，一个批标准化模块和一个ReLU模块；构建高效自注意力模块，将输入矩阵第二个维度的信息按顺序平均划分，得到3个形状为(c,h*w)的矩阵m1、m2、m3；m2右乘m3的转置，将其结果左乘m1。5.如权利要求4所述的一种基于自注意力机制的萱草病害目标检测方法，其特征在于：所述自顶向下特征融合包括将骨干网络的第五层结果输入到第一个自顶向下金字塔融合模块组，结果输入到第二个自顶向下金字塔融合模块组，每个自顶向下金字塔融合模块组由一个通道数为b的卷积核、一个二倍上采样模块、一个通道拼接模块和一个通道数为b的C3模块构成，其中第一组b为512，拼接模块的输入为骨干网络的第三层输出特征图和上一个模块的输出特征图，第二组b为256，拼接模块的输入为骨干网络的第四层输出特征图和上一个模块的输出特征图。6.如权利要求5所述的一种基于自注意力机制的萱草病害目标检测方法，其特征在于：
所述对齐和自底向上融合包括将颈部网络的第二层结果输入到第一个自底向上金字塔融合模块组，结果输入到第二个自底向上金字塔融合模块组，每个自底向上金字塔融合模块组由一个局部特征提取模块、一个经过特征选择对齐模块、一个C3模块构成；将输入矩阵同时分别输入到一个7x7卷积核和一个5x5卷积核，将结果逐元素相加，再进行1x1卷积，得到局部特征图；将颈部网络后两层中第k层的二倍上采样模块输出特征图输入到SE模块进行特征筛选，将其和输入矩阵输入到特征对齐融合模块，得到对齐的融合特征图其中第一个自底向上金字塔融合模块组的k为2，第二个组的k为1。7.如权利要求6所述的一种基于自注意力机制的萱草病害目标检测方法，其特征在于：所述处理包括将颈部网络的第二、第三和第四层输出O
i
，j∈[2,3,4]分别使用1x1的卷积核进行卷...

【专利技术属性】
技术研发人员：王栋，宋子申，朱勇建，许子鑫，梁晓静，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：