一种基于无人机和深度学习的农作物杂草检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于无人机和深度学习的农作物杂草检测方法及装置。该装置通过固定在无人机上的控制模块和视觉模块进行实时扫描与检测，并通过定位模块返回杂草坐标。该方法包括：拍摄制作农作物杂草数据集；然后在FPN部分添加改进注意力模块的NanoDet作为识别模型，使用公共农作物杂草数据集训练模型；再将改进的NanoDet检测算法和训练好的模型移植到无人机上，操作无人机获取图像，检测算法通过读取图像进行实时检测；最后，通过GPS将检测到杂草所在的坐标进行定位，传输回后台以待下一步的除草任务。本方法提升了现有算法的检测精度，配合无人机能实现高效、精确的杂草检测坐标，为科学管理农田提供了新的方法。为科学管理农田提供了新的方法。为科学管理农田提供了新的方法。

【技术实现步骤摘要】
一种基于无人机和深度学习的农作物杂草检测方法及装置


[0001]本专利技术属于计算机视觉目标检测
，涉及使用改进NanoDet模型的杂草检测，具体涉及一种基于无人机和深度学习的农作物杂草检测方法及装置。

技术介绍

[0002]杂草是农作物减产的主要原因之一，会对种植人员的收入造成极大的影响。准确检测出农作物中混杂的杂草，有利于农田管理者及时采取有效的措施清理杂草，减轻杂草和农作物争夺养分导致农作物减产的情况。传统的人工除草方法效率低、操作慢，在进行除草时没有区分有、无杂草区域，直接对所有农田进行农药喷洒，会造成农药的浪费和时间上过多的消耗，同时也无法适应当前日益成熟的大农场生产方式，会降低经济效益和减少农作物产量。
[0003]图像的目标检测在计算机视觉领域是一项具有挑战性的工作，与简单分类的上游任务不同，其要求对图像中每个目标进行精确分类并且标注目标的位置，现在主流的目标检测技术是基于深度卷积神经网络来完成，并且根据是否利用anchor提取目标候选框可以分为anchor
‑
based和anchor
‑
free两大类，其中基于anchor
‑
based的算法有Faster
‑
RCNN、Yolov2和Yolov3等，优点是训练稳定；基于anchor
‑
free的算法有CornerNet、CenterNet以及FCOS，由于摆脱了使用anchor带来的计算量，实时性更高。
[0004]将图像的目标检测技术与农业除草相结合，通过神经卷积神经网络识别种植区域中的杂草位置，然后进行定点清楚，可以提高除草效率。李继维等人提出一种无人机自动除草作业方法，通过生成检测点进行杂草检测，但是需要重复检测步骤，对同一区域无法完成边扫描边检测的操作，导致检测时间过长。同时还存在杂草检测方法模型体量大、实时性不足，以及对杂草扫描定位时操作复杂，不适用于实际的生产等问题。

技术实现思路

[0005]针对现有技术的不足，本专利技术提出了一种基于无人机和深度学习的农作物杂草检测方法及装置，通过NanoDet模型对无人机扫描到的区域进行实时检测，判断区域内是否存在杂草，并且将存在杂草区域的GPS坐标返回后台，不需要重复扫描，能够高效率地检测农作物中的杂草，保证检测的实时性以便后续的除草工作。
[0006]一种基于无人机和深度学习的农作物杂草检测方法，具体包括以下步骤：
[0007]步骤1、收集包含杂草的图像，并对图像中的杂草进行标注，形成杂草数据集。
[0008]步骤2、构建改进的NanoDet模型，作为杂草识别模型，使用步骤1得到的杂草数据集进行训练。所述改进的NanoDet模型具体为：主干网络使用CSPnet卷积块的ShuffleNetV2
‑
1.5x；FPN部分使用PAN结构，针对主干网络输出的8、16、32倍下采样特征进行多尺度特征融合，并在每层特征的输出之后，通过一个注意力模块进行特征整合。
[0009]步骤3、将步骤2训练好杂草识别模型移植到无人机中，再使用无人机扫描待除草的种植区域。无人机在扫描过程中通过杂草识别模型进行实时检测，当杂草识别模型判断
扫描图像中存在杂草时，通过GPS定位杂草所在的位置，并将坐标返回到后台。
[0010]一种基于无人机和深度学习的农作物杂草检测装置，包括无人机和固定在无人机上的控制模块、视觉模块、定位模块。所述视觉模块用于在无人机飞行过程中，拍摄种植区域图片，并传输到控制模块中。所述控制模块上移植了训练后的杂草识别模型，对接收到的图片进行实时识别；当识别到图片中包含杂草时，调用定位模块获取位置坐标，并返回到控制后台。
[0011]本专利技术具有以下有益效果：
[0012]1、使用无人机结合视觉图像目标识别技术实现杂草的自动化检测，可以节省人力成本。
[0013]2、构建改进的NanoDet网络，引入注意力机制融合空间和通道信息，弥补下采样过程中图像细节信息过早丢失的缺点，提升目标检测性能，在参数量极小时保持目标检测高精度、实时性强的效果。
[0014]3、通过定位模块，直接将杂草的位置坐标返回后台，定位精度较高，便于后续开展定点除草工作。且整个检测过程中无需重复扫描检测，简单便捷。
附图说明
[0015]图1为一种基于无人机和深度学习的农作物杂草检测方法流程图；
[0016]图2为改进的NanoDet模型结构示意图；
[0017]图3为实施例中使用的GSE模块结构示意图。
具体实施方式
[0018]以下结合附图对本专利技术作进一步的解释说明；需要注意的是，所描述的实施例是本申请的部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]如图1所示，一种基于无人机和深度学习的农作物杂草检测方法，具体包括以下步骤：
[0020]步骤1、使用无人机拍摄1000张像素为416*416的包含杂草的图片，按照pascal voc格式制作成杂草数据集，并从中随机选择700张作为训练集，100张作为验证集，200张作为测试集，再使用labelimg软件对图像中的杂草进行标注。
[0021]步骤2、构建如图2所示的改进的NanoDet模型，输入步骤1构建的训练集，进行模型训练，得到杂草识别模型。
[0022]所述改进的NanoDet模型具体为：主干网络使用CSPnet卷积块的ShuffleNetV2
‑
1.5x；FPN部分使用PAN结构，并在每层特征的输出之后，通过一个注意力模块进行特征整合。训练图像被送进改进的NanoDet模型后，在主干网络中经过4次下采样操作，分别得到4倍、8倍、16倍和32倍的下采样特征图。然后将8倍、16倍、32倍的下采样特征图输入PAN结构中，进行多尺度特征融合。具体的融合过程为：首先，对32倍下采样特征图通过双线性插值方式进行上采样，与16倍下采样特征图直接相加，得到融合后的16倍下采样特征图。然后将融合后的16倍下采样特征图继续通过双线性插值的方式进行上采样，与8倍下采样特征图直接相加融合，输出8倍下采样结果，再将融合的结果通过线性插值进行下采样，与融合后
的16倍下采样特征图进行相加融合，输出16倍下采样结果，再对融合的结果通过线性插值进行下采样，与32倍下采样特征图进行相加融合，输出32倍下采样结果。
[0023]在PAN结构中，通过线性插值来完成上采样和下采样，对多尺度特征图直接进行相加来完成融合，可以减少运算量，但是会丢失特征信息。因此将8倍、16倍、32倍下采样结果分别输入GSE注意力模块，对线性插值过程中丢失的特征进行筛选，在现有特征中提取出网络最关注的区域，减少模型损失。
[0024]所示GSE注意力模块如图3所示，对输入特征x使用两个Ghost卷积来提取网络需要关注的区域，再经过Si本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机和深度学习的农作物杂草检测方法，其特征在于：具体包括以下步骤：步骤1、收集包含杂草的图像，并对图像中的杂草进行标注，形成杂草数据集；步骤2、构建改进的NanoDet模型，作为杂草识别模型，使用步骤1得到的杂草数据集进行训练；所述改进的NanoDet模型具体为：主干网络使用CSPnet卷积块的ShuffleNetV2
‑
1.5x；FPN部分使用PAN结构，针对主干网络输出的8、16、32倍下采样特征图进行多尺度特征融合，并在每层特征的输出之后，使用注意力模块进行特征整合；步骤3、将步骤2训练好杂草识别模型移植到无人机中，再使用无人机扫描待除草的种植区域；无人机在扫描过程中通过杂草识别模型进行实时检测，当杂草识别模型判断扫描图像中存在杂草时，通过GPS定位杂草所在的位置，并将坐标返回到后台。2.如权利要求1所述一种基于无人机和深度学习的农作物杂草检测方法，其特征在于：所述多尺度特征融合过程为：首先，对32倍下采样特征图通过双线性插值方式进行上采样，与16倍下采样特征图直接相加，得到融合后的16倍下采样特征图；然后将融合后的16倍下采样特征图继续通过双线性插值的方式进行上采样，与8倍下采样特征图直接相加融合，输出8倍下采样结果，再将融合的结果通过线性插值进行下采样，与融合后的16倍下采样特征图进行相加融合，输出16倍下采样结果，再对融合的结果通过线性插值进行下采样，与32倍下采样特征图进...

【专利技术属性】
技术研发人员：罗强，韩润华，殷志坚，杨贞，余亮，熊朝松，
申请(专利权)人：江西科技师范大学，
类型：发明
国别省市：