基于UAV-RGB图像和深度学习的花生生长监测方法、系统及介质技术方案

本发明专利技术公开了一种基于UAV

【技术实现步骤摘要】
Y等人提出了RetinaNet算法来解决类别不平衡的问题；Law H等人根据自底向上的多人姿态估计思想，提出了CornerNet算法；在两级检测器方面，Girshick R等人提出了快速R
‑
CNN算法，这是一种里程碑式的算法；在R
‑
CNN和Fast R
‑
CNN的基础上，Ren S等人提出了快速R
‑
CNN，具有较高的识别精度。
[0006]但上述技术一方面只停留在实验研究阶段而未应用于实际田间测试，几乎没有在花生出苗情况监测中得以应用；另一方面基于无人机平台的目标检测技术理想程度较高，相对有一定的局限性，其召回率、精确率、mAP、算法速率和算法大小等指标的综合性能无法达到实际要求。由于无人机的自身硬件限制，需要算法较小、识别速率快等要求，但常规符合以上条件的算法又出现识别率和召回率等性能较低的情况，导致无法达到很好的监测效果，不能很好的应用于花生生长监测。

技术实现思路

[0007]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于UAV
‑r/>RGB图像和深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于UAV
‑
RGB图像和深度学习的花生生长监测方法，其特征在于，包括下述步骤：使用无人机拍摄视频获取花生秧苗数据；对花生秧苗数据进行预处理，得到图片数据集；使用图片数据集，构建花生秧苗计数模型，所述花生秧苗计数模型包括花生秧苗检测器和花生秧苗跟踪器；所述花生秧苗检测器用于对图片数据集进行目标检测，得到带锚框的识别图片；所述花生秧苗跟踪器用于将带锚框的识别图片与花生秧苗数据中的花生秧苗进行跟踪匹配，得到跟踪预测结果；根据跟踪预测结果，记录花生秧苗数量，得到计数结果。2.根据权利要求1所述基于UAV
‑
RGB图像和深度学习的花生生长监测方法，其特征在于，所述使用无人机拍摄视频获取花生秧苗数据，具体为：所述无人机配备有摄像设备，可拍摄RGB图像和视频数据；操纵无人机飞越花生大田，飞行高度设置为3m
‑
3.5m，设置相机偏角使无人机摄像设备的镜面与地面平行，通过视频拍摄，获取花生幼苗的生长信息。3.根据权利要求1所述基于UAV
‑
RGB图像和深度学习的花生生长监测方法，其特征在于，所述对花生秧苗数据进行处理，得到图片数据集，具体为：对无人机获取的花生秧苗数据，每n帧获取一张视频截图，通过Python程序，将实验数据集按9:1的比例随机分布，得到实验数据集；使用LabelImg工具对实验数据集中的花生幼苗和杂草对象进行标记，并将获取的txt文件以YOLO数据存储格式存储，其中包括类别信息和框架对角点的坐标信息；对实验数据集中的图像及标记图像进行缩放和坐标变换，修改图像分辨率至统一像素，得到图片数据集。4.根据权利要求1所述基于UAV
‑
RGB图像和深度学习的花生生长监测方法，其特征在于，所述构建花生秧苗计数模型步骤为：构建花生秧苗检测器；进行性能估算，若性能小于90％时，改进方案，再次构建花生秧苗检测器；构建花生秧苗跟踪器。5.根据权利要求1所述基于UAV
‑
RGB图像和深度学习的花生生长监测方法，其特征在于，所述构建花生秧苗检测器是通过在YOLOV5s_t算法中引入Transformer结构而构成，包括数据输入部分、主干网部分、颈部部分及输出部分；所述数据输入部分，使用Mosaic方法对输入的图片数据集进行增强，采用自适应锚框计算得到最佳锚框值，运用自适应图片缩放操作将不同大小的图像转换为同一像素的图像，得到待目标检测的w*h*3图片集，其中w为图片像素的宽，h为图片像素的高，3代表图片有三个平行通道组成；所述主干网部分包括Focus结构、CBL结构、CSPX结构、SPP结构及Transfomer结构；将待目标检测的w*h*3图片集中的图片依次输入Focus结构，采用切片操作将图片切为w/2*h/2*12的特征图片，再经过一次多个卷积核的卷积操作，最终得到w/2*h/2*32的特征图片集，送入CBL结构进行运算操作，得到运算结果；将运算结果送入CSPX结构，通过CBM以及Restunit整合而成的网络，对运算结果中的特征图进行运算操作，进入SPP结构，采用最大池化的方式将不同尺度的特征图进行张量拼接操作，分离上下文特征；将SPP结构处理后的数据送入
Transfomer结构，获取上下文信息；所述颈部部分包括FPN结构；将主干网处理后的数据送入FPN结构，通过上采样的方式将高层的特征信息进行传递融合，得到进行预测的特征图；所述输出端采用GIOU_Loss作为损失函数，对预测的特征图进行非极大值抑制nms操作，得到带锚框的识别图片。6.根据权利要求4所述基于UAV
‑
RGB图像和深度学习的花生生长监测方法，其特征在于，所述性能估算，具体为：选择mAP、准确率Precision和召回率Recall作为测...

【专利技术属性】
技术研发人员：张雷，林泳达，陈婷婷，刘仕元，陈勇，兰玉彬，岳学军，蔡雨霖，康高碧，时浩文，郑迪可，袁嘉豪，艾文杰，彭文，陈惠明，钟海敏，廖臣龙，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：