一种基于无人机的农作物实时识别系统及方法技术方案

本发明专利技术公开了一种基于无人机的农作物实时识别系统，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，其中，无人机平台上设置有图像采集装置和农作物识别模块，航线规划模块设置在所述服务器中；本发明专利技术还公开了一种基于无人机的农作物实时识别方法，该方法在服务器规划好无人机航线后，上传至移动终端，无人机收到指令后即可执行农作物图像采集及农作物实时识别任务，并将得到的农作物图像与最终识别结果上传至农情数据库。农作物类型识别模块基于YOLOv3训练好的农作物识别模型实现。

【技术实现步骤摘要】
一种基于无人机的农作物实时识别系统及方法
本专利技术涉及农作物调查、监测
，特别是涉及一种基于无人机的农作物实时识别系统及方法。
技术介绍
纵观古今，农业乃我国的立国之本，在我国的经济发展中占有举足轻重的地位。近年来，国内外学者在运用遥感技术识别农作物种类方面的研究有一定进展，且大多将长时间序列遥感影像与农作物物候特征结合来实现农作物分类。在我国农业现代化快速发展的驱使下，“精细农业”这一概念已渗透到农业生产的各个层面。无人机以其操作灵活、分辨率高等优势，已成为采集精细农业信息的重要工具，尤其广泛应用于农作物分类，其实现的本质是分析不同作物在图像中的纹理特征、光谱特征。经过长期的实际操作我们发现，现有方法仍存在以下不足：1、高成本：传统的农作物调查模式需派遣人员前往实地调查，并人工记录数据，需投入大量人力物力财力。而就遥感技术方面来看，遥感数据的准确解译，仍离不开大量的地面验证数据。2、遥感数据的不确定性：遥感数据易受天气、大气、电磁等外界因素的干扰，且分辨率较低，导致遥感图像分类的结果不确定性高，农作物类型识别精度较低。3、田间作业环境复杂：在实际农情调查中，无人机操作存在农村建筑物分布零散，电线错综复杂，树木高矮不一，河流网络密布，田块大小分布不均等问题。在综合考虑农村调查环境及无人机电池续航能力的前提下，如何规划好无人机调查线，确保能够收集到足够且具有空间代表性的地面验证影像资料，是开展无人机农情普查工作亟待解决的问题。4、农作物类型入库工作繁杂：目前在农情调查调查工作中，虽已用无人机获取近地面的无人机影像资料，但常出现内、外业沟通、协调不便现象。并且，后期农作物类型及入库工作多为人工，倘若发现调查样本存在数量或质量的缺失，则无法弥补，将极大降低工作效率和调查工作的准确性。为此，设计出一套可实现内、外业协同分析的农作物实时识别系统，是开展无人机农情普查工作中急需解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于无人机的农作物实时识别系统及方法，用以解决
技术介绍
中提及的问题。为了实现上述目的，本专利技术采用如下技术方案：一种基于无人机的农作物实时识别系统，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，所述无人机平台上设置有图像采集装置和农作物识别模块，所述航线规划模块设置在所述服务器中，所述无人机平台、农作物识别模块、服务器和移动终端之间互相通讯；所述图像采集装置用于对待调查区域进行连续图像采集，获取所述待调查区域的第一图像和第二图像，并将该第一图像和第二图像传输至服务器、农作物识别模块以及移动终端，其中，所述第一图像为所述无人机平台处于距离地面100m～500m的空中时，所述图像采集装置获取的所述待调查区域的整体图像，所述第二图像为所述无人机平台处于距离地面15m～20m的空中时，所述图像采集装置获取的所述待调查区域的部分图像；所述服务器不仅接收所述第一图像，还接收用户通过GNSS手持机获取到的所述待调查区域的地面控制点坐标信息，并且将该第一图像以及该地面控制点坐标信息传输至服务器端的航线规划模块；所述航线规划模块基于待调查区域相对应的卫星底图和采集的地面控制点坐标信息对所述第一图像，采用仿射变换模型对其进行图像校正处理，得到几何校正后的第一图像，使其具有对应的几何坐标信息，然后采用多尺度组合聚合分割算法以及多边形三角剖分骨架图技术，生成初始低飞航线，再采用预先训练好的YOLOv3障碍物识别模型，对所述初始低飞航线进行修正，得到最终低飞航线，所述航线规划模块将该最终低飞航线传输至移动终端；所述移动终端接收并且展示所述第一图像、第二图像以及所述最终低飞航线，所述移动终端将获取的所述最终低飞航线传输至所述无人机平台，所述无人机平台根据所述最终低飞航线在空中飞行；所述农作物识别模块接收所述第二图像，并且对该图像进行农作物识别，识别出该图像中的农作物种类，输出识别结果。进一步的，所述图像采集装置为像素值大于或者等于1200万的相机，所述农作物识别模块采用JetsonTX1芯片，并且该芯片中加载有已训练好的农作物识别模型，该模型是以DarkNet-53卷积神经网络作为提取特征的主干网络，基于COCODataset和所述无人机平台拍摄的农作物图像构成的数据集，使用YOLOv3目标检测算法训练出的模型，并且所述DarkNet-53卷积神经网络中的批量归一化层被替换为群组归一化层。进一步的，用户在移动终端通过实时查看所述移动终端展示的所述第二图像以及最终低飞航线，若发现所述第二图像中的某一张或者某几张图像存在异常，则通过移动终端标记出异常图像对应的无人机低飞航线中的航点，并将该航点传输至无人机平台，所述无人机平台根据获取到的异常航点，重新拍摄该航点的图像；若无异常，用户通过移动终端发出指定给到所述农作物识别模块，所述农作物识别模块识别所述第二图像中的农作物种类。进一步的，所述识别结果具体为所述第二图像中农作物的分类结果，并且该分类结果被标注在图像中相应的农作物位置处。进一步的，该系统还包括农情数据库，所述农作物识别模块将生成的识别结果上传至服务器的农情数据库中。进一步的，所述移动终端包括平板电脑、智能手机。一种基于无人机的农作物实时识别系统的识别方法，包括如下步骤：步骤S1、通过无人机平台上的图像采集装置获取待调查区域的第一图像，并且通过GNSS手持机获取所述待调查区域的地面控制点坐标信息；步骤S2、根据步骤S1中的获取的地面控制点信息，将第一图像与卫星遥感影像进行几何校正处理，得到经几何校正后的第一图像，使其具有对应的几何坐标信息，该图像为校正后的图像；步骤S3、将步骤S2中得到的配准后的图像输入预先训练好的的YOLOv3障碍物识别模型中进行识别，获得所述待调查区域的障碍物及其坐标，并且通过多尺度组合聚合分割算法对所述配准后的图像进行处理，获得所述待调查区域的各个地块的边界；步骤S4、通过多边形三角剖分骨架图分析所述各个地块之间的拓扑关系和几何关系，获取所述各个地块的中心点，然后根据所述机载相机获取的第二图像的覆盖范围，剔除多余的中心点，生成初始低飞航线；步骤S5、以所述障碍物为圆心，10m为半径的圆作为障碍物的缓冲区，采用引射线法判断所述初始低飞航线中的航点是否在所述缓冲区内，然后剔除所述缓冲区内的航点，生成最终低飞航线；步骤S6、移动终端接收所述最终低飞航线，并且将该最终低飞航线传输至无人机平台，当所述无人机平台每到达一个航点时，图像采集装置在距离地面15m～20m的高度上垂直向下拍摄图像，该图像为第二图像；步骤S7、所述第二图像被传输至农作物识别模块中进行农作物识别，得到识别结果，该识别结果被上传至农情数据库。进一步的，在所述步骤S4中，根据所述机载相机获取的第二图像的覆盖范围，剔除多余的中心点，生成初始低飞航线，具体包括：计算所述无人机平台在任意两个中心点处拍摄的第二图像之间的重叠度，删除重叠度大于本文档来自技高网...

【技术保护点】
1.一种基于无人机的农作物实时识别系统，其特征在于，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，所述无人机平台上设置有图像采集装置和农作物识别模块，所述航线规划模块设置在所述服务器中，所述无人机平台、农作物识别模块、服务器和移动终端之间互相通讯；/n所述图像采集装置用于对待调查区域进行连续图像采集，获取所述待调查区域的第一图像和第二图像，并将该第一图像和第二图像传输至服务器、农作物识别模块以及移动终端，其中，所述第一图像为所述无人机平台处于距离地面100m～500m的空中时，所述图像采集装置获取的所述待调查区域的整体图像，所述第二图像为所述无人机平台处于距离地面15m～20m的空中时，所述图像采集装置获取的所述待调查区域的部分图像；/n所述服务器不仅接收所述第一图像，还接收用户通过GNSS手持机获取到的所述待调查区域的地面控制点坐标信息，并且将该第一图像以及该地面控制点坐标信息传输至服务器端的航线规划模块；/n所述航线规划模块基于待调查区域相对应的卫星底图和采集的地面控制点坐标信息对所述第一图像，采用仿射变换模型对其进行图像校正处理，得到几何校正后的第一图像，使其具有对应的几何坐标信息，然后采用多尺度组合聚合分割算法以及多边形三角剖分骨架图技术，生成初始低飞航线，再采用预先训练好的YOLOv3障碍物识别模型，对所述初始低飞航线进行修正，得到最终低飞航线，所述航线规划模块将该最终低飞航线传输至移动终端；/n所述移动终端接收并且展示所述第一图像、第二图像以及所述最终低飞航线，所述移动终端将获取的所述最终低飞航线传输至所述无人机平台，所述无人机平台根据所述最终低飞航线在空中飞行；/n所述农作物识别模块接收所述第二图像，并且对该图像进行农作物识别，识别出该图像中的农作物种类，输出识别结果。/n...

【技术特征摘要】
1.一种基于无人机的农作物实时识别系统，其特征在于，包括：无人机平台、航线规划模块、农作物识别模块、服务器和移动终端，所述无人机平台上设置有图像采集装置和农作物识别模块，所述航线规划模块设置在所述服务器中，所述无人机平台、农作物识别模块、服务器和移动终端之间互相通讯；
所述图像采集装置用于对待调查区域进行连续图像采集，获取所述待调查区域的第一图像和第二图像，并将该第一图像和第二图像传输至服务器、农作物识别模块以及移动终端，其中，所述第一图像为所述无人机平台处于距离地面100m～500m的空中时，所述图像采集装置获取的所述待调查区域的整体图像，所述第二图像为所述无人机平台处于距离地面15m～20m的空中时，所述图像采集装置获取的所述待调查区域的部分图像；
所述服务器不仅接收所述第一图像，还接收用户通过GNSS手持机获取到的所述待调查区域的地面控制点坐标信息，并且将该第一图像以及该地面控制点坐标信息传输至服务器端的航线规划模块；
所述航线规划模块基于待调查区域相对应的卫星底图和采集的地面控制点坐标信息对所述第一图像，采用仿射变换模型对其进行图像校正处理，得到几何校正后的第一图像，使其具有对应的几何坐标信息，然后采用多尺度组合聚合分割算法以及多边形三角剖分骨架图技术，生成初始低飞航线，再采用预先训练好的YOLOv3障碍物识别模型，对所述初始低飞航线进行修正，得到最终低飞航线，所述航线规划模块将该最终低飞航线传输至移动终端；
所述移动终端接收并且展示所述第一图像、第二图像以及所述最终低飞航线，所述移动终端将获取的所述最终低飞航线传输至所述无人机平台，所述无人机平台根据所述最终低飞航线在空中飞行；
所述农作物识别模块接收所述第二图像，并且对该图像进行农作物识别，识别出该图像中的农作物种类，输出识别结果。


2.根据权利要1所述的一种基于无人机的农作物实时识别的系统，其特征在于，所述图像采集装置为像素值大于或者等于1200万的相机，所述农作物识别模块采用JetsonTX1芯片，并且该芯片中加载有已训练好的农作物识别模型，该模型是以DarkNet-53卷积神经网络作为提取特征的主干网络，基于COCODataset和所述无人机平台拍摄的农作物图像构成的数据集，使用YOLOv3目标检测算法训练出的模型，并且所述DarkNet-53卷积神经网络中的批量归一化层被替换为群组归一化层。


3.根据权利要2所述的一种基于无人机的农作物实时识别系统，其特征在于，用户在移动终端通过实时查看所述移动终端展示的所述第二图像以及最终低飞航线，若发现所述第二图像中的某一张或者某几张图像存在异常，则通过移动终端标记出异常图像对应的无人机低飞航线中的航点，并将该航点传输至无人机平台，所述无人机平台根据获取到的异常航点，重新拍摄该航点的图像；若无异常，用户通过移动终端发出指定给到所述农作物识别模块，所述农作物识别模块识别所述第二图像中的农作物种类。


4.根据权利要3所述的一种基于无人机的农作物实时识别系统，其特征在于，所述识别结果具体为所述第二图像中农作物的分类结果，并且该分类结果被标注在图像中相应的农作物位置处。

【专利技术属性】
技术研发人员：张慧芳，王彬窈，汤中港，宜树华，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32