一种植保无人机地面监控系统及其监控方法技术方案

本发明专利技术涉及一种植保无人机地面监控系统及其监控方法，监控系统以无人机为搭载平台，机器视觉为核心，对农田基本苗进行统计。监控系统具体包括用于拍摄图片集并对其进行拼接的地图采集系统；用于对拼接出的植保地图进行区域标记并预处理的区域图片处理系统；用于识别作物和杂草的卷积神经网络系统；以及用于统计得出区域内作物基本苗数目、从而估算整体基本苗个数的统计系统。本发明专利技术通过无人机搭载的视觉平台在数百亩的农田中随机选取数个区域进行识别统计，估算出整块田地的基本苗信息。通过无人机搭载的机器视觉平台采集图片序列并且拼接成一张目标农田的全景图，随后通过算法识别出图像中的基本苗并完成统计。

【技术实现步骤摘要】
一种植保无人机地面监控系统及其监控方法
本专利技术涉及无人机领域，具体涉及一种植保无人机地面监控系统及其监控方法。
技术介绍
现阶段基本苗的统计通常采用人工统计，随着经济的发展以及科学的进步，传统的统计方式耗时耗力。目前、机器视觉已经在人流，车流统计等众多领域上取得了卓越的成功。而在基本苗统计中的应用还处于起步阶段。对基本苗的统计的关键在于将图片或视频中的作物植株检测出来，机器视觉在农作物检测上的应用和研究较为成熟。传统的测量法是研究人员或农业作业者亲自来到农田里，在数百亩的农田中随机选取数个区域进行人工统计，再通过估计得到整块田地的基本苗信息。这样的统计方法需要大量的人工成本，并且人员在田间活动，可能会造成幼苗的损伤。通过无人机搭载的视觉平台及解决的了上述问题，还可以大幅度提高统计精准度和效率。
技术实现思路
专利技术目的：提供一种植保无人机地面监控系统，进一步目的是提出一种基于上述监控系统的监控方法，以解决现有技术存在的上述问题。技术方案：一种植保无人机地面监控系统，该监控系统以无人机为搭载平台，机器视觉为核心，对农田基本苗进行统计。监控系统具体包括用于拍摄图片集并对其进行拼接的地图采集系统；用于对拼接出的植保地图进行区域标记并预处理的区域图片处理系统；用于识别作物和杂草的卷积神经网络系统；以及用于统计得出区域内作物基本苗数目、从而估算整体基本苗个数的统计系统。在进一步的实施例中，所述地图采集系统进一步包括以预设路线巡航的无人机，排布设置在农田上的至少一个甚高频航向信标台、以及多个甚高频指点标；所述无人机下部悬挂有机器视觉模组。在进一步的实施例中，所述机器视觉模组包括至少一个主镜头和若干辅助镜头，辅助镜头通过镜头切换架实现切换；所述镜头切换架包括固定在所述无人机下部的伺服电机，通过联轴器与所述伺服电机的输出轴连接的转轴，以及固定在所述转轴一端的切换盘；所述切换盘的圆周设有镜头安装槽，所述辅助镜头安装在所述镜头安装槽内；所述辅助镜头包括长焦镜头、微距镜头、夜视镜头。在进一步的实施例中，所述区域图片处理系统进一步通过尺度不变特征变换算法将采集到的多份图片拼接成一张大图，并在得出的大图上随机标记出若干区域，采取预定阈值对图像进行二值化处理，去除颜色与作物相近的物体对识别带来的干扰。在进一步的实施例中，所述卷积神经网络系统进一步将作物和杂草标记以后放入设计好的CNN训练出合适的参数，将连通域分割出的图像逐一识别得出最后的结果。一种植保无人机地面监控方法，包括以下步骤：步骤1、通过无人机搭载的视觉平台对目标农田进行拍摄得到一组零散的图片集；步骤2、通过尺度不变特征变换算法对零散的图片集进行拼接；步骤3、在拼接得到的图上随机标记出若干区域；步骤4、将标记出的区域图片逐一的进行二值化、膨胀、腐蚀等操作，并标记出连通域；步骤5、通过采集的作物和杂草样本训练一个识别作物和杂草的卷积神经网络；步骤6、得出标记区域作物基本苗的数目，从而估算整体基本苗的个数。在进一步的实施例中，步骤1采用四旋翼无人机对目标农田进行拍摄时进一步包括如下姿态控制方法：步骤1-1、降低磁干扰：处于校准模式下，通过采集X、Y、Z三轴各自的最大值和最小值，来计算X偏移量、Y偏移量、Z偏移量：X偏移量＝(X最大值+X最小值)/2Y偏移量＝(Y最大值+Y最小值)/2Z偏移量＝(Z最大值+Z最小值)/2将偏移量计算结果存入中控机，各轴减去对应的偏移量得到校准硬磁后的磁场；步骤1-2、建立地球坐标系：坐标原点oe在地球中心，xe和ye在地球赤道面内，xe指向本初子午线，ze为地球自转轴；将地球坐标系转换为机体坐标系：其中姿态矩阵为：式中，θ表示机体纵轴与纵向水平轴之间的夹角，表示机体纵向对称面与纵向铅垂面之间的夹角，ψ表示机体纵轴在水平面xoy的投影与地理坐标系中本初子午线之间的夹角；步骤1-3、建立无人机姿态动力学模型：式中，m为质量；g为重力加速度；Ix,Iy,Iz为相对机体坐标系的转动惯量；l为螺旋桨中心到四旋翼中心的距离；Ui(i＝1,2,3,4)为控制输入，θ表示机体纵轴与纵向水平轴之间的夹角，表示机体纵向对称面与纵向铅垂面之间的夹角，ψ表示机体纵轴在水平面xoy的投影与地理坐标系中本初子午线之间的夹角，di(i＝1,2,3,4,5,6)为外部未知干扰；τ为未知时滞，表示无人机在X方向的动力学模型，表示无人机在Y方向的动力学模型，表示无人机在Z方向的动力学模型，表示无人机的俯仰角模型，表示滚转角模型，表示偏航角模型；步骤1-4、定义系统当前采样时间为k，上一时刻(即k-1)最优估计状态为根据对系统当前时刻状态进行预测，预测值记为矩阵A表示状态转移矩阵，uk表示当前时刻输入量，矩阵B表示系统控制矩阵，由两部分组成，一部分是上一时刻最优状态与矩阵A之间的乘积，另一部分是当前时刻输入量与矩阵B之间的乘积；步骤1-5、为表示预测模型的未知性，采用协方差矩阵方程，定义预测当前状态矩阵为Pk，得Pk＝APk-1AT+Q其中Pk-1为上一时刻协方差矩阵估算出的最优解，Q为预测模型固有噪声矩阵；步骤1-6、定义当前观测值为zk，当前观测矩阵为H，观测噪声的协方差矩阵为R，可得将预测值和观测值进行数据融合，得到当前状态的最优估计值为式中表示实际观测值与预测值之间的残差，K称为卡尔曼系数矩阵，K的表达式为K＝PkHT/[HPkHT+R]式中各符号含义同上。在进一步的实施例中，步骤2进一步包括通过尺度不变特征变换算法将采集到的多份图片拼接成一张大图，步骤3进一步包括在得出的大图上随机标记出若干区域，采取预定阈值对图像进行二值化处理，去除颜色与作物相近的物体对识别带来的干扰；步骤4进一步包括选用预定阈值对图片进行二值化，以去除颜色与作物相近的物体对识别带来的干扰，对于基本苗的植株还未长成一片、在图片上呈现一个个独立的个体的情况，采用连通域的方法将图片中的植株进行划分，给图像中每个连通域赋予一个唯一的、区别于其他连通域的标识：步骤4-1、通过扫描图像两遍完成图像中所有连通域标记的方法，第一遍按行扫描，给每个前景像素点一个标记；步骤4-2、扫描后相同连通域内的像素点有可能被标了不同的标记，但这些不同标记之间具有等价关系，因此，第二遍扫时需要将同一个连通域内的不同标记为一个相同的标记；步骤4-3、选取一个种子点，将与种子点相邻的所有前、背景像素归入同一个集合，形成一个连通域。在进一步的实施例中，步骤5进一步包括：步骤5-1、将区域图片转化为灰度值图片并进行滤波，设置三组参数(Lsize1，Lsize2)，(Msize1，Msize2)，(Fsize1，Fsize2)，且满足Lsize1≥Msize1≥Fsize1，Lsize2≥Ms本文档来自技高网...

【技术保护点】
1.一种植保无人机地面监控系统，其特征在于以无人机为搭载平台，机器视觉为核心，对农田基本苗进行统计。/n

【技术特征摘要】
1.一种植保无人机地面监控系统，其特征在于以无人机为搭载平台，机器视觉为核心，对农田基本苗进行统计。


2.根据权利要求1所述的一种植保无人机地面监控系统，其特征在于，所述监控系统包括：
用于拍摄图片集并对其进行拼接的地图采集系统；
用于对拼接出的植保地图进行区域标记并预处理的区域图片处理系统；
用于识别作物和杂草的卷积神经网络系统；
用于统计得出区域内作物基本苗数目、从而估算整体基本苗个数的统计系统。


3.根据权利要求2所述的一种植保无人机地面监控系统，其特征在于，所述地图采集系统进一步包括以预设路线巡航的无人机，排布设置在农田上的至少一个甚高频航向信标台、以及多个甚高频指点标；所述无人机下部悬挂有机器视觉模组。


4.根据权利要求3所述的一种植保无人机地面监控系统，其特征在于，所述机器视觉模组包括至少一个主镜头和若干辅助镜头，辅助镜头通过镜头切换架实现切换；所述镜头切换架包括固定在所述无人机下部的伺服电机，通过联轴器与所述伺服电机的输出轴连接的转轴，以及固定在所述转轴一端的切换盘；所述切换盘的圆周设有镜头安装槽，所述辅助镜头安装在所述镜头安装槽内；所述辅助镜头包括长焦镜头、微距镜头、夜视镜头。


5.根据权利要求2所述的一种植保无人机地面监控系统，其特征在于，所述区域图片处理系统进一步通过尺度不变特征变换算法将采集到的多份图片拼接成一张大图，并在得出的大图上随机标记出若干区域，采取预定阈值对图像进行二值化处理，去除颜色与作物相近的物体对识别带来的干扰。


6.根据权利要求2所述的一种植保无人机地面监控系统，其特征在于，所述卷积神经网络系统进一步将作物和杂草标记以后放入设计好的CNN训练出合适的参数，将连通域分割出的图像逐一识别得出最后的结果。


7.一种植保无人机地面监控系统进行的地面监控方法，其特征在于，包括以下步骤：
步骤1、通过无人机搭载的视觉平台对目标农田进行拍摄得到一组零散的图片集；
步骤2、通过尺度不变特征变换算法对零散的图片集进行拼接；
步骤3、在拼接得到的图上随机标记出若干区域；
步骤4、将标记出的区域图片逐一的进行二值化、膨胀、腐蚀等操作，并标记出连通域；
步骤5、通过采集的作物和杂草样本训练一个识别作物和杂草的卷积神经网络；
步骤6、得出标记区域作物基本苗的数目，从而估算整体基本苗的个数。


8.根据权利要求7所述的一种植保无人机地面监控方法，其特征在于：步骤1采用四旋翼无人机对目标农田进行拍摄时进一步包括如下姿态控制方法：
步骤1-1、降低磁干扰：处于校准模式下，通过采集X、Y、Z三轴各自的最大值和最小值，来计算X偏移量、Y偏移量、Z偏移量：
X偏移量＝(X最大值+X最小值)/2
Y偏移量＝(Y最大值+Y最小值)/2
Z偏移量＝(Z最大值+Z最小值)/2
将偏移量计算结果存入中控机，各轴减去对应的偏移量得到校准硬磁后的磁场；
步骤1-2、建立地球坐标系：坐标原点oe在地球中心，xe和ye在地球赤道面内，xe指向本初子午线，ze为地球自转轴；
将地球坐标系转换为机体坐标系：



其中姿态矩阵为：



式中，θ表示机体纵轴与纵向水平轴之间的夹角，表示机体纵向对称面与纵向铅垂面之间的夹角，ψ表示机体纵轴在水平面xoy的投影与地理坐标系中本初子午线之间的夹角；
步骤1-3、建立无人机姿态动力学模型：



式中，m为质量；g为重力加速度；Ix,Iy,Iz为相对机体坐标系的转动惯量；l为螺旋桨中心到四旋翼中心的距离；Ui(i＝1,2,3,4)为控制输入，θ表示机体纵轴与纵向水平轴之间的夹角，表示机体纵向对称面与纵向铅垂面之间的夹角，ψ表示机体纵轴在水平面xoy的投影与地理坐标系中本初子午线之间的夹角，di(i＝1,2,3,4,5,6)为外部未知干扰；τ为未知时滞，表示无人机在X方向的动力学模型，表示无人机在Y方向的动力学模型，表示无人机在Z方向的动力学模型，表示无人机的俯仰角模型，表示滚转角模型，表示偏航角模型；
步骤1-4、定义系统当前采样时间为k，上一时刻(即k-1)最优估计状态为根据对系统当前时刻状态进行预测，预测值记为



矩阵A表示状态转移矩阵，uk表示当前时刻输入量，矩阵B表示系统控制矩阵，由两部分组成，一部分是上一时刻最优状态与矩阵A之间的乘积，另一部分是当前时刻输入量与矩阵B之间的乘积；
步骤1-5、为表示预测模型的未知性，采用协方差矩阵方程，定义预测当前状态矩阵为Pk，得
Pk＝APk-1AT+Q

【专利技术属性】
技术研发人员：段纳，张正强，苗珍，孟国华，
申请(专利权)人：南京科沃信息技术有限公司，
类型：发明
国别省市：江苏;32