一种基于图像的无人机农业巡检轨迹实时规划方法技术

本发明专利技术公开了一种基于图像的无人机农业巡检轨迹实时规划方法，对无人机农业巡检轨迹实时规划引入图像识别与惯性器件融合。基于农作物的色度、亮度的特征处理，得到种植区域的边界；而基于磁力计与陀螺仪融合得到航向角，控制航向角保持不变；基于微波雷达与加速度计的卡尔曼滤波，可以得到无人机与作物顶端的相对高度，可以根据这三点对无人机进行轨迹实时规划，最后将实时规划出的轨迹方向提供给无人机飞行控制器，无人机自主飞行完成农作物区域巡检。

【技术实现步骤摘要】
一种基于图像的无人机农业巡检轨迹实时规划方法
本专利技术涉及农业巡检与电子信息
，具体地说是一种识别农作物边界并实时规划无人机巡检路径的方法。
技术介绍
农田作物的农情分析是植物保护的重要工作之一，其可以对作物受病虫害感染状况、作物倒伏情况、长势及产量做出快速、准确的预测。特别对于突发性的病害虫害而言，利用高性能处理器技术可以准确识别人眼难以分辨的变化，诸如作物特定部位的颜色、纹理等细小变化。传统的农情分析是在田间选择并划定多个采样区块，利用人工进入田间对病害等进行甄别，从而确定相应的受害等级及程度。这种方法存在准确性低、工作量大、劳动强度大的问题。国内电力部门在智能巡检方面进行了优化设计，设计了变电站、输电线路、大中型电力器件等智能巡检装置，其中输电线路巡检方面开发了一些智能化巡检无人机运动控制系统或装置。但是农作物种植区因成本、供电限制、不易操作等原因，不能将现有的智能巡检装置照搬到农业巡检任务中。近年来随着无人机在各个领域的不断拓展与应用，农业领域的无人机应用成为了一个新的研究热点，利用无人机进行低空遥感成为了实现智能农业的重要步骤。国内外的许多研究机构将无人机遥感应用到农田估产、病虫害检测、土壤信息获取等等，使得农用无人机发展速度大幅提升。其利用高精度RTKGPS,高精度惯性器件构成低空无人机遥感平台，对目标田块进行图像采集，该方法存在以下缺点：(1)由于通常微小型无人机载荷通常较小、续航时间较短，而搭载的设备通常需要由无人机电源供电，RTKGPS相对无人机自身而言增加了不少重量，从而减少了无人机的续航时间；(2)GPS需要事先进行人工背负仪器标点，劳动量大；(3)部分地区GPS信号较弱，无法达到高精度状态；(4)由于RTKGPS的成本高昂，坠机后维修成本较高。
技术实现思路
专利技术目的：为了克服上述现有技术的不足，本专利技术的目的在于提供一种不需要高精度RTKGPS,高精度惯性器件的数据，可以根据普通摄像头的图像信息与消费级惯性器件数据融合，进行无人机农业巡检轨迹实时规划的方法。本专利技术适用于同类作物农业区域巡检，具有成本低、效率高、通用性高的特点。其特征在于具体包括如下步骤：步骤S1：作物图像信息采集过程：通过摄像头拍摄需要巡检作物，收集作物亮度，色度，形状信息；步骤S2：边界图像信息采集过程：通过摄像头拍摄需要巡检作物周围的非作物色度信息；步骤S3：校准惯性器件过程：对陀螺仪，气压计静止校准，对磁力计，加速度计进行六面校准；步骤S4：巡检过程：手动将无人机起飞,无人机记录起飞普通GPS坐标，遥控无人机到巡检边界上空；无人机将开始自动拉升高度，飞至凸点，开始巡检农作物，将加速度计值毫米波雷达数据融合，进行仿地飞行；步骤S5：利用磁力计解算航向角，控制航向不变，无人机进行翻滚方向运动，直至识别到边界时，则进入步骤S6；步骤S6：边界识别过程：图像经过处理后，出现边界信息，并且边界运动方向与无人机运动方向相反，则确认边界，无人机沿边界方向运动一个步长(可根据作物种植特点设置)；步骤S7：返航过程：重复步骤S5，当执行步骤S6后，图像中失去作物信息，无人机拉升高度，检查前方是否存在作物区域，若存在，则飞行至作物上空，重复步骤S5，若不存在，则根据坐标计算航向角，进行偏航运动，后飞回起飞点寻找适合地点降落。上述技术方案中，步骤S1，S2图像信息采集过程，通过摄像头多次采集作物区的图像信息，提取图像的平均色度，平均亮度，将这些信息分别存入作物区图像信息数组与非作物区图像信息数组，为后续图像处理提供匹配比较和判断。上述技术方案中，步骤S3校准陀螺仪时，静置10s，以1kHz采取原始数据，三轴分别求均值，作为零偏，气压计以50Hz采取原始数据求均值，作为零偏。加速度计与磁力计校准，采用六面校准，依据地球重力与地磁力矢量长度不变(x+a)2+(y+b)2+(z+c)2＝R2，x，y，z是加速度计与磁力计在机体坐标系的三轴数据,用均值法求解a，b，c，作为零偏。上述技术方案中，步骤S4将加速度与微波雷达进行卡尔曼数据融合时，作为系统状态，height为飞机高度，v为飞机垂直速度，X(k)＝A*X(k-1)+B*U(k)+W(k),U(k)为输入量，即Z轴运动加速度，为过程噪声。Z(k)＝H*X(k)+V(k),Z(k)为微波雷达测得高度，H＝[10]，为微波雷达测量噪声，将这些数值带入进行迭代即可得到与作物顶端的高度差的最优估计值。Z轴运动速度与Z轴高度差构成高度闭环控制的串级PID，进而实现仿地飞行。上述技术方案中，步骤S5磁力计解算航向角，使用HMC5983地磁传感器，通过IIC通讯读出地磁在三轴的分量，取出X轴的分量MAG_X，Y轴分量MAG_Y，由公式解算出传感器X轴正方向与地磁正南方向的偏角，将此数值传入PID控制单元中实现角度闭环上述技术方案中，步骤S6边界识别过程，无人机升空，达到指定高度后开始读取摄像头的图像数据，处理图像信息。①读出图片的RGB三维数组矩阵，对其进行双边滤波，弱化纹理特征，保留边界特征。②得到双边滤波后的三维数组矩阵，通过RGB转HSL的算法，求出每个像素的色度值(Hue)并按位置顺序存储使用色度可以有效的辨识图像颜色变化，且降低图像受光照强度变化的影响,并且降低图像计算规模，将三维图像数组降维成二维数组。③找出二维数组的最大最小值，以之为上下限(255和0)对二维矩阵整体放大差异，并按照此值重写二维矩阵。④对整张二维图像进行灰度-频数统计，找出介于最中间两频度高峰值之间的谷底值，以此值所对应的灰度值作为二值化阈值对色度图进行二值化。⑤对二值化后的图像数组进行形态学处理以消除噪点，采用的方法是先对二维图片矩阵进行腐蚀操作再进行膨胀操作。⑥对形态学处理后的图像进行求二维梯度运算，求出黑白跳变区域。对整张图片进行分块，检测每个区块对应的梯度二维矩阵区域的跳变像素的个数，当大于预设阈值时，视为该区块中包括边界，跳出判断循环。最后得到一张是否包含边界的区块二维01数组。对于检测方法，当图片尺寸较大时，会对区块间隔横向和纵向采集，若未采集到跳变像素，则视为该区块不包含边界，跳出此区块搜索。对比传统的无人机农业巡检轨迹方法如手动飞行、RTKGPS定点规划，本专利技术方法特有之处在于：(1)引入了图像特征处理，基于这样一种机制，无人机不仅能够拍摄农作物生长状态，且能够实时规划飞行轨迹，同时能够进行仿地飞行。(2)传统的无人机路径规划方法由于未引入图像特征处理，面对种植区域稍有改变，规划结果并没有对现有的巡检有任何帮助。本方法摆脱传统的三维路径规划对RTKGPS性能的依赖，完善了四旋翼无人机的自主轨迹规划的方法，提高了四旋翼无人机的轨迹规划能力和农作物区域巡检效率。附图说明附图1为本专利技术的无人机农业巡检轨迹实时规划示意图。附图2为无人机拍摄的待处理图片。附图3为图2经过本专利技术中边界识别算法后效果图。附图4为边界矩阵示意图。附图5本专利技术的巡检过程中仿地飞行示意图。具体实施方式下面结合附图和实例对本专利技术作更进一步的说明。步骤S1：作物图像信息采集过程：通过摄像头拍摄需要巡检作物，收集作物亮度，色度，形状信息；步骤S2：边界图像信息采集过程：通过摄像头拍摄需要巡检作物周围的非作物色度信息；步骤S本文档来自技高网...

【技术保护点】
1.一种基于图像的无人机农业巡检轨迹实时规划方法，其特征在于，包括以下步骤：步骤S1：作物图像信息采集过程：通过摄像头拍摄需要巡检作物，收集作物亮度，色度，形状信息；步骤S2：边界图像信息采集过程：通过摄像头拍摄需要巡检作物周围的非作物色度信息；步骤S3：校准惯性器件过程：对陀螺仪，气压计静止校准，对磁力计，加速度计进行六面校准；步骤S4：巡检过程：手动将无人机起飞,无人机记录起飞普通GPS坐标，遥控无人机到巡检边界上空；无人机将开始自动拉升高度，飞至凸点，开始巡检农作物，将加速度计值毫米波雷达数据融合，进行仿地飞行；步骤S5：利用磁力计解算航向角，控制航向不变，无人机进行翻滚方向运动，直至识别到边界时，则进入步骤S6；步骤S6：边界识别过程：图像经过处理后，出现边界信息，并且边界运动方向与无人机运动方向相反，则确认边界，无人机沿边界方向运动一个步长；步骤S7：返航过程：重复步骤S5，当执行步骤S6后，图像中失去作物信息，无人机拉升高度，检查前方是否存在作物区域，若存在，则飞行至作物上空，重复步骤S5，若不存在，则根据坐标计算航向角，进行偏航运动，后飞回起飞点寻找适合地点降落。

【技术特征摘要】
1.一种基于图像的无人机农业巡检轨迹实时规划方法，其特征在于，包括以下步骤：步骤S1：作物图像信息采集过程：通过摄像头拍摄需要巡检作物，收集作物亮度，色度，形状信息；步骤S2：边界图像信息采集过程：通过摄像头拍摄需要巡检作物周围的非作物色度信息；步骤S3：校准惯性器件过程：对陀螺仪，气压计静止校准，对磁力计，加速度计进行六面校准；步骤S4：巡检过程：手动将无人机起飞,无人机记录起飞普通GPS坐标，遥控无人机到巡检边界上空；无人机将开始自动拉升高度，飞至凸点，开始巡检农作物，将加速度计值毫米波雷达数据融合，进行仿地飞行；步骤S5：利用磁力计解算航向角，控制航向不变，无人机进行翻滚方向运动，直至识别到边界时，则进入步骤S6；步骤S6：边界识别过程：图像经过处理后，出现边界信息，并且边界运动方向与无人机运动方向相反，则确认边界，无人机沿边界方向运动一个步长；步骤S7：返航过程：重复步骤S5，当执行步骤S6后，图像中失去作物信息，无人机拉升高度，检查前方是否存在作物区域，若存在，则飞行至作物上空，重复步骤S5，若不存在，则根据坐标计算航向角，进行偏航运动，后飞回起飞点寻找适合地点降落。2.根据权利要求1所述的一种基于图像的无人机农业巡检轨迹实时规划方法，其特征在于，步骤S1，S2图像信息采集过程，通过摄像头多次采集作物区的图像信息，提取图像的平均色度，平均亮度，将这些信息分别存入作物区图像信息数组与非作物区图像信息数组，为后续图像处理提供匹配比较和判断。3.根据权利要求1所述的一种基于图像的无人机农业巡检轨迹实时规划方法，其特征在于，步骤S3校准陀螺仪时，静置10s，以1kHz采取原始数据，三轴分别求均值，作为零偏，气压计以50Hz采取原始数据求均值，作为零偏，加速度计与磁力计校准，采用六面校准，依据地球重力与地磁力矢量长度不变(x+a)2+(y+b)2+(z+c)2＝R2，x，y，z是加速度计与磁力计在机体坐标系的三轴数据,用均值法求解a，b，c，作为零偏。4.根据权利要求1所述的一种基于图像的无人机农业巡检轨迹实时规划方法，其特征在于，步骤S4中，将加速度计值毫米波雷达数据融合，作为系统状态，height为飞机高度，v为飞机垂直速度，X(k)＝A*X(k-1)+B*U(k)+W(k),U(k)为输入量，即Z轴运动加速度，为过程噪声...

【专利技术属性】
技术研发人员：孙志伟，沈跃，刘慧，许一航，胡方圆，王小雨，何思伟，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32