基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置制造方法及图纸

本发明专利技术公开了一种基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置，属于农作植保喷药技术领域，包括以下步骤：1)设定飞行路线；2)利用可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像，并将图像传输给处理器；3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；6)根据作物病害种类控制不同药箱的开口阀门。将热红外图像与可见光图像融合，可以包含更多的图像信息，提高病害判别的准确性。

【技术实现步骤摘要】
基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置
本专利技术涉及农作植保喷药
，具体地说，涉及一种基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置。
技术介绍
世界各国对植保无人机应用程度有所不同，但总的来说，农业航空技术是国家农业生产的重要组成部分，在农业生产中的应用比重不断加大。随着科技的迅速发展，无人机的使用已越来越广，农业相关的基础设施也在不断地改进，喷药无人机采用智能操控使用喷药无人机代替人工传统喷药设备来喷洒农药,大大减少了农业生产对劳动力的需求。小型无人机喷药具有地形适应性好、喷洒效果好、施药效率高、易操作等优点。无人机喷药多数为低量超地量喷洒，且操作人员远离施药区域，减少了农药中毒风险，无人机旋翼产生的向下气流还有助于增加雾流对作物的穿透性。日本是最早将微小型农用无人机用于农业生产的国家之一。1987年，Yamaha公司受日本农业部委托，生产出第一台农用无人机——20kg级喷药无人机“R-50”，之后日本将无人机直升机广泛应用于大田作物。经过20多年的发展，日本已经从1995年的307架增加到现在的2400多架，操作人员14000多人，成为世界上农用无人机喷药第一大国。美国是农业航空应用技术最成熟的国家之一，经历了由有人驾驶直升机植保技术向无人机植保技术的发展过程，现已形成较完善的农业航空产业体系。据统计，美国目前农用飞机达9000多架，占世界总拥有量的28％，农业航空对农业的直接贡献率为15％以上。除日本、美国之外，俄罗斯、韩国等国家也将植保无人机广泛应用于农业。俄罗斯地广人稀，拥有数目庞大的农用飞机作业队伍，数量高达1.1万架，年处理耕地面积约占总耕地面积的35％以上。韩国于2003年首次引进无人直升机用于农业航空作业。其后农用无人机数量以及农业航空作业面积都在逐年增加，韩国的农林水产食品部和农协中央会计划以后每年增加100架。20世纪50年代，我国开始开展航空施药技术的研究和应用，2004年由科技部863计划、农业部南京农机化所等开始对无人机植保进行研究和推广；2007年我国第一架工程型植保无人直升机的产业化探索；近两年全国范围内的推广试用。近年来随着民用无人机的发展，植保无人机也开始“飞”入寻常百姓家。根据相关人士称，随着土地流转规模的扩大，我国植保无人机产业存在着千亿元的潜在市场。虽然国内植保无人机发展前景可观，但目前发展仍面临着诸多障碍。目前的旋翼无人机空中喷药通常由人工操作，不够智能化，无法针对田块不同区域的病害情况进行精细化的变量喷药，造成药液浪费，影响喷药的效果。
技术实现思路
本专利技术的目的为提供一种基于可见光热红外图像融合的无人机遥感喷药一体化方法，将热红外图像与可见光图像融合，可以包含更多的图像信息，提高病害判别的准确性，发挥多源信息融合的优势。本专利技术的另一目的为提供一种基于可见光热红外图像融合的无人机遥感喷药一体化装置，该系统可用于实现上述无人机遥感喷药方法。为了实现上述目的，本专利技术提供的基于可见光热红外图像融合的无人机遥感喷药一体化方法包括以下步骤：1)设定飞行路线，使无人机按照设定的飞行路线飞行；2)利用搭载在无人机上的可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像；3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；6)根据作物病害种类控制不同药箱的开口阀门，进行喷药。红外热成像技术是利用物体自身各部分对红外热辐射的差异把红外辐射图像转换为可视图像的技术，该技术可根据病害侵染作物叶片时，叶片表面温度会出现变化，从而判断作物是否发生病害，甚至可以对植物病害进行预测。可见光图像能更加直接的通过颜色反映植物的病害情况，热红外图像能通过叶面温度变化判断病害情况，如果能将可见光图像和热红外图像融合，提高油菜病害的判别准确率，实现更加精准的变量喷药。上述技术方案中，将热红外图像与可见光图像融合，可以包含更多的图像信息，提高病害判别的准确性，发挥多源信息融合的优势。实现对病害的提前预测和实时防治，在保证治理农作物现有病害的同时，提早发现农作物存在的病害情况有助于在病害的萌芽时期遏制其扩散，可大大减小病害所造成的损失具体的方案为步骤1)中的飞行路线设定为“几”字形。另一个具体的方案为步骤2)中的可见光相机和热红外相机分别对无人机前方45°的农田作物进行图像采集。可以很好的避免低空飞行产生的风场带来的影响。另一个具体的方案为步骤3)中对可见光图像和热红外图像进行配准的过程包括：3-1)对热红外图像进行二值化处理，利用射线轮廓特征点提取的方法提取热红外图像特征点集A；并对可见光图像进行预处理得到作物的叶片边缘图像IO；3-2)待配准的可见光图像IO和热红外图像IIR的对应点间满足下式的变换关系：其中，(x，y)为热红外图像IIR的像素点坐标；(x0，y0)为可见光图像IO中对应的配准点；sx，sy为不同坐标方向上的尺度变换因子；θ为IO和IIR之间的旋转变换因子；bx，by为不同坐标方向上的平移变换因子；改变变换尺度变换因子sx，sy，求出变换后的区域中心坐标(xi，yi)，根据热红外图像相同的间隔角度提取可见光图像特征点集B；3-3)对热红外图像特征点集A和可见光图像特征点集B进行最大最小距离计算，并取前k个求和，得到求和结果最小的变换尺度因子，完成可见光和热红外图像配准。图像配准的过程即确定最佳平移因子、选择因子和尺度因子。步骤3-1)中采用射线轮廓特征点提取方法进行特征点提取，具体方式为确定作物轮廓质点，以质点为原点做间隔θ角度的射线，将射线与轮廓的交点作为特征点。更具体的方案为步骤3-2)待配准的可见光图像IO和热红外图像IIR的对应点间满足下式的变换关系：其中，b0为可见光相机和热红外相机中心点之间的水平距离，为确定值。图像采集可以同时获得可见光、热红外图像，两个图像中心点在水平方向有微小的偏移，竖直方向相同且无旋转，因此可以简化成上述式子，配准过程仅需确定两个坐标方向最优的尺度变换因子，这降低了计算复杂度，同时参量的减少可以提高配准精度。更具体的方案为步骤3)中对配准后的可见光图像和热红外图像进行融合的过程包括：3-4)对热红外图像IIR和可见光图像IO分别进行J级L方向多尺度、多方向NSCT分解，得到两个图像不同尺度、方向上子带图像的NSCT系数，低频子带图像系数记为各级带通子带图像系数记为3-5)按照低频子带图像系数融合规则和带通子带图像系数融合规则进行系数融合，得到融合图像的低频子带系数和带通子带系数3-6)对进行NSCT逆变换，得到融合图像IF。经过NSCT分解进行油菜热红外和可见光图像的融合，NSCT可以在保证作物热红外图像中病斑与叶片差异优势的同时，又保留可见光图像中作物叶片病斑灰度分布较为一致的特征，以获取一个病斑轮廓特征明显的融合效果。根据融合图像的病斑大小轮廓以及颜色特征，对所采集数量足够的图像IF建立作物病害种类判别模型，由于融合图像IF与可见光图像、热红外图像相比较包含更多的信息，因此大大提升了判别模型的本文档来自技高网...

【技术保护点】
1.一种基于可见光热红外图像融合的无人机遥感喷药一体化方法，其特征在于，包括以下步骤：1)设定飞行路线，使无人机按照设定的飞行路线飞行；2)利用搭载在无人机上的可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像；3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；6)根据作物病害种类控制不同药箱的开口阀门，进行喷药。

【技术特征摘要】
1.一种基于可见光热红外图像融合的无人机遥感喷药一体化方法，其特征在于，包括以下步骤：1)设定飞行路线，使无人机按照设定的飞行路线飞行；2)利用搭载在无人机上的可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像；3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；6)根据作物病害种类控制不同药箱的开口阀门，进行喷药。2.根据权利要求1所述的无人机遥感喷药一体化方法，其特征在于：步骤1)中所述的飞行路线设定为“几”字形。3.根据权利要求1所述的无人机遥感喷药一体化方法，其特征在于：步骤2)中所述的可见光相机和热红外相机分别对无人机前方45°的农田作物进行图像采集。4.根据权利要求1所述的无人机遥感喷药一体化方法，其特征在于，步骤3)中对可见光图像和热红外图像进行配准的过程包括：3-1)对热红外图像进行二值化处理，利用射线轮廓特征点提取的方法提取热红外图像特征点集A；并对可见光图像进行预处理得到作物的叶片边缘图像IO；3-2)待配准的可见光图像IO和热红外图像IIR的对应点间满足下式的变换关系：其中，(x,y)为热红外图像IIR的像素点坐标；(x0,y0)为可见光图像IO中对应的配准点；sx，sy为不同坐标方向上的尺度变换因子；θ为IO和IIR之间的旋转变换因子；bx，by为不同坐标方向上的平移变换因子；改变变换尺度变换因子sx，sy，求出变换后的区域中心坐标(xi,yi)，根据热红外图像相同的间隔角度提取可见光图像特征点集B；3-3)对热红外图像特征点集A和可见光图像特征点集B进行最大最小距离计算，并取前k个求和，得到求和结果最小的变换尺度因子，完成可...

【专利技术属性】
技术研发人员：刘飞，郭晗，曹峰，赵懿滢，申婷婷，王唯，何勇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33