一种作物病害的机器人自主超近全景检测定位系统与方法技术方案

本发明专利技术公开了一种作物病害的机器人自主超近全景检测定位系统与方法，涉及农业机器人领域。机器人自主超近全景检测定位系统包括冠层超近景自适应探测装置和冠层仿形全景捕获装置，通过冠层超近景自适应调节和冠层形态匹配仿形，解决机器人对冠层大差异形态的自主适应和调节；通过冠层全景捕捉拼接方法，实现机器人对冠层超近景三维图像信息的完整获取；进而由病害多层特征模型训练和病害预检

【技术实现步骤摘要】
一种作物病害的机器人自主超近全景检测定位系统与方法


[0001]本专利技术涉及农业机器人
，特别涉及一种作物病害的机器人自主超近全景检测定位系统与方法。

技术介绍

[0002]近年来，中国已成为作物病害多发的国家，作物病害检测已成为我国农业生产的重要问题。目前病害巡检机器人主要依赖田间大场景逐行全冠拍摄和后期海量数据处理，且机器人搭载视觉系统单一视角拍摄，受作物与相机距离、角度、遮挡等因素影响而无法可靠获取植株不同部位的早期病斑特征。同时，仅依赖RGB图像的病害检测方法，易受到田间光照变化、叶片扭曲和病斑角度姿态影响，适用于病害一定程度爆发下的检测。目前急需一种高效精准的病害检测系统与方法，提高农业生产的防病害能力，实现农作物生长环节的精细化和智能化管控。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种作物病害的机器人自主超近全景检测定位系统与方法。
[0004]本专利技术是通过以下技术手段实现上述技术目的的。
[0005]一种作物病害的机器人自主超近全景检测定位方法，包括：
[0006]以深度相机位于柔性变形齿条中心处拍摄的RGB图像为基图，深度相机位于柔性变形齿条两端处拍摄的RGB图像为辅图，辅图与基图进行相似特征点检测，实现不同视点的RGB图像拼接，建立冠层全景RGB图像A；根据颜色
‑
深度和红外热相机的坐标对齐关系，拼接出冠层全景三维深度点云数据集B和全景红外热图像C；
[0007]按照病害类型对应RGB颜色特征、RGB形态特征和热图像温差特征的顺序，依次植入深度学习网络中进行多级特征的逐次训练得到特征图，且将特征加权重聚合，获取冠层多病害多特征固化比对模型；
[0008]将全景RGB图像A输入冠层多病害多特征固化比对模型，依次进行RGB颜色和RGB形态特征图在线比对，判断出全景RGB图像与颜色
‑
形态特征综合相似度最高的病害区域；
[0009]将全景红外热图像C输入冠层多病害多特征固化比对模型，进行染病
‑
健康区域热温差特征在线比对，若检测出全景红外热图像C存在病害温度特征，则冠层的初检存在病害并定位可疑区域C1，反之则无病害；
[0010]根据初检的可疑区域C1，控制系统进行红外热相机和深度相机的坐标矩阵转换对齐，定位出冠层全景三维深度点云数据集B中的可疑区域B1，控制系统驱动伺服电机向可疑区域B1的正上方运动，深度相机和红外热相机对可疑区域进行自动对焦拍摄，分别得到可疑区域的RGB图像A2和红外热图像C2；控制系统再将所述A2和C2输入到冠层多病害多特征固化比对模型中，完成对可疑区域的复检确定病害种类；
[0011]所述RGB颜色特征、RGB形态特征由全景RGB图像获取，所述热图像温差特征由全景
红外热图像获取。
[0012]进一步的技术方案，还包括：
[0013]将深度相机视场中心与正下方冠层点云坐标沿Z方向的坐标差H4与深度相机与冠层表面的预设高度
△
H进行在线比对，调节深度相机高度，自适应冠层超近景；
[0014]柔性变形齿条与植物冠层形态匹配仿形。
[0015]进一步的技术方案，所述调节深度相机高度的具体过程为：
[0016]由所述坐标差H4与预设高度
△
H进行在线比对，确定伺服升降杆电机的运动圈数N和方向，且：
[0017][0018]其中C为伺服升降杆电机运动一圈的距离；
[0019]当
△
H
‑
H4>0时，伺服升降杆电机正转带动深度相机向上运动，使得
△
H＝H4；当
△
H
‑
H4<0时，伺服升降杆电机反转带动深度相机向下运动，使得
△
H＝H4。
[0020]进一步的技术方案，所述柔性变形齿条与植物冠层形态匹配仿形具体为：在机器人工作前，将柔性变形齿条弯折成植物冠层相应的形态。
[0021]进一步的技术方案，所述病害类型根据以下方式确定：
[0022]以全景RGB图像的颜色、形态特征建立一级特征、二级特征的双语义上文特征标签集，以全景红外热图像的染病
‑
健康区域的温差建立三级特征的单语义下文特征标签集，对RGB颜色
‑
形态和红外热图像温差进行逐一标记，构建上下文融合匹配的作物冠层多类病害特征训练集，确定病害类型。
[0023]进一步的技术方案，所述基图和辅图获取时，深度相机以设定的水平视角[
‑
α,α]和竖直视角[
‑
β3,β3]进行信息采集，红外热相机4以设定的水平视角[
‑
α,α]和竖直视角[
‑
β1,β2]进行信息采集，且：
[0024][0025][0026][0027][0028]其中：W1为统计的冠层横向展幅，W2为统计的冠层横向纵向展幅，S为深度相机和红外热相机水平间距，
△
H为预设高度。
[0029]一种作物病害的机器人自主超近全景检测定位系统，包括：
[0030]冠层超近景自适应探测装置，包括深度相机和伺服升降杆，基于深度相机与冠层表面的预设高度，通过伺服升降杆带动深度相机和红外热相机进行移动；
[0031]冠层仿形全景捕获装置，包括伺服电机、齿轮和柔性变形齿条，伺服电机与齿轮连接，齿轮与柔性变形齿条啮合，冠层超近景自适应探测装置与伺服电机通过支架安装为一
个整体，实现冠层超近景自适应探测装置在柔性变形齿条中心位置及两端位置之间的移动。
[0032]上述技术方案中，所述柔性变形齿条位于轴承和齿轮的中间空隙处，所述齿轮固定于传动支架下方内侧H3处，所述轴承固定于传动支架下方内侧H1处，且H1＞H3。
[0033]上述技术方案中，所述柔性变形齿条中心位置安装接近开关Ⅱ，所述柔性变形齿条两端位置分别安装有接近开关Ⅰ和接近开关Ⅲ。
[0034]上述技术方案中，所述柔性变形齿条两端可拆卸安装在机器人支架上。
[0035]本专利技术的有益效果为：针对现有病害检测视角单一和图像信息不全等关键问题，本专利技术通过冠层超近景自适应调节和冠层形态匹配仿形，解决机器人对冠层大差异形态的自主适应和调节；通过冠层全景捕捉拼接方法，实现机器人对冠层超近景三维图像信息的完整获取；进而由病害多层特征模型训练和病害预检
‑
复检逐级诊断方法，实现机器人对病害部位的自主对焦和精准诊断；本专利技术解决了机器人作业时，对病害漏检、误检等难题，提高机器人对复杂冠层下病害的检测精度。
附图说明
[0036]图1为本专利技术所述作物病害的机器人自主超近全景检测定位系统局部结构示意图；
[0037]图2为本专利技术所述圆弧形冠层仿形示意图；
[0038]图3为本专利技术所述一字形冠层仿形示意图；
[0039]图4为本专利技术所述倒V本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作物病害的机器人自主超近全景检测定位方法，其特征在于：以深度相机位于柔性变形齿条中心处拍摄的RGB图像为基图，深度相机位于柔性变形齿条两端处拍摄的RGB图像为辅图，辅图与基图进行相似特征点检测，实现不同视点的RGB图像拼接，建立冠层全景RGB图像A；根据颜色
‑
深度和红外热相机的坐标对齐关系，拼接出冠层全景三维深度点云数据集B和全景红外热图像C；按照病害类型对应RGB颜色特征、RGB形态特征和热图像温差特征的顺序，依次植入深度学习网络中进行多级特征的逐次训练得到特征图，且将特征加权重聚合，获取冠层多病害多特征固化比对模型；将全景RGB图像A输入冠层多病害多特征固化比对模型，依次进行RGB颜色和RGB形态特征图在线比对，判断出全景RGB图像A与颜色
‑
形态特征综合相似度最高的病害区域；将全景红外热图像C输入冠层多病害多特征固化比对模型，进行染病
‑
健康区域热温差特征在线比对，若检测出全景红外热图像C存在病害温度特征，则冠层的初检存在病害并定位可疑区域C1，反之则无病害；根据初检的可疑区域C1，控制系统进行红外热相机和深度相机的坐标矩阵转换对齐，定位出冠层全景三维深度点云数据集B中的可疑区域B1，控制系统驱动伺服电机向可疑区域B1的正上方运动，深度相机和红外热相机对可疑区域进行自动对焦拍摄，分别得到可疑区域的RGB图像A2和红外热图像C2；控制系统再将所述A2和C2输入到冠层多病害多特征固化比对模型中，完成对可疑区域的复检确定病害种类；所述RGB颜色特征、RGB形态特征由全景RGB图像获取，所述热图像温差特征由全景红外热图像获取。2.根据权利要求1所述的机器人自主超近全景检测定位方法，其特征在于，还包括：将深度相机视场中心与正下方冠层点云坐标沿Z方向的坐标差H4与深度相机与冠层表面的预设高度
△
H进行在线比对，调节深度相机高度，自适应冠层超近景；柔性变形齿条与植物冠层形态匹配仿形。3.根据权利要求2所述的机器人自主超近全景检测定位方法，其特征在于，所述调节深度相机高度的具体过程为：由所述坐标差H4与预设高度
△
H进行在线比对，确定伺服升降杆电机的运动圈数N和方向，且：其中C为伺服升降杆电机运动一圈的距离；当
△
H
‑
H4>0时，伺服升降杆电机正转带动深度相机向上运动，使得
△
H＝H4；当
△
H
...

【专利技术属性】
技术研发人员：刘继展，赵升燚，金煜杰，雷小洁，袁子喻，吴硕，
申请(专利权)人：江苏大学，
类型：发明
国别省市：