一种除草机器人及其除草路径的规划方法、装置和介质制造方法及图纸

本发明专利技术公开了一种除草机器人及其除草路径的规划方法、装置和介质，所述方法包括以下步骤：基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述杂草目标特征，采用相机内跟踪杂草目标特征，以及多相机间跟踪杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草，从而基于相机内和相机间的跟踪，可靠的记录、追溯杂草的位置，以缓解图像处理延迟带来的有害影响，提高除草的精准度。准度。准度。

【技术实现步骤摘要】
一种除草机器人及其除草路径的规划方法、装置和介质


[0001]本专利技术实施例涉及除草机器人
，尤其涉及一种除草机器人及其除草路径的规划方法、装置和介质。

技术介绍

[0002]在倡导环境保护的前提下，大幅增加农作物的产量将是绿色可持续农业的主要任务。大多数有机农场不允许使用化学合成农业杀虫剂、除草剂，田间管理环节仍在使用人工除草，但是人工除草成本非常高。随着我国城镇化发展，田间除草所面临的两大问题：一是从事农业劳动的人员不断减少，用于除草的人力成本不断上升；二是环境保护意识不断提高，各地对除草剂使用量的限制程度不断增加。近年来，人工智能技术、机器人技术的出现为解决以上问题提供了有效途径。现有的物理除草机器人系统，可以成功清除植物行之间的杂草。但是，当杂草位于农作物的茎部时，清除植物茎部附近的杂草这是一项非常具有挑战性的任务。
[0003]目前，要准确定位杂草，首先要将杂草与有价值的农作物区分开。基于视觉的分类方法在这一领域已经被证明是有效的。然而视觉这种方法，通常使用复杂的卷积神经网络（CNN）会引入一个长而不确定的时间延迟，导致除草的精度大大降低，无法应用到真的的农业场景中，相关研究都处于试验阶段。另一方面，传统的单相机杂草追踪系统由于视场有限，往往不能适应长时间的杂草检测延迟。机器人行走过程中相机视角和视点的变化可能会引起对象外观的显着变化，尤其是对于那些高的杂草而言图像变化较大，传统方法很容易跟丢目标、误伤作物。

技术实现思路

[0004]本专利技术提供一种除草机器人及其除草路径的规划方法、装置和介质，基于相机内和相机间的跟踪，可靠的记录、追溯杂草的位置，以缓解图像处理延迟带来的有害影响，提高除草的精准度。
[0005]为实现上述目的，本专利技术第一方面实施例提出了一种除草机器人除草路径的规划方法，包括以下步骤：基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草。
[0006]根据本专利技术的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、
……
、第i相机、
……
、第N相机；所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据
所述除草路径进行除草包括以下步骤：获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；获取所述第i相机采集的第i图像，根据密度空间聚类方法提取所述第i图像中的目标特征，并与所述第i
‑
1杂草目标特征进行匹配，获取与所述第i
‑
1杂草目标特征对应的第i杂草目标特征，以及对应的杂草标签；根据所述第i杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N
‑
1杂草目标特征进行匹配，获取与所述第N
‑
1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径；其中，N≥2，1<i≤N，i和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。
[0007]根据本专利技术的一个实施例，沿所述除草机器人前进方向上依次间隔布置的第一相机、
……
、第j相机、
……
、第N相机；所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；获取所述第j相机采集的第j图像，通过第j相机重构出杂草的三维场景图，其中，所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种，三维场景建模使用GNSS接收机卫星定位信息，作物杂草三维场景图都是基于大地坐标系建立的；将第j
‑
1杂草目标特征以及杂草标签与所述三维场景图中的杂草匹配，然后分离出杂草的三维图，提取作物主茎秆的位置坐标，形成图像模板；获取所述第j+1相机采集的第j+1图像，根据密度空间聚类方法提取所述第j+1图像中的目标特征，并与所述图像模板进行匹配，获取所述第j+1杂草目标特征以及对应的杂草标签；根据所述第j+1杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N
‑
1杂草目标特征进行匹配，获取与所述第N
‑
1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径；其中，N≥2，1<j≤N，其中，j和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述
除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。
[0008]根据本专利技术的一个实施例，所述除草机器人除草路径的规划方法还包括：基于有督导神经网络的训练方法，获取轻量级目标检测器；在每次获取杂草目标特征以及对应的杂草标签之后，通过轻量级目标检测器重新处理每个相机采集的图像，以验证获取的杂草目标特征以及所述杂草标签是否正确。
[0009]根据本专利技术的一个实施例，沿所述除草机器人前进方向上的尾部设置的相机；在根据所述第N杂草目标特征以及对应的杂草标签，修正所述除草机器人的除草机械臂的除草路径后包括：控制所述除草机器人的除草机械臂依据所述除草路径进行除草；通过所述相机获取除草后的图像，并与所述第一图像进行对比分析，建立评价函数：，其中，所述第一图像中的杂草的总数量为n1、农作物的总数量为m1，根据所述第一图像和所述除草后的图像获取成功去除杂草的数量为n2、误伤农作物的数量为m2；依据评价函数S的值调整除草机械臂横摆驱动电机的控制参数。
[0010]根据本专利技术的一个实施例，所述基于神经网络模型训练，获取图像分割模型包括：在多个不同参数下通过相机采集多个原始图像，其中，所述参数包括作物的生长阶段、光照强度、温度、湿度、土壤类型和采集时间；对多个所述原始图像按照作物的生长阶段进行分类，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种除草机器人除草路径的规划方法，其特征在于，包括以下步骤：基于神经网络模型训练，获取图像分割模型，所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征；基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草。2.根据权利要求1所述的除草机器人除草路径的规划方法，其特征在于，沿所述除草机器人前进方向上依次间隔布置的第一相机、
……
、第i相机、
……
、第N相机；所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；获取所述第i相机采集的第i图像，根据密度空间聚类方法提取所述第i图像中的目标特征，并与所述第i
‑
1杂草目标特征进行匹配，获取与所述第i
‑
1杂草目标特征对应的第i杂草目标特征，以及对应的杂草标签；根据所述第i杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N
‑
1杂草目标特征进行匹配，获取与所述第N
‑
1杂草目标特征对应的第N杂草目标特征，以及对应的杂草标签；根据所述第N杂草目标特征以及对应的杂草标签，修正所述除草机器人的除草机械臂的除草路径；其中，N≥2，1<i≤N，i和N均为正整数；所述第N相机移动至所述第一相机位置的时间、以及所述第一相机至所述第N相机处理图像的时间之和，大于或等于所述除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。3.根据权利要求1所述的除草机器人除草路径的规划方法，其特征在于，沿所述除草机器人前进方向上依次间隔布置的第一相机、
……
、第j相机、
……
、第N相机；所述基于所述杂草目标特征，采用相机内跟踪所述杂草目标特征，以及多相机间跟踪所述杂草目标特征，规划除草机器人的除草机械臂的除草路径，以使所述机械臂根据所述除草路径进行除草包括以下步骤：获取所述第一相机采集的第一图像，调用所述图像分割模型对所述第一图像进行识别和分割，生成第一杂草目标特征及其杂草标签；获取所述第j相机采集的第j图像，通过第j相机重构出杂草的三维场景图，其中，所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种；将第j
‑
1杂草目标特征以及杂草标签与所述三维场景图中的杂草匹配，然后分离出杂草的三维图，提取作物主茎秆的位置坐标，形成图像模板；获取所述第j+1相机采集的第j+1图像，根据密度空间聚类方法提取所述第j+1图像中的目标特征，并与所述图像模板进行匹配，获取所述第j+1杂草目标特征以及对应的杂草标
签；根据所述第j+1杂草目标特征以及对应的杂草标签，规划所述除草机器人的除草机械臂的除草路径；依次类推，直至获取所述第N相机采集的第N图像，根据密度空间聚类方法提取所述第N图像中的目标特征，并与第N
‑
1杂草目标特征进行匹配，获取与所述第N
‑

【专利技术属性】
技术研发人员：崔龙飞，薛新宇，乐飞翔，孙涛，张宋超，陈晨，金永奎，徐阳，孙竹，丁素明，周晴晴，蔡晨，顾伟，孔伟，
申请(专利权)人：农业农村部南京农业机械化研究所，
类型：发明
国别省市：