【技术实现步骤摘要】
本专利技术涉及农业机器人，具体地涉及一种基于多目标识别的果蔬管理方法、介质、处理器及机器人。
技术介绍
1、智慧农业的各个环节都离不开智能化的农机作业，由于果蔬采摘规则相较于简单，智慧机器人进行果蔬采摘取得了一些进展，但整枝、打叶等农事作业规则相较于采摘更复杂，对于果蔬智能装备的设计提出了很大的挑战。
2、此外，将整枝、打叶、采摘的不同任务集成在一个农业智慧管理设备完成，也很有必要。
技术实现思路
1、本专利技术实施例的目的是提供一种方法，该方法能够使一个农业管理机器人根据识别出的枝条、叶子、和果实的状态完成不同的管理任务。
2、为了实现上述目的，本专利技术实施例提供一种基于多目标识别的果蔬管理方法，包括：
3、获取管理机器人在种植区域内的行动路径；
4、控制管理机器人沿行动路径行动，并通过机器视觉模块获取所路经的各植株图像；及
5、依次从相应的植株图像中识别管理机器人所经过的每一植株，并完成整枝、和/或摘叶、和/或采收的管理任务。
6、其中，整枝、摘叶、采收的管理任务分别通过经过深度学习的枝条、叶子、果实检测模型识别相应植株图像中的枝条、叶子、和果实的状态来完成。
7、可选的，机器视觉模块包括：
8、工业相机，用于捕捉植株的图像或者视频；
9、视觉单元，用于检测目标在图像或者视频帧中的位置，其中，目标为所要识别的枝条、叶子、或果实。
10、优选的，枝条检测模型为
11、通过机器视觉模块，收集果蔬的包含有不同形态的侧枝和主枝的一组样本图像；
12、通过labelme在每个样本图像中标注各枝条的标记点，每个标记点均包括位置和枝条类别信息；及
13、汇总整理各样本图像中的标记点，并生成mask文件。
14、优选的，叶子检测模型为shufflenet v2模型，用于识别植株的病叶和老叶，训练所用的数据集，通过以下步骤获得：
15、通过机器视觉模块，收集果蔬的包含有不同叶部病害的一组样本图像；按病害类别，将样本图像分别保存在相应的目录下；及
16、创建标签文件，并按行将病害的类别名索引写入该标签文件。
17、优选的，果实检测模型为yolov5模型用于识别果实的成熟度，训练所用的数据集，通过以下步骤获得：
18、通过机器视觉模块，收集果蔬的包含有不同生长状态的果实的一组图像；
19、通过labelme在每个样本图像中标记出果实的位置、成熟状态；及
20、创建各样本图像相应的说明文件，该说明文件记录有各个标记的对象的标签以及边界框的坐标。
21、进一步的，yolov5模型的训练中，增加如下特征提取处理，以增加对小目标的检测精度：
22、在颈部网络结构中的第三个卷积层后，增加上采样层、第一特征融合层和第一c3模块，以获得更大的特征图，并获得对小目标的检测口；及
23、在所述第一c3模块后，增加卷积层、第二特征融合层和第二c3模块，以使得所述更大的特征图恢复为所述颈部网络结构中的特征图原有大小，
24、其中，所述第一特征融合层是将所述上采样层得到的特征图与主干网络部分的第一个c3操作层得到的特征图进行融合；
25、所述第二特征融合层是将所述卷积层得到的特征图与所述上采样层等到的特征图进行融合。
26、可选的，所述yolov5模型的训练中，增加如下特征融合处理，以增加对中目标的检测精度：
27、将颈部网络结构的第三个卷积层的上一层得到的特征图与所述颈部网络结构的第一次上采样层得到的特征图进行融合，以得到较高精度的特征图，并获得对中目标的检测口。
28、优选的，yolov5网络模型的训练中，在注意力模块通过能量函数度量神经元之间的线性可分性，以确定重要的神经元，
29、其中，能量函数的计算公式为：
30、
31、式中，t表示神经元，λ为超参数，
32、和的表达式分别为：
33、
34、其中x为神经元t的相邻神经元，m为与神经元t相邻的神经元数目，xi为神经元t的第i个相邻神经元。
35、优选的，yolov5网络模型的训练中，使用eiou损失函数来优化训练模型，以加快算法的收敛速度，
36、eiou损失函数的计算公式如下：
37、leiou＝liou+ldis+lasp，
38、上式中，liou＝1-iou，
39、其中，
40、iou为预测框与真实框的交并比，计算方式为所述预测框与所述真实框的交集面积除以它们的并集面积；
41、c、cw和ch分别为覆盖所述预测框和所述真实框的最小外接矩形的对角线长度、宽度和高度；
42、b、w、h分别为所述预测框的中心点坐标、宽度和高度；
43、bgt、wgt、hgt分别为所述真实框的中心点坐标、宽度和高度；
44、ρ2(b,bgt)为所述预测框的中心点与所述实际框的中心点之间的欧几里得距离的平方；
45、ρ2(w,wgt)为所述预测框的宽度与所述实际框的宽度之间偏差值的平方；
46、ρ2(h,hgt)为所述预测框的高度与所述实际框的高度之间偏差值的平方。另一方面，本专利技术提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行：本申请的基于多目标识别的果蔬管理方法。
47、另一方面，本专利技术提供一种处理器，其特征在于，用于运行程序，其中，程序被运行时用于执行：本申请的基于多目标识别的果蔬管理方法。
48、另一方面，本专利技术提供一种管理机器人，用于果蔬种植管理，果蔬为番茄、葡萄、苹果、猕猴桃、树莓中的至少一种。
49、通过上述技术方案，管理机器人配置有经过深度学习的枝条、叶子、和果实检测模型，当管理机器人在种植区域内沿行动路径行动时，通过检测模型识别相应植株图像中的枝条、叶子、和果实的状态，并根据识别结果完成相应的管理任务。
50、本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种基于多目标识别的果蔬管理方法，包括：
2.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述机器视觉模块包括：
3.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述枝条检测模型为Mask R-CNN模型，用于识别植株的侧枝与主枝，训练所用的数据集，通过以下步骤获得：
4.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述叶子检测模型为ShuffleNet V2模型，用于识别植株的病叶和老叶，训练所用的数据集，通过以下步骤获得：
5.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述果实检测模型为YOLOv5模型用于识别果实的成熟度，训练所用的数据集，通过以下步骤获得：
6.根据权利要求5所述的基于多目标识别的果蔬管理方法，其特征在于，所述YOLOv5模型的训练中，增加如下特征提取处理，以增加对小目标的检测精度：
7.根据权利要求5所述的基于多目标识别的果蔬管理方法，其特征在于，所述YOLOv5模型的训练中，增加如下特征融合处理，以增加对
8.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述YOLOv5网络模型的训练中，在注意力模块通过能量函数度量神经元之间的线性可分性，以确定重要的神经元，
9.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述YOLOv5网络模型的训练中，使用EIOU损失函数来优化训练模型，以加快算法的收敛速度，
10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行：如权利要求1-9中任意一项所述的基于多目标识别的果蔬管理方法。
11.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行：如权利要求1-9中任意一项所述的基于多目标识别的果蔬管理方法。
12.一种如权利要求1-9中任意一项所述的管理机器人，用于果蔬种植管理，所述果蔬为番茄、葡萄、苹果、猕猴桃、树莓中的至少一种。
...【技术特征摘要】
1.一种基于多目标识别的果蔬管理方法，包括：
2.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述机器视觉模块包括：
3.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述枝条检测模型为mask r-cnn模型，用于识别植株的侧枝与主枝，训练所用的数据集，通过以下步骤获得：
4.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述叶子检测模型为shufflenet v2模型，用于识别植株的病叶和老叶，训练所用的数据集，通过以下步骤获得：
5.根据权利要求1所述的基于多目标识别的果蔬管理方法，其特征在于，所述果实检测模型为yolov5模型用于识别果实的成熟度，训练所用的数据集，通过以下步骤获得：
6.根据权利要求5所述的基于多目标识别的果蔬管理方法，其特征在于，所述yolov5模型的训练中，增加如下特征提取处理，以增加对小目标的检测精度：
7.根据权利要求5所述的基于多目标识别的果蔬...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。