一种番茄采摘机器人的植株与果实检测算法制造技术

本发明专利技术涉及机器视觉领域。目的是提供一种番茄采摘机器人的植株与果实检测算法，该算法应实现无碰撞采摘，并具有检测速度快、精度高的特点。技术方案是：一种番茄采摘机器人的植株与果实检测算法，包括以下步骤：1

【技术实现步骤摘要】
一种番茄采摘机器人的植株与果实检测算法


[0001]本专利技术涉及机器视觉领域，特别涉及一种番茄采摘机器人的植株与果实检测算法。

技术介绍

[0002]随着中国人口老龄化的加剧导致农业劳动力的短缺和劳动力成本的上升。为了解决这个问题，农业机器人正在被广泛关注。采摘机器人的设计初衷就是通过各种传感器感知农业环境，获取感知信息，代替人执行采摘操作。虽然在农业领域中采摘机器人有着可以预见的未来，但是目前由于各种技术限制还不能与人工采摘相竞争。研究发现提高视觉引导控制性能，有利于突破现有应用瓶颈。
[0003]番茄采摘机器人的视觉系统面临两个艰巨的任务，即番茄姿态的准确获取以及茎杆位置的准确获取。番茄姿态和茎杆位置可以帮助确定机器人末端执行器姿态实现无碰撞采摘。全面的视觉信息获取对番茄机器人的研发具有重要意义。在农业领域现有视觉算法主要有以下几类：1)仅实现目标检测算法；2)仅实现目标检测和语义分割；3)仅实现姿态检测。没有算法能高效全面的完成番茄目标检测、姿态检测和茎杆语义分割。
[0004]而卷积神经网络有较强的特征提取能力与鲁棒性，因此基于深度学的方法在目标检测与语义分割领域都取得了很好的结果。然而，为了提取更准确有效的特征，研究人员通常将深度学习模型的网络深度不断增加，参数量不断增大。上述原因使模型得到了较好性能的同时，也产生了过多的冗余卷积核，计算成本昂贵，难于部署在嵌入式设备中，限制了农业机器人的发展。

技术实现思路

[0005]本专利技术的目的是克服上述
技术介绍
中的不足，提供一种番茄采摘机器人的植株与果实检测算法，该算法应实现无碰撞采摘，并具有检测速度快、精度高的特点。
[0006]本专利技术的技术方案是：
[0007]一种番茄采摘机器人的植株与果实检测算法，包括以下步骤：
[0008]1‑
1)采集番茄图像；
[0009]1‑
2)将番茄图像输入多任务卷积神经网络模型进行处理；
[0010]1‑
3)在番茄图像上得到番茄的边界框、关键点、茎杆；
[0011]所述多任务卷积神经网络模型的建立方法为：
[0012]2‑
1)构建数据集：构建番茄关键点数据集和番茄茎杆数据集；
[0013]2‑
2)数据预处理：将番茄关键点数据集和番茄茎杆数据集进行归一化处理和数据增强操作；
[0014]2‑
3)选择YOLO V5s作为基础网络模型；基础网络模型的Head网络的检测分支中加入关键点预测参数以实现边界框回归与关键点预测，在基础网络模型的Head网络中加入语义分割模块以实现番茄茎杆语义分割；基础网络模型的第16层的拼接层依次通过卷积层、
上采样层、C3模块、卷积层、上采样层、卷积层、C3模块、卷积层、上采样层后连接语义分割模块；
[0015]2‑
4)确定模型训练超参数，构建模型损失函数，以F1作为目标检测性能指标，以mIoU作为语义分割性能指标，以dlmk作为关键点性能指标，将数据集输入基础网络模型进行训练和测试，得到多任务卷积神经网络模型。
[0016]所述多任务卷积神经网络模型的建立方法还包括：2
‑
5)对基础网络模型进行通道剪枝：对网络模型进行稀疏训练、通道修剪、微调模型，使模型在保持模型精度的情况下，减少模型权重，加快检测速度。
[0017]所述步骤2
‑
4)中，
[0018]所述F1公式为：
[0019][0020]其中，TP表示真阳性，FP表示假阳性，FN表示假阴性；
[0021]所述d
lmk
公式为：
[0022][0023]其中，n代表关键点的数量，x
pi
代表预测关键点的x坐标，y
pi
代表预测关键点的y坐标,x
ti
代表标签关键点的x坐标，y
ti
代表标签关键点的y坐标；
[0024]所述mIoU公式为：
[0025][0026]其中，K代表语义分割的类别数。
[0027]所述步骤2
‑
4)中，优化器为Adam，训练周期为700次，batch size为16，图片像素为800。
[0028]所述稀疏训练为：运用基于L1范数的L1正则化函数约束基础网络模型的BN层系数，使BN层γ因子稀疏化，使模型在稀疏的方向上进行调整；
[0029]所述稀疏训练的优化目标为：
[0030][0031]其中，x代表输入，y代表目标，w代表可训练的权重，l代表实际输出和目标相差的损失，|m
i
|代表第i层缩放因子的绝对值，λ代表稀疏率，L表示网络的总层数，h表示可训练层的函数表达式。
[0032]所述通道剪枝为：稀疏化训练完成后，需要确定模型修剪的比例，从而确定BN层修剪的阈值，对模型进行通道修剪。
[0033]所述模型微调为：运用数据集对通道剪枝完成后的基础网络模型继续训练。
[0034]所述损失函数由边界框回归损失函数、掩码损失函数、关键点损失函数、置信度损失函数组成；所述关键点损失函数为Wing loss函数；所述掩码损失函数为交叉熵损失函数。
[0035]本专利技术的有益效果是：
[0036]本专利技术通过在YOLO V5s模型加入语义分割分支模块和关键点预测参数得到多任务卷积神经网络模型，可以在一个模型中完成番茄目标、姿态检测和茎杆语义分割，有效提取全面的视觉信息，视觉信息的番茄目标与姿态可以帮助采摘机器人确定末端执行器采摘姿态，视觉信息的茎杆位置可以帮助机器人实现无碰撞采摘，为番茄采摘机器人提供信息支撑；本专利技术提出的模型速度快、权重小、精度高，并利用通道剪枝算法、稀疏训练、模型剪枝和微调，使得模型权重进一步缩小、速度更快，达到3.2MB和5.5ms，能更好地部署在移动端和嵌入式设备中，满足复杂温室环境中的番茄采摘机器人的需求。
附图说明
[0037]图1是本专利技术的多任务卷积神经网络模型的结构图。
[0038]图2是本专利技术的数据注释示意图。
[0039]图3是本专利技术的数据集构建的示意图。
[0040]图4是本专利技术的关键点参数的示意图。
[0041]图5是本专利技术的通道剪枝的流程图。
[0042]图6是本专利技术的通道剪枝的原理图。
[0043]图7是本专利技术的稀疏训练的训练图。
[0044]图8是本专利技术的通道剪枝后的通道变化图。
[0045]图9是本专利技术的输出结果图。
具体实施方式
[0046]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处说描述的具体实施例仅仅用于解释本专利技术，并不用于限定本专利技术。
[0047]实施例
[0048]一种番茄采摘机器人的植株与果实检测算法，包括以下步骤：
[0049]1‑
1)采集番本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种番茄采摘机器人的植株与果实检测算法，包括以下步骤：1
‑
1)采集番茄图像；1
‑
2)将番茄图像输入多任务卷积神经网络模型进行处理；1
‑
3)在番茄图像上得到番茄的边界框、关键点、茎杆；所述多任务卷积神经网络模型的建立方法为：2
‑
1)构建数据集：构建番茄关键点数据集和番茄茎杆数据集；2
‑
2)数据预处理：将番茄关键点数据集和番茄茎杆数据集进行归一化处理和数据增强操作；2
‑
3)选择YOLO V5s作为基础网络模型；基础网络模型的Head网络的检测分支中加入关键点预测参数以实现边界框回归与关键点预测，在基础网络模型的Head网络中加入语义分割模块以实现番茄茎杆语义分割；基础网络模型的第16层的拼接层依次通过卷积层、上采样层、C3模块、卷积层、上采样层、卷积层、C3模块、卷积层、上采样层后连接语义分割模块；2
‑
4)确定模型训练超参数，构建模型损失函数，以F1作为目标检测性能指标，以mIoU作为语义分割性能指标，以dlmk作为关键点性能指标，将数据集输入基础网络模型进行训练和测试，得到多任务卷积神经网络模型。2.根据权利要求1所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述多任务卷积神经网络模型的建立方法还包括：2
‑
5)对基础网络模型进行通道剪枝：对网络模型进行稀疏训练、通道修剪、微调模型，使模型在保持模型精度的情况下，减少模型权重，加快检测速度。3.根据权利要求2所述的一种番茄采摘机器人的植株与果实检测算法，其特征在于：所述步骤2
‑
4)中，所述F1公式为：其中，TP表示真阳性，FP表示假阳性，FN表示假阴性；所...

【专利技术属性】
技术研发人员：孟志超，杜小强，马锃宏，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：