一种机器人采摘果实的视觉引导方法技术

本发明专利技术公开了一种机器人采摘果实的视觉引导方法，涉及图像识别和处理技术领域。该方法步骤如下：通过Realsense D435i传感器获取RGB图像和深度图像；使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。本发明专利技术对机器人视觉引导采摘水果任务实现一套完整有效的解决办法。摘水果任务实现一套完整有效的解决办法。摘水果任务实现一套完整有效的解决办法。

【技术实现步骤摘要】
一种机器人采摘果实的视觉引导方法


[0001]本专利技术涉及图像识别和处理
，具体涉及一种机器人采摘果实的视觉引导方法。

技术介绍

[0002]在传统农业生产链中，水果的采摘属于劳动强度较大、时效性要求较高的部分，随着种植规模的增长，其工作成本正在不断提高。随着农业生产劳动力的不断减少，仅靠人力劳动并不能满足需求。目前我国的农业机器人存在可靠性差、自动化程度低的问题，仍不能适应现代农业生产发展的需求。
[0003]机器人在完成果实采摘任务过程中，需要相机识别目标，并计算出目标的空间位姿，才能够实施有效地采摘操作。目前，机器人视觉引导采摘果实方法主要包括单目相机视觉引导、深度相机视觉引导和激光视觉引导等。许多机器人视觉引导方法已经广泛应用到特定工业生产中，但在复杂多变的农业生产环境中难以稳定有效。因此，针对智能果实采摘农业机器人，有必要对相应的视觉引导方法进行研究。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种机器人采摘果实的视觉引导方法。
[0005]本专利技术的目的可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人采摘果实的视觉引导方法，其特征在于，所述视觉引导方法包括以下步骤：S1、通过摄像头获取RGB图像和深度图像；S2、使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；S3、对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；S4、基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；S5、求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；S6、发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。2.根据权利要求1所述的一种机器人采摘果实的视觉引导方法，其特征在于，所述步骤S2过程如下：制作不同生长周期下番茄果实的图像数据集，使用YOLOX目标检测神经网络进行训练，并部署到推理引擎上实现加速推理。3.根据权利要求1所述的一种机器人采摘果实的视觉引导方法，其特征在于，所述步骤S3中进行实例分割以获得果实的掩膜图像的过程如下：根据ROI图像中前景与背景的深度数值差距较大的特点，以最小平方误差作为目标准则函数，将果实表面的深度数据分割成块状，并将这些块状数据与背景数据进行二值化，生成掩膜图像。4.根据权利要求1所述的一种机器人采摘果实的视觉引导方法，其特征在于，所述步骤S4中基于球坐标系偏微分求解果实表面各点的法向量的过程如下：S31、定义掩膜图像...

【专利技术属性】
技术研发人员：郑润森，邓晓燕，李昌昊，李爵煜，王柏畅，韦炯光，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：