基于单目视觉的果实空间坐标定位方法技术

本发明专利技术公开了一种基于单目视觉的果实空间坐标定位方法，包括以下步骤：获取目标检测数据集并对YOLOv5s模型进行训练获得目标检测模型，获取单目深度估计数据集并利用ResNeXt101网络进行训练获得单目深度估计预训练模型，目标检测训练模型对目标物体进行识别和二位坐标提取，单目深度估计预训练模型提取不同分辨率的深度估计，将目标检测模型提取的二维像素坐标信息与深度估计进行融合并进行坐标转换最后获得目标物体的机械臂坐标下的三维坐标。本发明专利技术采用融合自适应分辨率深度估计与目标检测的定位算法，将目标物体的相对深度转化为绝对深度并结合其二维坐标，在最终得到果实的三维定位结果。得到果实的三维定位结果。得到果实的三维定位结果。

【技术实现步骤摘要】
基于单目视觉的果实空间坐标定位方法


[0001]本专利技术涉及计算机视觉领域，具体涉及基于单目视觉的果实空间坐标定位方法。

技术介绍

[0002]随着生活水平的提高，人们对于水果的需求也随之增加，这也带动了一些地区水果种植业的发展，水果种植的种类和种植面积也大幅增加。传统的水果种植业需要消耗大量的劳动力以完成果树的施肥、农药喷洒和果实的采摘等作业。人工摘果的效率低下，长时间高强度的摘果作业还会给劳动工人的身体造成伤害。利用水果采摘机器人实现自动采摘是改善果园生产管理效率的一个有效途径，水果采摘机器人的采摘动作依赖于水果的准确检测与定位，因此要求水果采摘机器人能够在果园复杂的环境下快速准确地检测树上的水果并完成空间坐标的定位以实现准确采摘。水果采摘机器人的视觉系统是用来感知环境信息以及目标物的识别和定位，实现目标的快速、精准识别与定位，这直接影响着摘果机器人的可靠性和实时性。目标物的精准识别与定位是视觉系统的关节所在。
[0003]近年来，通过融入距离信息，即利用彩色图像和深度图像的水果检测方法已逐渐展开研究，获取深度信息的方式主要有立体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于单目视觉的果实空间坐标定位方法，包括以下步骤：S1、获取目标物体检测的数据集；S2、将步骤S1中获取的数据集使用YOLOv5s进行训练，获得能够实现目标果实种类识别及平面坐标获取的目标物体检测模型；S3、获取单目深度估计数据集；S4、将步骤S3中获取的数据集对深度估计模型进行训练，获得能够对包含目标物体的RGB图像进行单目深度估计的单目深度估计预训练模型；其特征在于，还包括以下步骤：S5、目标检测模型对待定位包含目标物体的RGB图像进行种类识别和位置提取，识别出当前图像中目标物体并得到其二维像素中心坐标；S6、单目深度估计训练模型将对当前图像进行深度估计，获得不同分辨率图像的深度估计；S7、利用U
‑
Net将高分辨率图像的深度估计、低分辨率图像的深度估计和局部高频深度估计进行融合，获得兼具高频细节与低频结构的深度估计图；S8、将步骤S5中获取的二维像素中心坐标输入深度估计图，获得目标物体的相对深度；S9、对相机进行标定，获得相机的内参矩阵和畸变系数；S10、对目标物体的相对深度进行标定，转化得目标物体的绝对深度值，并获得目标物体的像素坐标系下的坐标；S11、对步骤S10获得的像素坐标系进行平移和缩放，得到目标物体的图像坐标系中的坐标；S12、对图像坐标系进行转换，得到目标物体的相机坐标系中的坐标；S13、对相机坐标系进行转换，得到以机械臂底座的中心点为原点的世界坐标系中的坐标。2.根据权利要求1所述的机械臂抓取定位的单目深度估计定位方法，其特征在于，在所述步骤S1中，获取的数据集包括训练集、验证集和测试集。3.根据权利要求1所述的机械臂抓取定位的单目深度估计定位方法，其特征在...

【专利技术属性】
技术研发人员：张晴晖，李俊萩，孔德肖，王甲一，
申请(专利权)人：西南林业大学，
类型：发明
国别省市：