一种基于视觉信息融合的机械臂抓取目标物体方法技术

本发明专利技术提出一种基于视觉信息融合的机械臂抓取目标物体方法，旨在解决目标物体位于复杂环境的机械臂抓取问题。所述方法包括：通过置于机械臂末端上方的深度相机获取含有目标物体的彩色图像以及相机坐标下的图像深度信息；利用深度学习YOLO目标检测方法对彩色图像中的目标物体进行识别并定位出特征点像素坐标；利用所述彩色图像的特征点像素坐标融合所述的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；由目标物体特征点在相机坐标系下的三维坐标计算出目标物体在相机坐标系下的三维位置和三维位姿；将三维位置和三维位姿转换至机械臂基座坐标系下；利用与机械臂连接的二指夹爪对目标物体进行抓取。

【技术实现步骤摘要】
一种基于视觉信息融合的机械臂抓取目标物体方法
本专利技术涉及机器人
，具体涉及一种在背景复杂的情况下基于视觉信息融合的机械臂抓取目标物体的方法。
技术介绍
随着人工智能技术的发展，机器人的应用领域不断拓展，而不管是工业领域还是家庭服务领域，机器人与真实世界的互动必不可少，而抓取，则是机器人与真实世界互动的基本技能。模仿人类手臂活动关节的多自由度机械臂与二指夹爪的组合常用于实现在各种环境下的抓取，由于真实世界的复杂多样，抓取任务具有很大的不确定性，提高机器臂在复杂环境的目标检测及抓取规划能力成为了目前机器人领域研究的热点。目前深度学习方法得到了越来越广泛的应用，是二维图像目标识别目标检测的主要方法，在近年来也出现了利用深度学习方法完成机械臂抓取中的三维目标物体的识别任务，例如Nvidia发布的《DeepObjectPoseEstimationforSemanticRoboticGraspingofHouseholdObjects》，其原理则是利用深度学习方法先检测出目标点的二维坐标，再利用PnP算法，实现目标点二维坐标至三维坐标的转本文档来自技高网...

【技术保护点】
1.一种基于基于视觉信息融合的机械臂抓取目标物体方法，其特征在于，包括以下主要步骤：/n(1)通过置于机械臂末端上方的相机获取含有目标物体的彩色图像以及相机坐标系下的图像深度信息；/n(2)基于所述彩色图像，利用深度学习YOLO目标检测方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；/n(3)基于所述包围目标物体的三维矩形框的各点像素坐标，及相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；/n(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；/n(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换...

【技术特征摘要】
1.一种基于基于视觉信息融合的机械臂抓取目标物体方法，其特征在于，包括以下主要步骤：
(1)通过置于机械臂末端上方的相机获取含有目标物体的彩色图像以及相机坐标系下的图像深度信息；
(2)基于所述彩色图像，利用深度学习YOLO目标检测方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；
(3)基于所述包围目标物体的三维矩形框的各点像素坐标，及相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；
(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；
(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；
(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。


2.如权利要求1所述的方法，其特征在于，所述步骤(1)中所述的相机为RGB-D相机，固定在所述机械臂末端上方，随机械臂运动而运动。


3.如权利要求1所述的方法，其特征在于，所述步骤(3)中基于所述包围目标物体的三维矩形框的各角点和中心点像素坐标需要融合所得相机坐标系下的图像深度信息，其中的图像深度信息为特征点像素坐标对应的深度相机得到的深度信息；
基于所述像素坐标和图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机...

【专利技术属性】
技术研发人员：高放，孙晴艺，石蓬勃，王家宝，殷林飞，李正阳，双丰，
申请(专利权)人：广西大学，
类型：发明
国别省市：广西;45