一种基于多模态数据融合的机械手臂感知方法技术

本发明专利技术涉及计算机视觉技术领域，公开了一种基于多模态数据融合的机械手臂感知方法，包括：进行相机标定和手眼标定；采用

【技术实现步骤摘要】
一种基于多模态数据融合的机械手臂感知方法


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于多模态数据融合的机械手臂感知方法
。

技术介绍

[0002]随着计算机
、
控制理论
、
机器视觉传感器等领域的不断发展，机器人技术进入了高速发展阶段
。
机器人使用机械手臂执行更多有意义的任务和功能，从而可以在生产生活中提高生产效率和生活质量
。
比如在工厂中，机器人可以实现货物搬运
、
装卸的任务；在焊接车间，机器人可以帮助人们实现焊接
、
打螺丝等任务
。
机器人在执行各种任务的时候，需要通过视觉引导机械手臂上的工具末端到达指定位置，才可以有效地完成各种指定的任务
。
机器人使用相机的
RGB
图像信息
、
深度图信息以及灵巧手等多模态的传感器数据获取环境信息，识别目标物的类别并且对目标物进行位姿估计，进而引导机械手臂末端到达目标物体面前，然后执行各种任务，可以使机器人更加智能化
。RGB
图像可以反应真实世界的特征，深度图像可以反应真实世界的尺寸等关键信息
。
通过
RGB
图像和深度图像的融合，可以集合两者的优点，更符合实际应用过程的诸多场景
。
[0003]RGB
图像采用传统
YOLOv5
可以识别物体表面的像素中心点，由深度信息可以计算出物体表面的三维坐标，适应于规则物体，但是
YOLOv5
不能识别到整个物体的中心点
。
且传统的感知方法模态比较单一，降低利用灵巧手的触觉系统感知操作目标物的准确度，无法实现机械手臂准确抓取目标物
。

技术实现思路

[0004]本专利技术提供了一种基于多模态数据融合的机械手臂感知方法，融合了
RGB
图像
、
深度图像以及灵巧手的触觉系统等多个模态的数据对目标物进行识别，计算出物体中心点的位姿信息，通过机械手臂上的灵巧手对目标物进行操作，提高利用灵巧手的触觉系统感知操作目标物的准确度，实现机械手臂准确抓取目标物
。
[0005]本专利技术提供了一种基于多模态数据融合的机械手臂感知方法，包括：
[0006]进行相机标定和手眼标定，所述相机标定采用
opencv
的
calibrateCamera
函数进行标定，所述手眼标定采用
opencv
的
calibrateHandEye
函数进行标定；
[0007]采用
ROS
驱动相机获取图像和深度图，并采用
YOLOv5
图像识别算法，计算出目标物的中心点和位姿矩阵；
[0008]设计坐标系转移算法，将目标物在相机坐标系下的齐次矩阵转移到机械臂基坐标系下的齐次矩阵；
[0009]设计运动控制算法，实现机械手臂的运动控制，完成既定任务
。
[0010]进一步地，所述设计运动控制算法，实现机械手臂的运动控制，完成既定任务的步骤，包括：
[0011]采用
YOLOv5
图像识别算法，判断是否识别到目标物；若否，则移动机器人车身并继
续进行目标物识别；若是，则通过深度信息和相机内参得到物体位姿；
[0012]判断是否需要识别物体中心点，若是，则启动
VoteNet
三维点云识别得到物体中心点位姿，并结合
YOLOv5
像素中心点加权计算物体表面像素中心点，进而进行坐标系转移算法；若否，则直接进行坐标系转移算法；
[0013]进行机械臂运动控制算法，判断机械臂能否达到位置；若否，则返回移动机器人车身的步骤进行目标物识别；若是，则运行机械臂，采用灵巧手抓取或操作目标物，直至任务完成
。
[0014]进一步地，所述采用
ROS
驱动相机获取图像和深度图，并采用
YOLOv5
图像识别算法，计算出目标物的中心点和位姿矩阵的步骤，包括：
[0015]编译
ROS
相机驱动并驱动相机，调用相机
RGB
图像和深度信息的话题，
RGB
图像通过
cv_bridge
转换成
cv
库的
Mat
矩阵，并将图片存储成
jpg
文件；
[0016]加载深度学习
YOLOv5
的模型并进行识别，并计算出每个目标物像素中心点的像素，将识别结果存储成结构体类型；
[0017]VoteNet
三维点云识别，加载模型进行识别，确定每个目标物物体中心的三维坐标，辅助
YOLOv5
图像识别算法，得到表面像素位置；
[0018]深度相机获取像素所在位置的深度信息，根据内参矩阵，得到目标物中心点的三维坐标
(x,y,z)
，深度信息为
d
；已知目标物中心像素点坐标为：
(u,v)
，内参矩阵：三维坐标：
z
＝
d
；
x
＝
(u
‑
c
x
)*z/f
x
；
y
＝
(u
‑
c
y
)*z/f
y
。
[0019]进一步地，所述设计坐标系转移算法，将目标物在相机坐标系下的齐次矩阵转移到机械臂基坐标系下的齐次矩阵的步骤，包括：
[0020]采用
YOLOv5
可以识别目标物，得到目标物的平移向量
(x,y,z)
，默认目标物的旋转矢量为
(0,0,0)
，并转换成旋转矩阵，再将旋转矩阵和平移向量拼接成
4*4
的位姿矩阵
M
target2cam
；
[0021]通过手眼标定得到手眼标定矩阵
M
cam2gripper
；
[0022]通过机械臂的接口可以得到机械臂基坐标系下机械臂末端的齐次矩阵
M
gripper2base
，通过公式计算出机械臂基坐标系下机械臂末端的齐次矩阵
M
target2base
，其公式为
M
target2base
＝
M
gripper2base
*M
cam2gripper
*M
target2cam
；
[0023]计算出机械臂实际应该到达的位姿齐次矩阵
M
gripperWithTool2base
，通过机械臂
TCP
机械臂末端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态数据融合的机械手臂感知方法，其特征在于，包括：进行相机标定和手眼标定，所述相机标定采用
opencv
的
calibrateCamera
函数进行标定，所述手眼标定采用
opencv
的
calibrateHandEye
函数进行标定；采用
ROS
驱动相机获取图像和深度图，并采用
YOLOv5
图像识别算法，计算出目标物的中心点和位姿矩阵；设计坐标系转移算法，将目标物在相机坐标系下的齐次矩阵转移到机械臂基坐标系下的齐次矩阵；设计运动控制算法，实现机械手臂的运动控制，完成既定任务
。2.
根据权利要求1所述的基于多模态数据融合的机械手臂感知方法，其特征在于，所述设计运动控制算法，实现机械手臂的运动控制，完成既定任务的步骤，包括：采用
YOLOv5
图像识别算法，判断是否识别到目标物；若否，则移动机器人车身并继续进行目标物识别；若是，则通过深度信息和相机内参得到物体位姿；判断是否需要识别物体中心点，若是，则启动
VoteNet
三维点云识别得到物体中心点位姿，并结合
YOLOv5
像素中心点加权计算物体表面像素中心点，进而进行坐标系转移算法；若否，则直接进行坐标系转移算法；进行机械臂运动控制算法，判断机械臂能否达到位置；若否，则返回移动机器人车身的步骤进行目标物识别；若是，则运行机械臂，采用灵巧手抓取或操作目标物，直至任务完成
。3.
根据权利要求1所述的基于多模态数据融合的机械手臂感知方法，其特征在于，所述采用
ROS
驱动相机获取图像和深度图，并采用
YOLOv5
图像识别算法，计算出目标物的中心点和位姿矩阵的步骤，包括：编译
ROS
相机驱动并驱动相机，调用相机
RGB
图像和深度信息的话题，
RGB
图像通过
cv_bridge
转换成
cv
库的
Mat
矩阵，并将图片存储成
jpg
文件；加载深度学习
YOLOv5
的模型并进行识别，并计算出每个目标物像素中心点的像素，将识别结果存储成结构体类型；
VoteNet
三维点云识别，加载模型进行识别，确定每个目标物物体中心的三维坐标，辅助
YOLOv5
图像识别算法，得到表面像素位置；深度相机获取像素所在位置的深度信息，根据内参矩阵，得到目标物中心点的三维坐标
(x
，
y
，
z)
，深度信息为
d
；已知目标物中心像素点坐标为：
(u
，
v)
，内参矩阵：三维坐标：
z
＝
d
；
x
＝
(u
‑
c
x
)*z/f
x
；
y
＝
(u
‑
c
y
)*z/f
y
。4.
根据权利要求1所述的基于多模态数据融合的机械手臂感知方法，其特征在于，所述设计坐标系转移算法，将目标物在相机坐标系下的齐次矩阵转移到机械臂基坐标系下的齐次矩阵的步骤，包括：采用
YOLOv5
可以识别目标物，得到目标物的平移向量
(x
，
y
，
z)
，默认目标物的旋转矢量为
(0
，0，
0)
，并转换成旋转矩阵，再将旋转矩阵和平移向量拼接成
4*4
的位姿矩阵
M
target2cam
；通过手眼标定得到手眼标定矩阵
M
cam2gripper
；通过机械臂的接口可以得到机械臂基坐标系下机械臂末端的齐次矩阵
M
gripper2base
，通过公式计算出机械臂基坐标系下机械臂末端的齐次矩阵
M
target2base
，其公式为
M
target2base
＝
M
gripper2base
*M
cam2gripper
*M
target2cam
；计算出机械臂实际应该到达的位姿齐次矩阵
M
gripperWithTool2base
，通过机械臂
TCP
机械臂末端坐标系下工具末端的转换矩阵
M
tool2gripper
；包括：令基坐标系下目标物的齐次矩阵等于基坐标系下工具末端的齐次矩阵，即
M
target2base
＝
M
tool2base
；根据坐标系转换关系，将机械臂末端坐标系下工具末端的齐次矩阵转移到机械臂极坐标系下
M
tool2base
＝
M
gripperWithTool2base
*M
tool2gripper
；根据上述步骤的两个公式可以计算出机械臂基坐标系下机械臂末端需要到达位置的齐次矩阵
M
gripperWithTool2base
＝
M
target2base
*(M
...

【专利技术属性】
技术研发人员：谢世朋，苏士伟，谢静岩，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：