一种机械臂末端位姿自动回正的视觉伺服方法技术

本发明专利技术一种机械臂末端位姿自动回正的视觉伺服方法，利用深度相机采集目标位置3D点云数据与2D彩色图像，将当前位置2D彩色图像与目标2D彩色图像进行SIFT匹配，得到n个匹配点的像素信息；根据匹配点的像素坐标，找到对应的3D点云坐标做ICP，得到点云转换矩阵；通过计算，转换到机械臂末端变换矩阵。本发明专利技术先平面后立体的方式，结合SIFT与ICP算法，用SIFT提取平面图像特征点。利用提取的像素特征所对应的点云坐标做ICP匹配，计算目标点云与当前点云的位姿变换矩阵，结合优化SIFT算法，在原有的匹配点上，找出对应特征点欧氏距离之差的均值与标准差，缩小匹配点欧氏距离之差的提取区间，进行二次筛选。进行二次筛选。进行二次筛选。

【技术实现步骤摘要】
一种机械臂末端位姿自动回正的视觉伺服方法


[0001]本专利技术属于计算机视觉与工业机器人自动作业领域，涉及到一种机械臂末端位姿自动回正的视觉伺服方法。

技术介绍

[0002]随着对智能机器人的深入研究，针对地铁车底轨道巡检的自动作业机器人逐渐兴起。在机器人作业过程中，其底盘和机械臂的运动路径已经规划完成，只要行驶到规定地点拍摄车底零件图像即可完成当前工作。但是列车在停靠站台时，不可能每次都完全停靠在同一位置。列车停车时的加速度也会对各个车厢之间的距离产生影响。因此巡检机器人的作业环境不可能一成不变，单纯依靠底盘和机械臂的固定运动并不能满足图像采集的高精准要求。

技术实现思路

[0003]针对现有技术中存在的问题，本专利技术设计的目的在于提供一种基于单目深度相机的机械臂末端位姿自动回正的视觉伺服方法。
[0004]本专利技术通过以下技术方案加以实现：
[0005]一种机械臂末端位姿自动回正的视觉伺服方法，包括以下步骤：
[0006]1)巡检机器人移动到预定位置，机械臂运动到预定位姿，启动单目深度相机，采集当前位姿下列车底部的RGB图像和深度图像；
[0007]2)对当前RGB图像和实际目标RGB图像进行SIFT特征检测与匹配，并对匹配结果进行过滤，剔除误差较大的匹配特征；其中，实际目标RGB图像的数据运存于巡检机器人图片库中；
[0008]3)将匹配到的平面特征点，转换到对应目标深度图上的像素坐标，并根据单目深度相机内部参数，将目标深度图上的匹配点转换到相机坐标系下的三维点云坐标；其中，目标深度图数据运存于巡检机器人内存中；
[0009]4)根据当前点云与目标点云的坐标，采用最邻近点迭代算法ICP，计算出点云之间的位姿转换矩阵；
[0010]5)将点云位姿转换矩阵，通过相机的映射关系，转换到相机当前位姿与目标位姿的转换矩阵，再通过机械臂与相机的位姿关系，计算机械臂从当前位姿运动到目标位姿的旋转矩阵与平移矢量。
[0011]优选地，单目深度相机采用IntelRealsense D455单目深度相机，机械臂采用auboi5六自由度机械臂。
[0012]优选地，当前RGB图像和实际目标RGB图像进行SIFT特征检测与匹配的具体步骤为：
[0013]设共有n对匹配的特征点，当前RGB图像上的匹配点像素坐标为(x
2i
，y
2i
)，实际目标RGB图像上的匹配点像素坐标为(x
1i
，y
1i
)，
[0014]Δx
i
＝x
1i
‑
x
2i
………………………………………………………………
(1)
[0015]Δy
i
＝y
1i
‑
y
2i
……………………………………………………………………
(2)
[0016]则：
[0017][0018][0019][0020][0021]当Δx
i
∈(μx
‑
0.5*σx，μx+0.5*σx)且Δy
i
∈(μy
‑
0.5*σy，μy+0.5*σy)时，满足所需特征点条件。
[0022]本专利技术采用先平面后立体的方式，结合SIFT算法与ICP算法，在做三维点云空间位置匹配前，先用SIFT提取平面图像特征点。利用提取的像素特征所对应的点云坐标做ICP匹配，计算出目标点云与当前点云的位姿变换矩阵，结合优化SIFT算法：在特征点过滤上，SIFT算法本身采用临近特征点的欧氏距离与次临近特征点的欧氏距离的比率ratio处于某个阈值区间来提高匹配的准确性。ICP算法受初值影响较大，而在不同角度拍摄的2D图像，其对应像素点的特征描述子往往具有相似的向量变化。为了采集更有效，更精确的特征点，在SIFT算法本身的基础之上，采用统计学方法在原有的匹配点上，找出对应特征点欧氏距离之差的均值与标准差，缩小匹配点欧氏距离之差的提取区间，进行二次筛选。
附图说明
[0023]图1为简易的单目视觉伺服示意图。
具体实施方式
[0024]以下结合具体实施例对本专利技术做进一步详细描述，以便更好地理解本技术方案。
[0025]本专利技术具体实施过程中使用的是IntelRealsense D455单目深度相机，auboi5六自由度机械臂。主要分为三个步骤：数据采集与目标确定、特征匹配、机械臂末端位姿调整。
[0026]步骤一、数据采集与目标确定：由于需要知晓目标位置，在做伺服实验前，需要先采集目标位置的RGB图像(color1)和深度图像(depth1)。目标位置确定并采集完数据后，将机械臂进入力控模式，人为将机械臂任意运动一段距离(包括平移与旋转，用于模拟巡检时检测目标在机器人停靠位置下的偏移误差)。
[0027]步骤二、特征匹配：人为运动后的机械臂末端位姿被认定为当前位姿。相机拍摄当前位姿下的RGB图像(color2)和深度图像(depth2)。将color1与color2进行SIFT特征检测与匹配，设共有n对匹配的特征点，color1上的匹配点像素坐标为(x
1i
，y
1i
)，color2上的匹配点像素坐标为(x
2i
，y
2i
)。
[0028]Δx
i
＝x
1i
‑
x
2i
……………………………………………………………
(1)
[0029]Δy
i
＝y
1i
‑
y
2i
………………………………………………
(2)
[0030]则：
[0031][0032][0033][0034][0035]当Δx
i
∈(μx
‑
0.5*σx，μx+0.5*σx)且Δy
i
∈(μy
‑
0.5*σy，μy+0.5*σy时，满足所需特征点条件。
[0036]将RGB图像匹配到且过滤掉的特征点一一对应到深度图中，设过滤后共有m对匹配的特征点，其对应的深度图像素坐标为depth1(u
1i
，v
1i
)，depth2(u
2i
，v
2i
)。
[0037]根据像素坐标与相机坐标转换关系：
[0038][0039]将匹配的深度图像素坐标转换到相机坐标depth1：(u
1i
，v
1i
)
→
P1(x
1i
，y
1i
，z
1i
)depth2：(u
1i
，v
1i
)
→
P2(x...

【技术保护点】

【技术特征摘要】
1.一种机械臂末端位姿自动回正的视觉伺服方法，其特征在于，该视觉伺服方法包括以下步骤：1)巡检机器人移动到预定位置，机械臂运动到预定位姿，启动单目深度相机，采集当前位姿下列车底部的RGB图像和深度图像；2)对当前RGB图像和实际目标RGB图像进行SIFT特征检测与匹配，并对匹配结果进行过滤，剔除误差较大的匹配特征；其中，实际目标RGB图像的数据运存于巡检机器人图片库中；3)将匹配到的平面特征点，转换到对应目标深度图上的像素坐标，并根据单目深度相机内部参数，将目标深度图上的匹配点转换到相机坐标系下的三维点云坐标；其中，目标深度图数据运存于巡检机器人内存中；4)根据当前点云与目标点云的坐标，采用最邻近点迭代算法ICP，计算出点云之间的位姿转换矩阵；5)将点云位姿转换矩阵，通过相机的映射关系，转换到相机当前位姿与目标位姿的转换矩阵，再通过机械臂与相机的位姿关系，计算机械臂从当前位姿运动到目标位姿的旋转矩阵与平移矢量。2.如权利要求1所述的一种机械臂末端位姿自动回正的视觉伺服方法，其特征在于单目深度相机采用IntelRealsense D455单目深度相机，机械臂采用auboi5六自由度机械臂。3.如权利要求1所述的一种机械...

【专利技术属性】
技术研发人员：周思杭，林贤煊，杜强，李玮，王智丰，李欣蒙，
申请(专利权)人：中数智科杭州科技有限公司，
类型：发明
国别省市：