一种单目视觉伺服螺丝孔定位方法及系统技术方案

本发明专利技术公开了一种单目视觉伺服螺丝孔定位方法及系统包括，建立相机坐标系，获取相机焦距以及像素坐标系到相机坐标系横、纵方向偏移量相关信息；按照螺丝孔位置设置定位二维码信标，并设置机械臂路点，保证机械臂末端设备可识别二维码信标；利用检测算法计算距离所述相机光心最近螺丝孔直径的像素尺寸，结合螺丝孔物理尺寸计算出螺丝孔距离相机光心的距离，进行精确定位，获得螺丝孔的图像位置坐标；将所述像素位置坐标转换成相对机械臂坐标，移动机械臂到螺丝孔位置进行作业。使用二维码、视觉算法、单目相机结合螺丝孔的物理尺寸计算当前相机光心到螺丝孔表面的距离，消除了双目或者红外结构光等相机直接使用深度值受限螺丝孔位深度的干扰。孔位深度的干扰。孔位深度的干扰。

【技术实现步骤摘要】
一种单目视觉伺服螺丝孔定位方法及系统


[0001]本专利技术涉及螺丝孔定位
，尤其涉及一种单目视觉伺服螺丝孔定位方法及系统。

技术介绍

[0002]随着机械臂应用场景的拓展，越来越多的生产中都有机械臂的身影，帮助人类快速高效的完成作业任务。机器臂即能充当操作员的第三只手，能够完成重复定位动作，定位精度非常的高。随着作业的难度有的机械臂的应用场景越来越复杂，并且难度也不再是重复机械的动作能实现。
[0003]新型的机械臂作业的时候往往需要更加的智能化，不仅仅是机械的完成重复的动作，取而代之的是能够精准高效智能的执行任务。在机械臂的末端或者是工作台上架设摄像头，通过图像算法驱动机器臂完成更加高难度的工作已经是机器人工业领域的关注的重点。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术提供了一种单目视觉伺服螺丝孔定位方法及系统，能够解决如何实现视觉联动的机械臂非固定位置场景下的松紧螺丝作业的问题。
[0007]为解决上述技术问题，本专利技术提供如下技术方案，一种单目视觉伺服螺丝孔定位方法及系统，包括：
[0008]建立相机坐标系，获取相机焦距以及像素坐标系到相机坐标系横、纵方向偏移量相关信息；
[0009]按照螺丝孔位置设置定位二维码信标，并设置机械臂路点，保证机械臂末端设备可识别二维码信标；
[0010]利用检测算法计算距离所述相机光心最近螺丝孔直径的像素尺寸，结合螺丝孔物理尺寸计算出螺丝孔距离相机光心的距离，进行精确定位，获得螺丝孔的图像位置坐标；
[0011]将所述像素位置坐标转换成相对机械臂坐标，移动机械臂到螺丝孔位置进行作业。
[0012]作为本专利技术所述的单目视觉伺服螺丝孔定位方法及系统的一种优选方案，其中：所述相关信息包括，
[0013]相机的内参为：
[0014][0015]其中，f为相机的焦距，cx为像素坐标系到相机坐标系的x方向偏移量，cy是像素坐标到相机坐标系的y方向的偏移量。
[0016]作为本专利技术所述的单目视觉伺服螺丝孔定位方法及系统的一种优选方案，其中：所述精确定位包括，
[0017]获取当前机械臂末端相对于机械臂基坐标的位置和姿态，得到一个4*4的位置变换矩阵
base
T
end
；
[0018]利用相机内参和矩阵标定板标定相机到机械臂末端的坐标变换矩阵
end
T
camera
；
[0019]利用二维码信标计算出当前相机像素坐标系下的二维码信标在机械臂基坐标下的位置和姿态，
base
T
tag
＝
base
T
end
·
end
T
canera
·
camera
T
tag
，其中
base
T
tag
为要求得二维码在机械臂基坐标系下的位姿，
end
T
camera
为相机相对于机械臂末端的变换位姿，
camera
T
tag
二维码在相机坐标系下的位姿。
[0020]作为本专利技术所述的单目视觉伺服螺丝孔定位方法及系统的一种优选方案，其中：所述精确定位还包括，
[0021]二维码距离相机的物理距离为：
[0022][0023][0024]其中，x,y,z为
camera
T
tag
矩阵中的平移偏移量，
camera
T
tag
为从相机到机械臂末端的位姿变换矩阵，size_tag为二维码的物理尺寸，机械臂需要移动的位置姿态
base
T
camera
＝
base
T
tag
*
tag
t
camrea
，机械臂按照
base
T
camera
计算的值进行路径规划。
[0025]作为本专利技术所述的单目视觉伺服螺丝孔定位方法及系统的一种优选方案，其中：所述图像位置坐标包括，利用深度学习的Yolo算法检测螺丝孔的矩形框得到多个box_screw，在原图中利用欧式距离计算距离当前相机光心最近的螺丝孔的像素box_screw，减少其他位置螺丝孔对机械臂路径规划的干扰；
[0026]利用筛选后的box_screw中的像素计算螺丝孔的直径，计算方式为利用当前区域的像素进行Hough圆变换检测得到螺丝孔的直径direct_screw。
[0027]作为本专利技术所述的单目视觉伺服螺丝孔定位方法及系统的一种优选方案，其中：所述图像位置坐标还包括，
[0028]利用相机的几何模型计算当前螺丝孔距离光心的距离：
[0029]distance
screw
＝f/direct_screw*pix_screw
[0030]其中，f是相机的焦距，direct_screw为螺丝孔的物理尺寸，是一个先验值，pix_screw是利用Hough计算出来的像素螺丝孔的直径。
[0031]作为本专利技术所述的单目视觉伺服螺丝孔定位方法及系统的一种优选方案，其中：所述图像位置坐标还包括，
[0032]螺丝孔的相对于相机的物理距离后需要转换成机械臂的位姿，转换的算法为：
[0033][0034]移动位姿M为：
[0035][0036]其中，驱动机械臂按照M的位姿进行路径规划完成松紧螺丝任务，point
base
为螺丝孔在机械臂坐标系下的基坐标。
[0037]一种单目视觉伺服螺丝孔定位系统，其特征在于：包括相机内参获取模块、二维码信标设置模块、坐标定位模块以及作业模块，
[0038]相机内参获取模块，所述相机内参获取模块建立相机坐标系，获取相机焦距以及像素坐标系到相机坐标系横、纵方向偏移量相关信息；
[0039]二维码信标设置模块，所述二维码信标设置模块按照螺丝孔位置设置定位二维码信标，并设置机械臂路点，保证机械臂末端设备可识别二维码信标；
[0040]坐标定位模块，所述坐标定位模块利用检测算法计算距离所述相机光心最近螺丝孔直径的像素尺寸，结合螺丝孔物理尺寸计算出螺丝孔距离相机光心的距离，进行精确定位，获得螺丝孔的图像位置坐标；
[0041]作业模块，所述作业模块将所述像素位置坐标转换成相对机械臂坐标，移动机械臂到螺丝孔位置进行作业。
[0042]一种计算机设备，包括存储器和处理器，所述存储器存储有计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目视觉伺服螺丝孔定位方法，其特征在于：包括，建立相机坐标系，获取相机焦距以及像素坐标系到相机坐标系横、纵方向偏移量相关信息；按照螺丝孔位置设置定位二维码信标，并设置机械臂路点，保证机械臂末端设备可识别二维码信标；利用检测算法计算距离所述相机光心最近螺丝孔直径的像素尺寸，结合螺丝孔物理尺寸计算出螺丝孔距离相机光心的距离，进行精确定位，获得螺丝孔的图像位置坐标；将所述像素位置坐标转换成相对机械臂坐标，移动机械臂到螺丝孔位置进行作业。2.如权利要求1所述的单目视觉伺服螺丝孔定位方法，其特征在于：所述相关信息包括，相机的内参为：其中，f为相机的焦距，cx为像素坐标系到相机坐标系的x方向偏移量，cy是像素坐标到相机坐标系的y方向的偏移量。3.如权利要求2所述的单目视觉伺服螺丝孔定位方法，其特征在于：所述精确定位包括，获取当前机械臂末端相对于机械臂基坐标的位置和姿态，得到一个4*4的位置变换矩阵
base
T
end
；利用相机内参和矩阵标定板标定相机到机械臂末端的坐标变换矩阵
end
T
camera
；利用二维码信标计算出当前相机像素坐标系下的二维码信标在机械臂基坐标下的位置和姿态，
base
T
tag
＝
base
T
end
·
end
T
canera
·
camera
T
tag
，其中
base
T
tag
为要求得二维码在机械臂基坐标系下的位姿，
end
T
camera
为相机相对于机械臂末端的变换位姿，
camera
T
tag
二维码在相机坐标系下的位姿。4.如权利要求3所述的单目视觉伺服螺丝孔定位方法，其特征在于：所述精确定位还包括，二维码距离相机的物理距离为：二维码距离相机的物理距离为：其中，x,y,z为
camera
T
tag
矩阵中的平移偏移量，
camera
T
tag
为从相机到机械臂末端的位姿变换矩阵，size_tag为二维码的物理尺寸，机械臂需要移动的位置姿态
base
T
camera
＝
base
T

【专利技术属性】
技术研发人员：夏炎，骆敏舟，
申请(专利权)人：江苏集萃智能制造技术研究所有限公司，
类型：发明
国别省市：