一种基于视觉定位的三维拧固顺序防呆控制方法及系统技术方案

本发明专利技术提供一种基于视觉定位的三维拧固顺序防呆控制方法及系统，涉及螺丝拧固技术领域，该方法包括以工件和工具构建两个世界坐标系；确定特征点集、特征点集中所有特征点的三维坐标、所有螺丝在工件坐标系上三维坐标以及工具执行末端在工具坐标系上的三维坐标；检测工件特征点集和工具特征点集的二维图像坐标；得到从工具坐标系到工件坐标系的齐次变换矩阵；计算得到工具执行末端顶点在工件坐标系中的三维坐标；得到当前工具执行末端顶点对应的螺丝编号，进而控制螺丝拧固的顺序。本发明专利技术解决了在复杂工件组装过程中，现有的拧固工艺很难实施空间拧固顺序管控，容易造成潜在的质量隐患的问题。隐患的问题。隐患的问题。

【技术实现步骤摘要】
一种基于视觉定位的三维拧固顺序防呆控制方法及系统


[0001]本专利技术涉及螺丝拧固
，尤其涉及一种基于视觉定位的三维拧固顺序防呆控制方法及系统。

技术介绍

[0002]复杂工件组装过程中，对螺丝拧固顺序有要求的场景需要进行实时管控。但由于复杂工件的拧固点位可能位于不同的平面和不同的角度，有些是相机视觉的盲区，使得现有的视觉系统无法通过视觉直视目标确定点位，进而导致在复杂工件组装过程中，现有的拧固工艺很难实施空间拧固顺序管控，容易造成潜在的质量隐患。

技术实现思路

[0003]为此，本专利技术实施例提供了一种基于视觉定位的三维拧固顺序防呆控制方法及系统，用于解决现有技术中在复杂工件组装过程中，现有的拧固工艺很难实施空间拧固顺序管控，容易造成潜在的质量隐患的问题。
[0004]为了解决上述问题，本专利技术实施例提供一种基于视觉定位的三维拧固顺序防呆控制方法，所述方法包括：
[0005]S1：以工件和工具构建两个世界坐标系，分别为工件坐标系和工具坐标系；
[0006]S2：基于所述工件坐标系，确定工件上的特征点集A、特征点集A中所有特征点的三维坐标和所有螺丝在工件坐标系上三维坐标，根据螺丝的三维坐标自动生成螺丝编号，并对螺丝安装顺序进行编排；基于所述工具坐标系，确定工具上的特征点集B、特征点集B中所有特征点的三维坐标和工具执行末端在工具坐标系上的三维坐标；
[0007]S3：利用相机采集产品的图片，检测工件特征点集A和工具特征点集B的二维图像坐标；
[0008]S4：根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、特征点集B的二维图像坐标以及特征点集B在工具坐标系中的三维坐标，得到从工具坐标系到工件坐标系的齐次变换矩阵T；
[0009]S5：根据工具执行末端顶点在工具坐标系中的三维坐标和从工具坐标系到工件坐标系的齐次变换矩阵T，计算得到工具执行末端顶点在工件坐标系中的三维坐标；
[0010]S6：在工件坐标系中计算工具执行末端顶点和所有螺丝的距离，得到当前工具执行末端顶点对应的螺丝编号，如果螺丝编号与规定安装顺序指定螺丝编号相符，则使能工具，并设置螺丝对应拧力，否则工具不使能，重复执行步骤S3
‑
S6，直到所有螺丝拧固完成。
[0011]优选地，确定工件上的特征点集A或确定工具上的特征点集B的方法为：
[0012]如果特征点在同一个平面内，特征点数量不少于4个；如果特征点不在一个平面内，则特征点数量不少于6个。
[0013]利用相机采集产品的图片，检测工件特征点集A和工具特征点集B的二维图像坐标的方法为：
[0014]利用相机采集产品的图片，通过深度学习或传统视觉检测工件特征集A和工具特征集B在图片上的二维图像坐标。
[0015]优选地，通过相机标定得到相机内参矩阵和相机畸变系数：
[0016][0017]distCoeffs＝[k1,k2,p1,p2,k3][0018]其中，cameraMatrix表示相机内参矩阵，distCoeffs表示相机畸变系数，k1,k2,k3表示径向畸变系数，p1,p2表示切向畸变系数，焦距(f
x
,f
y
)和光学中心(c
x
,c
y
)。
[0019]优选地，根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、特征点集B的二维图像坐标以及特征点集B在工具坐标系中的三维坐标，得到从工具坐标系到工件坐标系的齐次变换矩阵T的方法为：
[0020]根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标，得到相机坐标系相对于工件坐标系的齐次变换矩阵T1；根据特征点集B的二维图像坐标、特征点集B在工具坐标系中的三维坐标，得到相机坐标系相对于工具坐标系的齐次变换矩阵T2；通过上述两个齐次变换矩阵T1、T2，得到从工具坐标系到工件坐标系之间的齐次变换矩阵T。
[0021]优选地，根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、相机内参和相机畸变参数，得到相机坐标系相对于工件坐标系的齐次变换矩阵T1的方法为：
[0022]根据特征点集A的二维图像坐标与特征点集A在工件坐标系中的三维坐标的对应关系，使用opencv中的solvePnP函数得到相机位姿的初始位姿估计，位姿的旋转向量和平移向量，从而得到相机坐标系相对于工件的齐次变换矩阵T1。
[0023]优选地，将初始化的位姿估计作为初始值，使用非线性优化算法进行迭代优化，所述优化算法包括Levenberg
‑
Marquardt、Gauss
‑
Newton，通过最小化重投影误差迭代调整位姿参数，最小化重投影误差。
[0024]优选地，根据工具执行末端顶点在工具坐标系中的三维坐标和从工具坐标系到工件坐标系的齐次变换矩阵T，计算得到工具执行末端顶点在工件坐标系中的三维坐标的方法为：
[0025]p1＝T*p2[0026]其中，p2为齐次坐标形式[x,y,z,1]，其中x,y,z为工具执行末端在工具坐标系下的三维坐标，,p1表示工具执行末端顶点在工件坐标系的齐次坐标[x
’
,y
’
,z
’
,w]，将齐次坐标除最后一个元素，[x
’
/w,y
’
/w,z
’
/w]就是工具执行末端顶点在工具坐标系下的三维坐标。
[0027]优选地，在工件坐标系中计算工具执行末端顶点和所有螺丝的距离，得到当前工具执行末端顶点对应的螺丝编号的方法为：
[0028]在工件坐标系中，计算工具执行末端顶点和所有螺丝的距离，取距离最小值与设定阈值进行判断，如果距离最小值小于设定阈值，则判定当前工具执行末端顶点对应的螺丝编号为距离最小值对应螺丝编号；否则，则判定当前工具执行末端顶点不在任何螺丝位置。
[0029]本专利技术实施例还提供了一种基于视觉定位的三维拧固顺序防呆控制系统，所述系统包括：
[0030]坐标系构建模块，用于以工件和工具构建两个世界坐标系，分别为工件坐标系和工具坐标系；
[0031]三维坐标获取模块，用于基于所述工件坐标系，确定工件上的特征点集A、特征点集A中所有特征点的三维坐标和所有螺丝在工件坐标系上三维坐标，根据螺丝的三维坐标自动生成螺丝编号，并对螺丝安装顺序进行编排；基于所述工具坐标系，确定工具上的特征点集B、特征点集B中所有特征点的三维坐标和工具执行末端在工具坐标系上的三维坐标；
[0032]检测模块，用于利用相机采集产品的图片，检测工件特征点集A和工具特征点集B的二维图像坐标；
[0033]变换矩阵获取模块，用于根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、特征点集B的二维图像坐标以及特征点集B在工具坐标系中的三维坐标，得到从工具坐标系到工件坐标系的齐次变换矩阵T；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉定位的三维拧固顺序防呆控制方法，其特征在于，包括：S1：以工件和工具构建两个世界坐标系，分别为工件坐标系和工具坐标系；S2：基于所述工件坐标系，确定工件上的特征点集A、特征点集A中所有特征点的三维坐标和所有螺丝在工件坐标系上三维坐标，根据螺丝的三维坐标自动生成螺丝编号，并对螺丝安装顺序进行编排；基于所述工具坐标系，确定工具上的特征点集B、特征点集B中所有特征点的三维坐标和工具执行末端在工具坐标系上的三维坐标；S3：利用相机采集产品的图片，检测工件特征点集A和工具特征点集B的二维图像坐标；S4：根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、特征点集B的二维图像坐标以及特征点集B在工具坐标系中的三维坐标，得到从工具坐标系到工件坐标系的齐次变换矩阵T；S5：根据工具执行末端顶点在工具坐标系中的三维坐标和从工具坐标系到工件坐标系的齐次变换矩阵T，计算得到工具执行末端顶点在工件坐标系中的三维坐标；S6：在工件坐标系中计算工具执行末端顶点和所有螺丝的距离，得到当前工具执行末端顶点对应的螺丝编号，如果螺丝编号与规定安装顺序指定螺丝编号相符，则使能工具，并设置螺丝对应拧力，否则工具不使能，重复执行步骤S3
‑
S6，直到所有螺丝拧固完成。2.根据权利要求1所述的基于视觉定位的三维拧固顺序防呆控制方法，其特征在于，确定工件上的特征点集A或确定工具上的特征点集B的方法为：如果特征点在同一个平面内，特征点数量不少于4个；如果特征点不在一个平面内，则特征点数量不少于6个。3.根据权利要求1所述的基于视觉定位的三维拧固顺序防呆控制方法，其特征在于，利用相机采集产品的图片，检测工件特征点集A和工具特征点集B的二维图像坐标的方法为：利用相机采集产品的图片，通过深度学习或传统视觉检测工件特征集A和工具特征集B在图片上的二维图像坐标。4.根据权利要求3所述的基于视觉定位的三维拧固顺序防呆控制方法，其特征在于，通过相机标定得到相机内参矩阵和相机畸变系数：distCoeffs＝[k1,k2,p1,p2,k3]其中，cameraMatrix表示相机内参矩阵，distCoeffs表示相机畸变系数，k1,k2,k3表示径向畸变系数，p1,p2表示切向畸变系数，焦距(f
x
,f
y
)和光学中心(c
x
,c
y
)。5.根据权利要求1所述的基于视觉定位的三维拧固顺序防呆控制方法，其特征在于，根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、特征点集B的二维图像坐标以及特征点集B在工具坐标系中的三维坐标，得到从工具坐标系到工件坐标系的齐次变换矩阵T的方法为：根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、相机内参和相机畸变参数，得到相机坐标系相对于工件坐标系的齐次变换矩阵T1；根据特征点集B的二维图像坐标、特征点集B在工具坐标系中的三维坐标、相机内参和相机畸变参数，得到相机坐标系相对于工具坐标系的齐次变换矩阵T2；通过上述两个齐次变换矩阵T1、T2，得到从工
具坐标系到工件坐标系之间的齐次变换矩阵T。6.根据权利要求5所述的基于视觉定位的三维拧固顺序防呆控制方法，其特征在于，根据特征点集A的二维图像坐标、特征点集A在工件坐标系中的三维坐标、相机内参和相机畸变参数，得到相机坐标系相...

【专利技术属性】
技术研发人员：鲁敏，
申请(专利权)人：苏州超集信息科技有限公司，
类型：发明
国别省市：