基于无标定视觉的机器人轴孔对准控制方法技术

本发明专利技术提供了一种基于无标定视觉的机器人轴孔对准控制方法，包括步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征；步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的所述图像特征用于控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。本发明专利技术提供的基于无标定视觉的机器人轴孔对准控制方法采用无标定视觉的方法进行轴孔对准，无需估计图像雅克比矩阵，计算简单高效；采用消失点特征和端面圆心特征点完成旋转和平移运动解耦控制，能够控制机器人快速而平滑地运动，并且能够有效克服工具形变带来的对准困难，提高轴孔接插装配的质量和可靠性。

【技术实现步骤摘要】
基于无标定视觉的机器人轴孔对准控制方法
本专利技术涉及机器人接插装配作业领域，具体地，涉及基于无标定视觉的机器人轴孔对准控制方法。
技术介绍
轴孔接插装配任务是工业中很常见的一种任务类型，它具有重复且繁琐的特性，使用机器人来替代人工是很合适的，这样既可以降低生产成本又可以提高效率。接插装配可以分为两个阶段，轴孔对准和轴孔接插。轴孔接插前需要先完成轴孔对准任务，其对准精度决定后续接插过程是否能够安全无卡阻的顺利进行。目前大部分方法是利用视觉或/和力觉或/和专用的执行机构来完成轴孔对准及后续位姿调整。专利文献CN110977373A公开了一种机器人用手眼力协调控制末端执行机构，包括六维力传感器、连接件、工业相机、电动气爪及电路板结构，使用视觉和力觉混合控制技术，能够有效保证轴孔装配时的同轴度。其技术方案的不足之处在于需要制作专用的相机连接件，且对相机垂直方向安装精度要求高，同时需要标定相机的内外参数来调整对齐位姿，步骤较为繁琐。专利文献CN106204610A公开了一种基于图像处理的轴孔装配自动对中系统，该方法通过图像处理的方式获取目标轴承孔的圆心特征，标定相机的像素单位与实际尺寸之间的对应关系，然后计算与期望位置的位置偏移量去控制机器人完成对齐。其技术方案的不足之处在于只能调整位置，无法完成姿态修正，使用场景受限且可靠性较差，而且需要标定相机相关参数，长期使用会发生相机参数漂移等情况。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于无标定视觉的机器人轴孔对准控制方法。根据本专利技术提供的基于无标定视觉的机器人轴孔对准控制方法，包括：步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征；步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的图像特征控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。优选地，步骤S1包括：步骤S10：图像采集，工业相机获取目标轴孔图像；步骤S11：图像预处理，根据步骤S10的目标轴孔图像获取感兴趣区域图像，对感兴趣区域图像进行预处理；步骤S12：图像特征提取，根据经步骤S11预处理的图像，分别提取轴和孔的端面圆心特征点坐标、消失点特征坐标。优选地，步骤S11包括：步骤S110：模板匹配，对步骤S10获取的目标轴孔图像进行模板匹配得到感兴趣区域图像；步骤S111：图像灰度化，对感兴趣区域图像进行灰度变换得到灰度图；步骤S112：图像增强，对灰度图使用图像增强方法得到增强图；步骤S113：图像锐化，对增强图使用图像锐化方法得到锐化图；步骤S114：图像阈值分割，对锐化图使用阈值分割方法得到分割图；步骤S115：图像边缘提取，对分割图使用边缘提取算法提取边缘，并进行平滑，得到边缘提取图；步骤S116：图像边缘曲率计算与聚类，沿边缘提取图的边缘计算每点的曲率并对曲率进行聚类，将边缘点分为端面圆边缘点和直线边缘点两类。优选地，步骤S12包括：步骤S120：在经步骤S11处理的图像中提取轴和孔的端面圆心特征点；步骤S121：在经步骤S11处理的图像中提取轴和孔外侧边界的两条平行直线的消失点特征。优选地，步骤S120包括：根据步骤S116处理的图像的聚类结果能够得到端面圆的边缘点，端面圆边缘点坐标为(uci,vci)，其中，i＝1,2,3,…,n；uci表示第i个端面圆边缘点的u坐标；vci表示第i个端面圆边缘点的v坐标；使用最小二乘法对边缘点进行圆拟合，拟合得到的圆心在感兴趣区域图像中坐标为(uc0,vc0)，其中，uc0表示端面圆圆心的u坐标；vc0表示端面圆圆心的v坐标；模板匹配后得到的感兴趣区域图像的左上角坐标为(uroi,vroi)，其中，uroi表示感兴趣区域图像左上角的u坐标；vroi表示感兴趣区域图像左上角的v坐标；提取的端面圆心特征点在全局图像中的坐标为(uc0+uroi,vc0+vroi)；分别提取轴的端面圆心特征点坐标和孔的端面圆心特征点坐标。优选地，步骤S121包括：根据步骤S116处理的图像的聚类结果能够得到直线特征边缘上的点，直线边缘点坐标为(uli,vli)，其中，i＝1,2,3,…,n；uli表示第i个直线边缘点的u坐标；vli表示第i个直线边缘点的v坐标；使用霍夫直线变换进行直线拟合，能够得到外侧边界的两条平行直线的首末端点坐标在感兴趣区域图像中分别为其中，表示边界直线l1首端点的u坐标；表示边界直线l1首端点的v坐标；表示边界直线l1末端点的u坐标；表示边界直线l1末端点的v坐标；表示边界直线l2首端点的u坐标；表示边界直线l2首端点的v坐标；表示边界直线l2末端点的u坐标；表示边界直线l2末端点的v坐标；在全局图像中对应的点坐标分别为将点坐标写成齐次坐标并按顺序形成矩阵Ml＝(mij)3×4，根据下式能够计算出两条平行直线的消失点特征坐标：其中，mij表示矩阵Ml的第i行，第j列的元素；mk为矩阵Ml的列向量，(k＝1,2,3,4)；tij表示矩阵T的第i行，第j列的元素；vp为消失点特征在全局图像中的坐标；分别提取轴外侧边界的两条平行直线的消失点特征坐标和孔外侧边界的两条平行直线的消失点特征坐标。优选地，步骤S2包括：步骤S20：根据机器人运动与图像中特征点运动的映射关系，建立运动符号矩阵，获取期望特征点在图像中的位置；步骤S21：计算运动符号矩阵以及实时特征点与期望特征点的图像误差作为控制反馈信息，根据控制反馈信息控制机器人运动；步骤S22：实时特征点与期望特征点的图像误差小于设定阈值，完成轴孔对准，否则重复步骤S21，直至实时特征点与期望特征点的图像误差小于设定阈值。优选地，步骤S20中消失点特征为姿态对齐特征点，端面圆心特征点为位置对齐特征点。优选地，步骤S20中机器人运动与图像中特征点运动的映射关系为：机器人带动相机在机器人基坐标系Ob的xoy平面平移运动对应消失点特征在图像坐标系中不运动；机器人带动相机绕机器人基坐标系Ob的z轴和y轴旋转运动近似对应孔的消失点特征在图像坐标系中沿v轴和u轴平移运动；机器人带动相机沿机器人基坐标系Ob的z轴和y轴平移运动近似对应孔的端面圆心特征点在图像坐标系中沿u轴和v轴平移运动。优选地，步骤S21包括：步骤S210：计算实时特征点与期望特征点的图像误差作为控制反馈信息；步骤S211：根据步骤S210的控制反馈信息计算符号矩阵，根据符号矩阵计算结果确定机器人的运动方向；步骤S212：控制机器人按照步骤S211的运动方向运动直到实时特征点与期望特征点的图像误差小于设定阈值。与现有本文档来自技高网...

【技术保护点】
1.一种基于无标定视觉的机器人轴孔对准控制方法，其特征在于，包括：/n步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征；/n步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的所述图像特征控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。/n

【技术特征摘要】
1.一种基于无标定视觉的机器人轴孔对准控制方法，其特征在于，包括：
步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征；
步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的所述图像特征控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。


2.根据权利要求1所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S1包括：
步骤S10：图像采集，工业相机获取目标轴孔图像；
步骤S11：图像预处理，根据步骤S10的所述目标轴孔图像获取感兴趣区域图像，对所述感兴趣区域图像进行预处理；
步骤S12：图像特征提取，根据经所述步骤S11预处理的图像，分别提取轴和孔的端面圆心特征点坐标、消失点特征坐标。


3.根据权利要求2所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S11包括：
步骤S110：模板匹配，对步骤S10获取的目标轴孔图像进行模板匹配得到感兴趣区域图像；
步骤S111：图像灰度化，对感兴趣区域图像进行灰度变换得到灰度图；
步骤S112：图像增强，对所述灰度图使用图像增强方法得到增强图；
步骤S113：图像锐化，对所述增强图使用图像锐化方法得到锐化图；
步骤S114：图像阈值分割，对所述锐化图使用阈值分割方法得到分割图；
步骤S115：图像边缘提取，对所述分割图使用边缘提取算法提取边缘，并进行平滑，得到边缘提取图；
步骤S116：图像边缘曲率计算与聚类，沿所述边缘提取图的边缘计算每点的曲率并对曲率进行聚类，将边缘点分为端面圆边缘点和直线边缘点两类。


4.根据权利要求3所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S12包括：
步骤S120：在经步骤S11处理的图像中提取轴和孔的端面圆心特征点；
步骤S121：在经步骤S11处理的图像中提取轴和孔外侧边界的两条平行直线的消失点特征。


5.根据权利要求4所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S120包括：
根据步骤S116处理的图像的聚类结果能够得到端面圆的边缘点，端面圆边缘点坐标为(uci，vci)，其中，
i＝1，2，3，...，n；
uci表示第i个端面圆边缘点的u坐标；
vci表示第i个端面圆边缘点的v坐标；
使用最小二乘法对边缘点进行圆拟合，拟合得到的圆心在感兴趣区域图像中坐标为(uc0，vc0)，其中，
uc0表示端面圆圆心的u坐标；
vc0表示端面圆圆心的v坐标；
模板匹配后得到的感兴趣区域图像的左上角坐标为(uroi，vroi)，其中，
uroi表示感兴趣区域图像左上角的u坐标；
vroi表示感兴趣区域图像左上角的v坐标；
提取的端面圆心特征点在全局图像中的坐标为(uc0+uroi，vc0+vroi)；
分别提取轴的端面圆心特征点坐标和孔的端面圆心特征点坐标。


6.根据权利要求4所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S121包括：
根据步骤S116处理的图像的聚类结果能够得到直线...

【专利技术属性】
技术研发人员：陈卫东，周坤，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31