飞机蒙皮移动机器人制孔视觉定位及检测方法技术

本发明专利技术公开了一种飞机蒙皮移动机器人制孔视觉定位及检测方法，包括以下步骤：步骤一：对安装在移动机器人的末端法兰上的双目相机的标定；步骤二：双目相机与移动机器人的标定；步骤三：匹配模板的建立；步骤四：机器人坐标系与飞机坐标系的位姿关系建立；步骤五：制孔；步骤六：锪窝深度检测；本发明专利技术的特点是：通过双目相机的视觉定位大幅提高了飞机蒙皮制孔效率和精度，尤其解决了曲面薄蒙皮的制孔难题，而且制孔后并可自动化检测锪窝深度，满足飞机蒙皮高精度制孔及检测的要求，提高了整体工作效率。率。率。

【技术实现步骤摘要】
飞机蒙皮移动机器人制孔视觉定位及检测方法


[0001]本专利技术涉及飞机制造相关
，具体涉及一种飞机蒙皮移动机器人制孔视觉定位及检测方法。

技术介绍

[0002]航空航天产品不仅外形庞大，并且零件众多，协调关系复杂，对部件的加工和装配要求非常严格，在航空航天产品的装配过程中，铆接是十分常见的链接方式，其制孔质量对飞机安全性和寿命影响巨大，目前，制孔越来越多的使用机器人进行自动制孔，但是如何精准定位加工点是至关重要的难点，而现在通常采用的定位技术在精度上仍有待提高，尤其是针对机器人移动产生的误差较难补偿，另外，现阶段对制孔锪窝的检测主要还是以人工操作为主，不仅工作效率低，同时检测的精度也不高，给产品的质量增加了很多不确定的因素，限制了产品的质量和稳定性。

技术实现思路

[0003]本专利技术的目的在于克服上述不足问题，提供一种飞机蒙皮移动机器人制孔视觉定位及检测方法。
[0004]本专利技术为实现上述目的所采用的技术方案是：飞机蒙皮移动机器人制孔视觉定位及检测方法，包括以下步骤：
[0005]步骤一：对安装在移动机器人的末端法兰上的双目相机的标定
[0006]双目相机通过不同角度对标准标定板进行拍摄，获得双目相机的内参、外参以及双目相机之间的位姿关系，完成双目相机的标定；
[0007]步骤二：双目相机与移动机器人的标定
[0008]通过上述标定的双目相机对双目视觉检测标定板进行拍摄，获得双目视觉检测标定板的特征点在相机坐标系上的位姿，并用激光跟踪仪建立相机坐标系与机器人法兰坐标系之间的位姿关系，通过已知的机器人法兰坐标系与机器人坐标系的位姿关系，获得相机坐标系与机器人坐标系的位姿关系，完成双目相机与移动机器人的标定；
[0009]步骤三：匹配模板的建立
[0010]通过标定后的双目相机对飞机蒙皮上的参考基准孔的特征点进行拍摄，图片经过图像处理后建立成匹配模板；
[0011]步骤四：机器人坐标系与飞机坐标系的位姿关系建立
[0012]再次通过双目相机对飞机蒙皮上的基准孔特征点进行拍摄，并通过相机坐标系与机器人坐标系的位姿关系，建立机器人坐标系与飞机坐标系之间的位姿关系；
[0013]步骤五：制孔
[0014]将移动机器人的末端执行器移动至飞机蒙皮的基准孔位置进行拍摄，获得的基准孔的特征点与匹配模板进行匹配，经过参数判断确定特征点是否满足要求，满足要求的即可以基准孔为基准进行制孔；
[0015]步骤六：锪窝深度检测
[0016]制孔后，通过末端执行器侧端上安装的检测相机对飞机蒙皮上的加工孔进行拍摄，识别加工孔的内径与外径进而计算出锪窝深度，经过参数判断确定锪窝深度是否满足要求。
[0017]所述相机坐标系与机器人法兰坐标系的位姿关系的约束条件：
[0018]建立匹配模板的图片要选择清晰完整的图片，经过图片矫正、仿射变换、图片预处理、阈值处理和Blob分析将特征区域分割出来，经高斯滤波、形态学分析、增加对比度、边缘检测、XLD分析后建立匹配模板。
[0019]所述匹配模板的匹配采用图像金字塔分层搜索策略。
[0020]制孔时拍摄的基准孔的图片经过图片矫正、ROI分析，将特征区域分割出来，通过高斯滤波滤除图像中的白噪声，并通过增强对比度强化边缘轮廓后与匹配模板匹配。
[0021]机器人法兰坐标系与机器人坐标系的位姿关系模型为：
[0022]b
P
x
＝Trans
x
‑
f
P
y
(cos(A)*sin(B)
‑
cos(C)*sin(A)*sin(B))+
f
P
z
*(sin(A)*sin(C)+cos(A)*cos(C)*sin(B))+
f
P
x
*cos(B)*cos(C)
[0023]b
P
y
＝Trans
y
+
f
P
y
(cos(A)*cos(C)+sin(A)*sin(B)*sin(C))+
f
P
z
*(cos(C)*sin(A)
‑
cos(A)*sin(B)*sin(C))+
f
P
x
*cos(B)*sin(C)
[0024]b
P
z
＝Trans
z
‑
f
P
x
*sin(B)+
f
P
z
*cos(A)*cos(B)+
f
P
y
*cos(B)*sin(A)。
[0025]本专利技术的特点是：通过双目相机的视觉定位大幅提高了飞机蒙皮制孔效率和精度，尤其解决了曲面薄蒙皮的制孔难题，而且制孔后并可自动化检测锪窝深度，满足飞机蒙皮高精度制孔及检测的要求，提供了整体工作效率。
附图说明
[0026]图1是本专利技术的流程示意图。
[0027]图2是本专利技术中采用的搜索策略图像金字塔。
具体实施方式
[0028]如图1所示，本专利技术为飞机蒙皮移动机器人制孔视觉定位及检测方法，包括以下步骤：
[0029]步骤一：对安装在移动机器人的末端法兰上的双目相机的标定
[0030]双目相机通过不同角度对标准标定板进行拍摄，获得双目相机的内参、外参以及双目相机之间的位姿关系，完成双目相机的标定；
[0031]所述标准标定板为高精度的7X7孔的方形板，所述标准标定板设置在双目相机视野范围内(1/3左右)拍摄一定数量(大于15张)的图片，通过软件执行双目相机的标定，获得相机的内参[Focus，Kappa，Sx，Sy，Cx，Cy，ImageWidth，ImageHeight]和外参[X，Y，Z，A，B，C]及双目相机间的位姿关系，其中，Focus：焦距；Kappa：扭曲畸变；Sx，Sy：像素大小；Cx，Cy：图像中心点坐标；ImageWidth，ImageHeight：图像的宽和高；X，Y，Z：位置坐标；A，B，C：偏航角、俯仰角、滚动角；
[0032]双目相机标定完成后，双目相机的焦距、光圈及位姿都不能再变动；
[0033]步骤二：双目相机与移动机器人的标定
[0034]通过上述标定的双目相机对双目视觉检测标定板进行拍摄，获得双目视觉检测标定板的特征点在相机坐标系上的位姿，并用激光跟踪仪建立相机坐标系与机器人法兰坐标系之间的位姿关系，所述激光跟踪仪的使用相比传统的他标定方法进一步提升了关系模型的精度，所述相机坐标系与机器人法兰坐标系的位姿关系的约束条件：(
f
P：法兰坐标系下点的坐标，相机坐标系在法兰坐标下的位姿，
c
P：相机坐标系下点的坐标)，并通过已知的机器人法兰坐标系与机器人坐标系的位姿关系，...

【技术保护点】

【技术特征摘要】
1.飞机蒙皮移动机器人制孔视觉定位及检测方法，其特征在于，包括以下步骤：步骤一：对安装在移动机器人的末端法兰上的双目相机的标定双目相机通过不同角度对标准标定板进行拍摄，获得双目相机的内参、外参以及双目相机之间的位姿关系，完成双目相机的标定；步骤二：双目相机与移动机器人的标定通过上述标定的双目相机对双目视觉检测标定板进行拍摄，获得双目视觉检测标定板的特征点在相机坐标系上的位姿，并用激光跟踪仪建立相机坐标系与机器人法兰坐标系之间的位姿关系，通过已知的机器人法兰坐标系与机器人坐标系的位姿关系，获得相机坐标系与机器人坐标系的位姿关系，完成双目相机与移动机器人的标定；步骤三：匹配模板的建立通过标定后的双目相机对飞机蒙皮上的参考基准孔的特征点进行拍摄，图片经过图像处理后建立成匹配模板；步骤四：机器人坐标系与飞机坐标系的位姿关系建立再次通过双目相机对飞机蒙皮上的基准孔特征点进行拍摄，并通过相机坐标系与机器人坐标系的位姿关系，建立机器人坐标系与飞机坐标系之间的位姿关系；步骤五：制孔将移动机器人的末端执行器移动至飞机蒙皮的基准孔位置进行拍摄，获得的基准孔的特征点与匹配模板进行匹配，经过参数判断确定特征点是否满足要求，满足要求的即可以基准孔为基准进行制孔；步骤六：锪窝深度检测制孔后，通过末端执行器侧端上安装的检测相机对飞机蒙皮上的加工孔进行拍摄，识别加工孔的内径与外径进而计算出锪窝深度，经过参数判断确定锪窝深度是否满足要求。2.如权利要求1所述的飞机蒙皮移动机器人制孔视觉定位及检测方法，其特征在于，所述相机坐标系与机器人法兰坐标系的位姿关系的约束条件：3.如权利要求1所述的飞机蒙皮移动机器人制孔视觉定位及检测方法，其特征在于，建立匹配模板的图片要选择清晰完整的图片，经过图片矫正、仿射变换、图片预处理、阈值处理和Blob分析将特征区域分割出来，经高斯滤波、形态学分析、增加对比度、边缘检测、XLD分析后建立匹配模板。4.如权利要求1所述的飞机蒙皮移动机器人制孔视觉定位及检测方法，其特征在于，所述匹配模板的匹配采用图像金字塔分层搜...

【专利技术属性】
技术研发人员：职统兴，李来希，孙德志，冷超，
申请(专利权)人：大连四达高技术发展有限公司，
类型：发明
国别省市：