【技术实现步骤摘要】
基于增强现实技术的配钉方法
本专利技术涉及航天航空领域，尤其涉及一种基于增强现实技术的配钉方法。
技术介绍
飞机装配过程中，涉及到大量的蒙皮与骨架之间的紧固件连接。随着飞机质量日趋提升，特别是军用战机的超机动性和隐身性能要求不断提高，对飞机的外形精度提出了更加苛刻的要求。因此需要对飞机的外形精度相关的装配工艺进行严格的控制。目前，保证飞机外形精度的主要策略是控制制孔锪窝连接工艺过程的精度。然而一旦制孔锪窝连接工艺过程的精度不足，会导致铆钉上端面与飞机表面形貌高度方向的不一致性，从而对飞机的外形精度产生难以弥补的破坏。但是由于飞机表面形态复杂、飞机机体复合材料大规模应用、固有的局部刚度不足等问题的存在，单纯控制蒙皮与壁板的叠层制孔精度存在很大的困难，经常出现群孔超差的问题。单纯依靠制孔锪窝精度与铆钉的尺寸精度，保持两者的装配互换性很难满足飞机的外形的高精度要求。紧固件分类分组装配的方法可以起到很好地满足装配精度要求。其核心思想是将连接使用的铆钉根据其实际尺寸进行预先分组，然后对飞机蒙皮壁板之间进行制孔锪窝，并使用高精度测量设备检测窝深精度。结合铆钉分组信息与窝深精度...
【技术保护点】
1.一种基于增强现实技术的配钉方法，用于匹配待装配工件(W1)与对应装配的多个紧固件，待装配工件(W1)上具有装配区域(W11)且建立有工件坐标系，装配区域(W11)中布置有多个连接孔，用于供多个紧固件对应装配；其特征在于，基于增强现实技术的配钉方法包括步骤：S1，搭建配钉系统，配钉系统包括中央信息处理单元(1)、增强现实投射单元(2)以及激光跟踪仪(3)，中央信息处理单元(1)用于数据处理、存储以及通讯，增强现实投射单元(2)包括相机、虚拟图像生成器以及增强现实图像显示器，增强现实投射单元(2)用于采集图像信息以及构建地图；激光跟踪仪(3)与增强现实投射单元(2)分别与中...
【技术特征摘要】
1.一种基于增强现实技术的配钉方法，用于匹配待装配工件(W1)与对应装配的多个紧固件，待装配工件(W1)上具有装配区域(W11)且建立有工件坐标系，装配区域(W11)中布置有多个连接孔，用于供多个紧固件对应装配；其特征在于，基于增强现实技术的配钉方法包括步骤：S1，搭建配钉系统，配钉系统包括中央信息处理单元(1)、增强现实投射单元(2)以及激光跟踪仪(3)，中央信息处理单元(1)用于数据处理、存储以及通讯，增强现实投射单元(2)包括相机、虚拟图像生成器以及增强现实图像显示器，增强现实投射单元(2)用于采集图像信息以及构建地图；激光跟踪仪(3)与增强现实投射单元(2)分别与中央信息处理单元(1)通信连接；S2，用激光跟踪仪(3)获取得到待装配工件(W1)上的各连接孔在工件坐标系下的位置坐标以及对应位置坐标处的连接孔的深度信息，根据各连接孔在工件坐标系下的位置坐标和各连接孔的深度信息确定各紧固件的类型，用中央信息处理系统接收并存储各连接孔在工件坐标系下的位置坐标、各连接孔的深度信息以及紧固件的类型；S3，在待装配工件(W1)的装配区域(W11)布置多个公共测量点(C1)以及多个定位标志点(C2)；多个公共测量点(C1)分散布置在装配区域(W11)的外周；多个定位标志点(C2)布置在多个连接孔的周围，用于确定多个连接孔的位置；用激光跟踪仪(3)测量得到所有公共测量点(C1)在工件坐标系下的位置坐标；S4，用增强现实投射单元(2)的相机感知装配区域(W11)中的公共测量点(C1)和定位标志点(C2)的特征信息，以某一位置处的公共测量点(C1)作为地图起始点(C0)并建立地图坐标系，除作为地图起始点(C0)外的其它公共测量点(C1)用于确定工件坐标系和地图坐标系之间的位姿变换矩阵，以公共测量点(C1)和定位标志点(C2)为特征点，通过视觉SLAM算法和基于特征的方法对获取的特征信息进行环境地图的构建，构建得到全局地图并获得所有公共测量点(C1)和定位标志点(C2)在地图坐标系下的位置坐标；根据其它公共测量点(C1)在地图坐标系下的位置坐标以及其它公共测量点(C1)在工件坐标系下的位置坐标，通过最小重投影误差BA算法计算得到地图坐标系与工件坐标系之间的位姿变换矩阵；S5，根据步骤S4得到的地图坐标系与工件坐标系之间的位姿变换矩阵以及所有连接孔在工件坐标系下的位置坐标，计算得到所有连接孔在地图坐标系下的位置坐标，并结合所有定位标志点(C2)在地图坐标系下的位置坐标，得到所有连接孔与所有定位标志点(C2)的相对位置关系；S6，使增强现实投射单元(2)进入工作区面对待装配工件(W1)的装配区域(W11)，用增强现实投射单元(2)感知地图起始点(C0)附近的公共测量点(C1)和定位标志点(C2)的特征信息，通过视觉SLAM算法对获取的特征信息进行环境地图的构建，构建得到局部地图，使用与局部地图尺寸相同的窗将步骤S4得到的全局地图划分为多个子地图，对局部地图与多个子地图进行特征点分布相似性比较，得到增强现实投射单元(2)在地图坐标系下的初始位置坐标；结合增强现实投射单元(2)在地图坐标系下的初始位置坐标，并用相机实时采集装配区域(W11)图像并提取装配区域(W11)中的公共测量点(C1)和定位标志点(C2)的特征信息，使装配区域(W11)图像与步骤S4中得到的全局地图进行特征点匹配，通过PnP算法计算得到增强现实投射单元(2)在地图坐标系下的位姿，并以所有时刻下增强现实投射单元(2)在地图坐标系下的位姿以及所有时刻下装配区域(W11)图像中的特征点的位置坐标作为待优化参量，通过最小重投影误差BA算法进行优化，得到精确的增强现实投射单元(2)在地图坐标系下的位姿，结合所有连接孔在地图坐标系下的位置坐标，计算得到所有连接孔相对增强现实投射单元(2)的位置坐标；S7，相机实时采集得到装配区域(W11)的现实图像(V)，并通过增强现实图像显示器显示，同时增强现实投射单元(2)从中央信息处理单元(1)中接收各连接孔在工件坐标系下的位置坐标、深度信息以及紧固件的类型，根据步骤S6得到的所有连接孔相对增强现实投射单元(2)的位置坐标，通过虚拟图像生成器生成装配区域(W11)的虚拟图像，增强现实图像显示器获取装配区域(W11)的虚拟图像并将装配区域(W11)的虚拟图像叠加到现实图像(V)上，现实图像(V)上具有连接孔的实际孔位(H1)，虚拟图像上具有与实际孔位(H1)位置对应的虚拟孔位(H2)，用装配区域(W11)的虚拟图像实时指导在真实场景中装配紧固件，虚拟图像上的各虚拟孔位(H2)处标识有与各虚拟孔位(H2)对应的紧固件类型。2.根据权利要求1所述的基于增强现实技术的配钉方法，其特征在于，步骤S4中通过视觉SLAM算法对获取的特征信息进行环境地图的构建，获得由所有公共测量点(C1)和定位标志点(C2)所表示的全局地图以及所有公共测量点(C1)和定位标志点(C2)在地图坐标系下的位置坐标包括步骤：S41，相机包括单目相机和双目相机，通过已标定的单目相机在装配区域W11中取景采集相邻时刻的参考图像和配准图像，对参考图像和配准图像分别进行特征点提取，对提取的参考图像和配准图像的特征点进行匹配，获得一组匹配点，使用RANSAC算法对匹配点中的错误匹配点删除，获得匹配成功的特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标；通过已标定的双目相机采集同一时刻的两张图像，通过三角形相似性计算得到匹配成功的特征点的深度信息，从而获得匹配成功的特征点在相机坐标系下的位置坐标；S42，作为地图起始点(C0)的公共测量点(C1)设置为相对位置关系已知的公共测量点群，选取公共测量点群中的其中一个公共测量点(C1)作为地图坐标系的原点建立地图坐标系，得到公共测量点群中的公共测量点(C1)在地图坐标系下的位置坐标；根据步骤S41中得到的匹配成功的特征点在相机坐标系下的位置坐标和在像素坐标系下的位置坐标，获得公共测量点群中的公共测量点(C1)在相机坐标系下的Z轴方向坐标和在像素坐标系下的位置坐标，对单目相机建立相机模型，计算得到单目相机相对地图坐标系的初始位姿；S43，根据步骤S41得到的匹配成功的特征点在像素坐标系下的位置坐标，使用PnP算法和SVD算法计算得到单目相机在参考图像和配准图像之间的位姿变换矩阵，并结合步骤S42得到的单目相机相对地图坐标系的初始位姿、运用相机模型，反解得到匹配成功的所有特征点在地图坐标系下的位置坐标；S44，以所有时刻下单目相机相对地图坐标系的位姿以及匹配成功的所有特征点在地图坐标系下的位置坐标为优化目标通过最小重投影误差BA算法进行非线性优化，得到所有特征点在地图坐标系下的位置坐标的最优解；S45，基于使用外观相似的方法的回环检测为步骤S44中的非线性优化添加约束条件；得到进一步优化的所有特征点在地图坐标系下的位置坐标的最优解，即得到其它公共测量点(C1)和全部定位标志点(C2)在地图坐标系下的位置坐标，完成全局地图的构建。3.根据权利要求2所述的基于增强现实技术的配钉方法，其特征在于，步骤S41中获得匹配成功的特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标的具体过程为：相邻时刻的参考图像和配准图像分别记为It和It+1，其中t表示t时刻，t+1表示t+1时刻，提取到的特征点的数量记为M，提取的t时刻的参考图像It的第m个特征点记为提取的t+1时刻的配准图像It+1的第m个特征点记为计算t时刻下的第m个特征点分别与t+1时刻下的各特征点之间的汉明距离数组Dtm；对于第m个特征点选取汉明距离数组Dtm中最小的汉明距离对应的配准图像It+1中的特征点，作为第m个特征点在配准图像It+1中的匹配点并删除错误匹配点，完成参考图像It和配准图像It+1的M个特征点的匹配，获得匹配成功的M个特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标。4.根据权利要求3所述的基于增强现实技术的配钉方法，其特征在于，步骤S41中的通过三角形相似性计算得到特征点的深度信息的具体过程为：根据小孔成像原理，写出双目相机的透镜成像的视差公式：其中，f为透镜焦距，双目相机包括左摄像机和右摄像机，B为左摄像机的光心(O1)和右摄像机的光心(O2)之间的距离，分别为左摄像机和右摄像机中的第m个匹配成功的特征点在左摄像机的像素坐标系下的横坐标；Δxm为视差；利用三角形相似性，计算得到第m个匹配成功的特征...
【专利技术属性】
技术研发人员：张继文，盖宇航，吴丹，陈恳，郭九明，石循磊，胡奎，郭岩，王国磊，徐静，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。