手持式飞机油箱快速三维地图重建装置及重建方法制造方法及图纸

本发明专利技术公开了手持式飞机油箱快速三维地图重建装置及重建方法，包括包括工业摄像头、惯导传感器、手持握把、电池、微型工控机以及无线模块，本发明专利技术先针对单目相机在油箱内部所拍摄的当前帧照片提取角点特征；再对当前帧提取的角点利用光流法实现下一帧的特征跟踪；然后得到相邻两帧间的位姿变换；三维重建出一个初始特征点三维地图；选择满足一定条件的帧为整个油箱三维重建过程中的关键帧，针对所选的关键帧进行局部的稀疏集束调整，然后与惯性模块测量所得绝对尺度的位姿进行整合滤波，对飞机整体油箱内部进行快速三维稠密重建。本发明专利技术具有效率高、成本低、具有实时性而且可以保证在狭小飞机整机内部实现高精度稠密三维重建的优点。

Hand held aircraft fuel tank fast 3D map reconstruction device and reconstruction method

【技术实现步骤摘要】
手持式飞机油箱快速三维地图重建装置及重建方法
本专利技术涉及图像信息学科科学领域，特别涉及一种手持式飞机油箱快速三维地图重建装置及重建方法。
技术介绍
随着智能制造在航空领域的发展，制造过程中对于制造质量的检测手段也更加多元化和智能化。针对飞机整体油箱作为油密区域，是飞机结构密封中要求十分严格的部位，其良好的密封性是实现“安全、经济、舒适、环保”目标的必然要求。而目前在型号研制中整体油箱的泄露情况反复出现，导致制造时的气密试验和油密试验周期远高于同类竞争机型，同时由于油箱属于封闭式狭小空间，且内部结构较为复杂，不方便人员进入油箱内部进行气密性检查，因此为了实现高效地油箱内部气密性检查，考虑采用基于单目视觉的油箱内部快速稠密三维重建，从重建的结果上较为方便地检测密封情况。为了实现低成本、高效、实时的油箱内部三维重建，采用单目相机在整机油箱内部进行移动完成实时定位和内部三维重建。传统的相机位位姿估计和三维重建通过提取相邻帧间图像的特征点和描述子，基于描述子匹配提取的特征点进而确定相邻两帧间相机的位移，然而由于油箱内部场景高度重复，基于描述子本文档来自技高网...

【技术保护点】
1.手持式飞机油箱快速三维地图重建装置，其特征是：包括工业摄像头(1)、惯导传感器(2)、手持握把(4)、电池(5)、微型工控机(7)以及无线模块(6)，所述的工业摄像头(1)和惯导传感器(2)固定在手持握把(4)前端，工业摄像头(1)和惯导传感器(2)共同组成视觉里程计，用于获取精确的空间运动信息，所述的电池(5)固定于手持握把(4)中，用于为工业摄像头(1)、惯导传感器(2)、微型工控机(7)以及无线模块(6)供电，所述的手持握把(4)、工业摄像头(1)以及惯导传感器(2)能伸入飞机油箱中，由工业摄像头(1)以及惯导传感器(2)采集飞机油箱内的图像信息，所述的微型工控机(7)固定在手持握把...

【技术特征摘要】
1.手持式飞机油箱快速三维地图重建装置，其特征是：包括工业摄像头(1)、惯导传感器(2)、手持握把(4)、电池(5)、微型工控机(7)以及无线模块(6)，所述的工业摄像头(1)和惯导传感器(2)固定在手持握把(4)前端，工业摄像头(1)和惯导传感器(2)共同组成视觉里程计，用于获取精确的空间运动信息，所述的电池(5)固定于手持握把(4)中，用于为工业摄像头(1)、惯导传感器(2)、微型工控机(7)以及无线模块(6)供电，所述的手持握把(4)、工业摄像头(1)以及惯导传感器(2)能伸入飞机油箱中，由工业摄像头(1)以及惯导传感器(2)采集飞机油箱内的图像信息，所述的微型工控机(7)固定在手持握把(4)后部，工业摄像头(1)、惯导传感器(2)、无线模块(6)均与微型工控机(7)连接，所述的工业摄像头(1)和惯导传感器(2)能将采集到的数据发送至微型工控机(7)，再由微型工控机(7)经无线模块(6)发送至工作站。


2.根据权利要求1所述的手持式飞机油箱快速三维地图重建装置，其特征是：所述的工业摄像头(1)和惯导传感器(2)通过法兰组件(3)与手持握把(4)固定连接，所述的电池(5)为锂电池组；所述的工业摄像头(1)为工业单目相机。


3.如权利要求1所述的手持式飞机油箱快速三维地图重建装置重建飞机油箱三维地图的方法，其特征是：包括以下步骤：
步骤一、作业人员携带手持式飞机油箱快速三维地图重建装置进入飞机整体油箱内部，将外部光源放置在固定位置并打开光源，然后启动手持式飞机油箱快速三维地图重建装置，移动手持式飞机油箱快速三维地图重建装置对飞机整体油箱内部进行连续拍照，数据经微型工控机(7)发送至工作站，
步骤二、工作站针对拍照数据的上一帧与当前帧提取到的特征点利用光流法进行特征跟踪，完成相邻帧间图像的匹配关系；
步骤三、求解初始两帧间的位姿变换关系：求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵，再利用SVD分解即可得到初始两帧间的位姿变换T；
步骤四、基于初始两帧建立初始特征点三维地图；假设第一帧工业摄像头(1)的相机位姿为原点，通过初始两帧间的位姿变换T获取到第二帧的位姿，利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标；
步骤五、求解新到来帧相机位姿；利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置，进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配，利用高斯牛顿法优化PnP问题实现对下一帧相机位姿的求解和优化；PnP问题指通过世界中的N个特征点与图像成像中的N个像点，计算出其投影关系，从而获得相机或物体位姿；
步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息，并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点，实现局部三维特征地图的更新，作为求解后续到来帧位姿的三维特征点；
步骤七、局部优化相机位姿和三维特征点地图；针对工业摄像头(1)获得的连续帧，挑选满足一定条件的帧为关键帧，对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化，实现三维特征点坐标和相机位姿的共同优化；
步骤八、基于惯导传感器(2)数据确定相机位姿和三维特征点地图尺度；由于利用工业摄像头(1)实现相机定位和三维建图，存在尺度不确定性，进而融合惯导传感器(2)数据基于EKF滤波实现定位与建图的尺度确定；
步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建，获得飞机油箱的三维建图。


4.根据权利要求3所述的飞机油箱快速三维地图重建方法：其特征是：步骤二中，拍照数据的上一帧与当前帧提取到的特征点为FAST特征点，工作站针对上一帧与当前帧提取到的特征点，建立两帧间图像金子塔，利用Lucas光流法进行两帧特征匹配，具体为：
基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设，优化误差：



其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标，T(x)为该特征点在第一帧图像像素坐标处像素灰度值，表示第一帧特征点在第二帧像素坐标系下的位置，其中p1、p2为第一帧特征点在像素坐标系中的沿着u向v向的平移分量，y为：x,y为某一个特征点像素坐标...

【专利技术属性】
技术研发人员：汪俊，董竞萱，龚小溪，梁青宵，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32