一种满水环境中基于多传感融合的管道三维重建方法技术

本发明专利技术公开了一种满水环境中基于多传感融合的管道三维重建方法，包括：潜航器初始对准；构建两帧图像之间的位姿转换模型；构造两帧点云数据间的位姿转换模型；采集IMU数据并解算潜航器的当前位姿，结合非完整约束以及卡尔曼滤波器不断矫正解算后的位姿；构造的位姿转换模型，构建对应的代价函数，并进行潜航器位姿的优化；构建IMU、声呐、摄像头数据融合模型，使用粒子滤波器进行数据的融合，从而获得可靠的潜航机器人的三维位姿信息；将声呐点云数据进行拼接和坐标变换，最终获得完整的管道三维结构信息。本发明专利技术可提高管道三维结构的重建质量以及重建精度。建质量以及重建精度。建质量以及重建精度。

【技术实现步骤摘要】
一种满水环境中基于多传感融合的管道三维重建方法


[0001]本专利技术属于满水环境下城市管道缺陷识别
，具体涉及一种满水环境中基于多传感融合的管道三维重建方法。

技术介绍

[0002]管道作为运输手段，在石油、化工、国防、天然气、排污等多个领域应用广泛，极大方便了人类社区运输，同时也带来了巨大的经济效益。然而，随着管道服役时间的增加，其内壁会附着大量黏性污物，除此之外，在腐蚀和重压等因素耦合作用下，管道内壁不可避免地出现脱节、破裂、错位、塌陷现象，上述因素不仅影响运输效率，而且会带来安全隐患，甚至产生严重的经济损失。因此，通过及时有效的方法对管道进行全面的维护和故障排查，提高管道运行的安全性，能够减少国家的经济损失，保障生态环境的稳定，对我国可持续发展战略具有重要意义。
[0003]对于地下管道健康状态检测的工作，由于其环境的特殊性与复杂性，目前业界主要采用装载摄像头的机器人采集管道内的可视化信息，并将视频数据传输至智能检测平台系统，由专业工程师对可视化信息进行检查判读，从而完成管道健康状态的检测。然而上述检测手段受主观因素影响大，专业人员需长时间分析海量视频数据，不仅费时费力、效率低下，而且错漏检率高。更重要的是，上述方法的检测结果不能明确缺陷在管段中的三维位置信息(管道方向上的位置以及环向位置)，而这一点在实际工程中是非常有必要的。
[0004]由于传统的电磁波、光波在水中衰减较快，声波成为水下目标探测的有效手段，声呐传感器基于声学原理探测目标物，不仅可用于满水满污环境，而且可提供准确的量化数据，获得多组声波点云数据后，将其统一到全局坐标系后，即可重建出管道内表面的三维结构。然而，管道内部存在着大量的散射体，声波在管道中传播时遇到不均匀的介质会产生散射，形成散射声场，混响影响声呐传感器的测距精度，影响管道三维结构的重建质量。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种满水环境中基于多传感融合的管道三维重建方法，通过融合摄像头、IMU、声呐的数据，基于图优化和卡尔曼滤波器的数据融合，完成管道三维结构的可靠重建，提高管道三维结构的重建质量以及重建精度。
[0006]为实现上述技术目的，本专利技术采取的技术方案为：
[0007]一种满水环境中基于多传感融合的管道三维重建方法，包括：
[0008]步骤一：采集IMU数据并进行满水环境下潜航器初始对准，然后控制潜航器在管道中运动；
[0009]步骤二：在潜航器运行过程中，摄像头模组采集运动图像数据，并构建两帧图像之间的位姿转换模型；
[0010]步骤三：多波束声呐传感器采集声波点云数据并进行点云畸变矫正和区域滤波；
[0011]步骤四：对步骤三处理后的声波点云数据进行线特征提取，并构造两帧点云数据间的位姿转换模型；
[0012]步骤五：采集IMU数据并解算潜航器的当前位姿，结合非完整约束以及卡尔曼滤波器不断矫正解算后的位姿；
[0013]步骤六：结合步骤二和步骤四构造的位姿转换模型，构建对应的代价函数，并进行潜航器位姿的优化；
[0014]步骤七：融合IMU、声呐、摄像头数据，使用粒子滤波器进行代价函数求解，从而获得可靠的潜航机器人的三维位姿信息，三维位姿态信息即是潜航机器人在管道中的姿态和位置信息，该信息为管道三维点云重建提供支撑；
[0015]步骤八：将声呐点云数据进行拼接和坐标变换，结合步骤七得到的三维位姿信息，最终获得完整的管道三维结构信息。
[0016]为优化上述技术方案，采取的具体措施还包括：
[0017]上述的步骤一读取IMU的角速度和加速度数据，通过姿态分解技术，构造初始对准优化方程，设置权重系数，并四元数估计法求解初始姿态矩阵，对初始姿态矩阵进行精度判断，满足精度要求则实现潜航器初始对准。
[0018]上述的初始对准优化方程为：
[0019][0020]式中，w
i
表示权重系数，表示b系相对于n系的初始姿态矩阵，和表示第i组量测向量，E3表示3*3的单位矩阵，det符号表示计算矩阵的行列式；N＞2。
[0021]上述的步骤二在潜航器运行过程中，摄像头模组不断采集外部世界的运动图像数据，分析图像不同时刻的帧数据，使用维纳滤波算法去除图像噪点信息后，结合FAST角点检测算法识别出每帧图像的关键点信息，即可构建出两帧图像之间的位姿转换模型。
[0022]上述的FAST角点检测算法流程如下：
[0023](1)：在图像中选取像素p，亮度记作I
p
，同时设置阈值T，以像素p位中心，选取半径为3的圆上的16个像素点，如果选取的圆上，有连续的N个点的亮度大于I
p
+T或者小于I
p
‑
T，那么像素p被认为是特征点，之后不断循环，找到一张图像中所有满足条件的特征点，作为特征点的先验信息；
[0024](2)：对(1)中得到的所有满足条件的特征点进行Harris响应值的计算，然后选取前N个具有最大响应值的角点作为最终的角点集合；
[0025](3)：构造图像金字塔，并在金字塔的每一层上检测角点，同时基于灰度质心法为特征点添加尺度描述；
[0026](4)：计算关键点的描述子信息，采用BRIEF二进制描述子，为(3)中的每个特征点都添加尺度信息。
[0027]上述的步骤三包括：多波束声呐传感器采集声波点云数据，利用IMU数据估计潜航器的短时运动状态，进而矫正声呐点云的运动畸变，在点云运动畸变处理过程中同时采用区域滤波算法对点云数据进行去噪。
[0028]上述的步骤四选择线特征作为声波点云数据的关键特征，基于曲率区域增长方法分割三维点云平面，对每个点云平面进行二维投影，并进行网格化和二值化，利用稳健的二维线段检测方法获得平面的线特征，最终产生多帧可靠的三维声波点云数据集，并构造出两帧点云数据间的位姿转换模型。
[0029]上述的步骤五不断采集IMU的数据，获取潜航器当前时刻的角速度和加速度信息后，利用惯性导航解算方程计算潜航器当前的姿态、速度、位置信息，引入非完整约束，将潜航器横向速度、纵向速度以及航向角变化量基本为零作为观测约束，构造对应的观测模型，同时以惯性导航误差方程作为卡尔曼滤波器的过程模型；在此基础上，基于卡尔曼滤波器对姿态、速度、位置误差进行估计，通过合理的反馈补偿后，即可获得较为精准的潜航器姿态、速度、位置信息。
[0030]上述的卡尔曼滤波器包含如下公式：
[0031]时间更新：
[0032][0033][0034]量测更新：
[0035][0036][0037]P
k
＝(E
‑
K
k
H
k
)P
k/k
‑1ꢀꢀꢀ
(0
‑
12)
[0038]式中，和P
k/k
‑1分别表示状态的一步预测和一步预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种满水环境中基于多传感融合的管道三维重建方法，其特征在于，包括：步骤一：采集IMU数据并进行满水环境下潜航器初始对准，然后控制潜航器在管道中运动；步骤二：在潜航器运行过程中，摄像头模组采集运动图像数据，并构建两帧图像之间的位姿转换模型；步骤三：多波束声呐传感器采集声波点云数据并进行点云畸变矫正和区域滤波；步骤四：对步骤三处理后的声波点云数据进行线特征提取，并构造两帧点云数据间的位姿转换模型；步骤五：采集IMU数据并解算潜航器的当前位姿，结合非完整约束以及卡尔曼滤波器不断矫正解算后的位姿；步骤六：结合步骤二和步骤四构造的位姿转换模型，构建对应的代价函数；步骤七：融合IMU、声呐、摄像头数据，使用粒子滤波器进行代价函数求解，从而获得可靠的潜航机器人的三维位姿信息，实现对步骤五位姿的优化；步骤八：将声呐点云数据进行拼接和坐标变换，结合步骤七得到的三维位姿信息，最终获得完整的管道三维结构信息。2.根据权利要求1所述的一种满水环境中基于多传感融合的管道三维重建方法，其特征在于，所述步骤一读取IMU的角速度和加速度数据，通过姿态分解技术，构造初始对准优化方程，设置权重系数，并四元数估计法求解初始姿态矩阵，对初始姿态矩阵进行精度判断，满足精度要求则实现潜航器初始对准。3.根据权利要求2所述的一种满水环境中基于多传感融合的管道三维重建方法，其特征在于，所述初始对准优化方程为：式中，w
i
表示权重系数，表示b系相对于n系的初始姿态矩阵，和表示第i组量测向量，E3表示3*3的单位矩阵，det符号表示计算矩阵的行列式；N＞2。4.根据权利要求1所述的一种满水环境中基于多传感融合的管道三维重建方法，其特征在于，所述步骤二在潜航器运行过程中，摄像头模组不断采集外部世界的运动图像数据，分析图像不同时刻的帧数据，使用维纳滤波算法去除图像噪点信息后，结合FAST角点检测算法识别出每帧图像的关键点信息，即可构建出两帧图像之间的位姿转换模型。5.根据权利要求4所述的一种满水环境中基于多传感融合的管道三维重建方法，其特征在于，所述FAST角点检测算法流程如下：(1)：在图像中选取像素p，亮度记作I
p
，同时设置阈值T，以像素p位中心，选取半径为3的圆上的16个像素点，如果选取的圆上，有连续的N个点的亮度大于I
p
+T或者小于I
p
‑
T，那么像素p被认为是特征点，之后不断循环，找到一张图像中所有满足条件的特征点，作为特征点的先验信息；(2)：对(1)中得到的所有满足条件的特征点进行Harris响应值的计算，然后选取前N个
具有最大响应值的角点作为最终的角点集合；(3)：构造图像金字塔，并在金字塔的每一层上检...

【专利技术属性】
技术研发人员：吴国庆，陈宇鸣，倪洋，张浩，
申请(专利权)人：南京安透可智能系统有限公司，
类型：发明
国别省市：