低成本360度全景视频相机城市管道三维重建方法及系统技术方案

本发明专利技术提供一种低成本360度全景视频相机城市管道三维重建方法及系统，包括管道360度全景视频数据获取；360度全景视频流抽帧，建立序列360度全景影像集；360度全景影像多视投影校正，得到管道序列多视影像；管道序列多视影像匹配和SFM重建；管道不规则三角网Mesh生成与纹理映射。本发明专利技术提出一种利用低成本360度全景视频相机进行城市管道三维重建方法，利用搭载鱼眼镜头的全景相机进入排水管道内部拍摄其360度全景视频，并从全景视频中提取单帧360度全景影像，利用序列全景影像进行管道三维重建，从而构建地下管道三维模型，从而可以在地下管道真实三维模型上直观观察和辨识管道缺陷或损伤，为管道运维检测和监测提供技术支撑，具有成本低、可操作性强等优势。

【技术实现步骤摘要】
低成本360度全景视频相机城市管道三维重建方法及系统
本专利技术属于城市地下管道检测领域，具体涉及一种利用低成本360度全景视频相机进行的城市管道数字化三维重建技术方案。
技术介绍
城市地下管道是城市供水、污水排放一种重要的基础设施，它是城市发展的基础设施之一，与人们的日常生活有着密切的联系。深埋地下的管道随着服役时间增长而老化，可能会出现各种各样裂缝、破损等问题，带来较大的潜在安全危险、水资源浪费、水资源污染等，影响管道日常正常使用和可持续发展。随着城市地下管道的不断建设，管道的种类和构造也发生了复杂的变化。而排水管道作为地下管道体量较大的一部分，常会出现种类繁多，缺陷分布复杂等问题。据统计资料显示，在现有大多数城市，大部分地下给排水管道都无法准确获取其内部信息，对于内部的破损，侵蚀等情况都无法做到及时发现并准确定位，此外，由于城市地形地质条件复杂，面对空间分布复杂城市管网管道可持续运营和维护，对城市管道缺陷检测以及修复等问题都亟需更多的关注。传统的管道检测一般通过人工下井检查，利用透镜检查和几何目测法等。传统管道检查方法虽然简易但也有很多局限，尤其是在应对现有空间分布错综繁杂的城市管道，传统检测方法并不能满足大量城市管道日常运维监测要求。近年来，360度全景成像技术及其硬件设备得到迅速发展的发展，成本降低到一万元以内。全景相机可以在地下环境复杂、空间分布错综复杂、狭窄冗长的地下管道进行360度成像，对于获取地下管道多视角、高质量的高清图像十分有利地下管道三维重建、损伤探测与定位提供了一条新的可能性。但是，由于地形环境的特殊性，本领域亟待提供可实际实现的技术方案。本专利技术提出一种利用低成本360度全景视频相机进行城市管道三维重建方案，利用搭载鱼眼镜头的全景相机进入排水管道内部拍摄其360度全景视频，并从全景视频中提取单帧360度全景影像，利用序列全景影像进行管道三维重建，从而构建地下管道三维模型，从而可以在地下管道真实三维模型上直观观察和辨识管道缺陷或损伤，为城市排水管道运维检测和监测提供技术支撑，具有广泛的应用前景。
技术实现思路
本专利技术提供了一种利用低成本360度全景视频相机进行城市管道三维数字化方案，利用搭载鱼眼镜头的全景相机进入排水管道内部拍摄其360度全景重建视频数据，通过序列全景视频影像处理获取具有严密几何尺寸信息的管道三维实景模型，实现对城市管道运维检测和监测。为实现上述目的，本专利技术提供一种低成本360度全景视频相机城市管道三维重建方法，包括以下步骤：步骤1)、管道360度全景视频数据获取，包括采集城市管道内部360度全景视频流数据，获取管道内部全覆盖的影像；步骤2)、360度全景视频流抽帧，建立序列360度全景影像集，包括通过对全景视频流进行解码，按照预设全景视频抽帧间隔抽取全景视频帧图像，保存至序列全景影像中；步骤3)、360度全景影像多视投影校正，得到管道序列多视影像，包括首先采用等矩形投影球形全景模型，将原始输入的360度全景影像转换至三维全景球空间；其次，通过一个边长与全景球直径相等的正方形包围全景球，将球面上的点映射到对应的立方体表面，得到6幅多视影像；再次，将正方体旋转45°，将球面上的点再次映射到对应的立方体表面，得到另外6幅多视影像；最后，从12幅多视影像中选取水平方向不少于6张、垂直方向不少于2张影像构成管道序列多视影像；步骤4)、管道序列多视影像匹配和SFM重建，包括首先对管道序列多视影像采用SIFT特征算子提取特征点；其次，利用支持线投票与和仿射不变约束的影像匹配方式对管道多视影像进行匹配，得到管道序列影像匹配点集；再次，对管道序列影像匹配点集通过SFM进行空中三角测量与稀疏点云生成，恢复每一帧全景影像的相机位姿，生成管道三维稀疏点云；步骤5)、管道不规则三角网Mesh生成与纹理映射，包括首先根据管道三维稀疏点云，采用PMVS生成管道稠密三维点云；其次，基于管道稠密三维点云，生成管道不规则三角网Mesh；最后，遍历管道Mesh面片，计算法向量，搜索对应的多视影像中确定最合适的纹理块，映射到Mesh面片上，得到管道具有真实感纹理的三维模型。而且，步骤1中，所述的管道360度全景视频数据获取，实现方式为，将全景视频相机安置在管道检测平台上，开启全景视频相机后，移动管道检测平台，对管道进行360度全景视频数据采集。而且，所述全景视频相机的分辨率不低于4K，采用360度鱼眼镜头；管道检测平台采取轮式拖行的方式移动，要求运行稳定，运行速度不高于2m/s；全景视频采集帧率不低于25frame/second。而且，步骤2中，全景视频抽帧间隔针对管道检测平台运行的速度和稳定性设置，实现如下，①在管道检测平台运行速度为1m/s时，设置5帧/秒的间隔抽取视频帧.；②当运行过程有较大抖动时，设置3帧/秒的间隔抽取视频帧。而且，步骤3中所述等矩形投影球形全景模型，是对全景影像三维球面模型和二维平面转换，建立三维球面、球面纹理和二维全景平面之间的转换关系。而且，步骤5中，基于管道稠密三维点云，按照泊松重建算法，生成管道不规则三角网Mesh。而且，步骤5中，对Mesh面片纹理映射时，采用图割理论进行面片纹理的一致性检查和颜色平滑度评价，并采用距离加权的方式进行颜色和亮度的过渡，消除相邻纹理块之间的接缝。而且，用于损伤探测与定位。本专利技术还提供一种低成本360度全景视频相机城市管道三维重建系统，用于实现如上所述的低成本360度全景视频相机城市管道三维重建方法。本专利技术具有如下积极效果：1)本专利技术提出了一种低成本360度全景相机对城市管道数字化三维重建的方法和技术流程，实现城市各种市政管道的真实三维重建。2)本专利技术利用全景视频流数据的影像几何处理，建立城市管道的三维模型，支持损伤探测与定位，为城市管道测量、运维检测和动态监测提供了新的手段。3)本专利技术提供了的方法成本低、可操作性强，可以有效提高城市市政管网管理水平，应用前景广泛。本专利技术将360度全景视频和多视影像几何处理技术引入到城市管道三维数字化，解决了城市管道真实三维重建的问题，为城市管道观测提供了一种高效、可靠和可行的方法，具有成本低、可操作性强等优势，在城市市政管理、石油管道和输气管道检修、输水管线维护等领域具有广阔的应用前景。附图说明图1为本专利技术实施例的流程图。图2为本专利技术实施例的360度全景影像与球面全景对应映射关系示意图。图3为本专利技术实施例的全景坐标系与投影立方体坐标系对应映射关系示意图。具体实施方式以下结合附图和实施例具体说明本专利技术的技术方案。如图1所示，实施例提供一种低成本360度全景视频相机城市管道数字化三维重建方法，包括以下步骤：步骤1)，管道360度全景视频数据获取，该步骤主要是采集城市管道内部360度全景视频流数据，获取管道内部全覆盖的影像。本专利技术利用搭载鱼眼镜头的全景相机进入排水管道内部本文档来自技高网...

【技术保护点】
1.一种低成本360度全景视频相机城市管道三维重建方法，其特征在于：包括以下步骤：/n步骤1)、管道360度全景视频数据获取，包括采集城市管道内部360度全景视频流数据，获取管道内部全覆盖的影像；/n步骤2)、360度全景视频流抽帧，建立序列360度全景影像集，包括通过对全景视频流进行解码，按照预设全景视频抽帧间隔抽取全景视频帧图像，保存至序列全景影像中；/n步骤3)、360度全景影像多视投影校正，得到管道序列多视影像，包括首先采用等矩形投影球形全景模型，将原始输入的360度全景影像转换至三维全景球空间；其次，通过一个边长与全景球直径相等的正方形包围全景球，将球面上的点映射到对应的立方体表面，得到6幅多视影像；再次，将正方体旋转45°，将球面上的点再次映射到对应的立方体表面，得到另外6幅多视影像；最后，从12幅多视影像中选取水平方向不少于6张、垂直方向不少于2张影像构成管道序列多视影像；/n步骤4)、管道序列多视影像匹配和SFM重建，包括首先对管道序列多视影像采用SIFT特征算子提取特征点；其次，利用支持线投票与和仿射不变约束的影像匹配方式对管道多视影像进行匹配，得到管道序列影像匹配点集；再次，对管道序列影像匹配点集通过SFM进行空中三角测量与稀疏点云生成，恢复每一帧全景影像的相机位姿，生成管道三维稀疏点云；/n步骤5)、管道不规则三角网Mesh生成与纹理映射，包括首先根据管道三维稀疏点云，采用PMVS生成管道稠密三维点云；其次，基于管道稠密三维点云，生成管道不规则三角网Mesh；最后，遍历管道Mesh面片，计算法向量，搜索对应的多视影像中确定最合适的纹理块，映射到Mesh面片上，得到管道具有真实感纹理的三维模型。/n...

【技术特征摘要】
1.一种低成本360度全景视频相机城市管道三维重建方法，其特征在于：包括以下步骤：
步骤1)、管道360度全景视频数据获取，包括采集城市管道内部360度全景视频流数据，获取管道内部全覆盖的影像；
步骤2)、360度全景视频流抽帧，建立序列360度全景影像集，包括通过对全景视频流进行解码，按照预设全景视频抽帧间隔抽取全景视频帧图像，保存至序列全景影像中；
步骤3)、360度全景影像多视投影校正，得到管道序列多视影像，包括首先采用等矩形投影球形全景模型，将原始输入的360度全景影像转换至三维全景球空间；其次，通过一个边长与全景球直径相等的正方形包围全景球，将球面上的点映射到对应的立方体表面，得到6幅多视影像；再次，将正方体旋转45°，将球面上的点再次映射到对应的立方体表面，得到另外6幅多视影像；最后，从12幅多视影像中选取水平方向不少于6张、垂直方向不少于2张影像构成管道序列多视影像；
步骤4)、管道序列多视影像匹配和SFM重建，包括首先对管道序列多视影像采用SIFT特征算子提取特征点；其次，利用支持线投票与和仿射不变约束的影像匹配方式对管道多视影像进行匹配，得到管道序列影像匹配点集；再次，对管道序列影像匹配点集通过SFM进行空中三角测量与稀疏点云生成，恢复每一帧全景影像的相机位姿，生成管道三维稀疏点云；
步骤5)、管道不规则三角网Mesh生成与纹理映射，包括首先根据管道三维稀疏点云，采用PMVS生成管道稠密三维点云；其次，基于管道稠密三维点云，生成管道不规则三角网Mesh；最后，遍历管道Mesh面片，计算法向量，搜索对应的多视影像中确定最合适的纹理块，映射到Mesh面片上，得到管道具有真实感纹理的三维模型。


2.根据权利要求1所述的一种低成本360度全景视频相机城市管道三维重建方法，其特征在于：步骤1中，所述的管道360度全景视频数据获取，实现方式为，将全景视频相机安置在管道检测平台上，开启全景视频相机后，移动管道检测...

【专利技术属性】
技术研发人员：胡庆武，张栩婕，李加元，艾明耀，赵鹏程，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42