一种变电站施工现场的三维重建方法及系统技术方案

本发明专利技术提供了一种变电站施工现场的三维重建方法及系统，方法包括获取变电站施工现场的图像；提取每帧图像的ORB特征点，并根据训练好的词袋树模型提取图像中钢筋结构对应的多边形区域，剔除所述多边形区域内部的特征点，计算当前图像的特征表示；对相邻的两帧图像进行特征匹配，得到相机位姿；利用投射投影关系，将关键帧图像像素生成点云，将所述点云融合，形成变电站施工现场的三维模型。本发明专利技术基于深度神经网络训练词袋树模型，并将图像中钢筋等复杂交错的钢筋结构对应训练的多边形区域，剔除内部的特征点，进行图像的特征表示，便于图像特征的准确匹配，适用于变电站现场的三维重建方法，实现场景高精度三维重建。实现场景高精度三维重建。实现场景高精度三维重建。

【技术实现步骤摘要】
一种变电站施工现场的三维重建方法及系统


[0001]本专利技术涉及三维建模
，尤其是一种变电站施工现场的三维重建方法及系统。

技术介绍

[0002]无人机巡检现在是变电站施工进度检查的可行选择，利用无人机和计算机视觉进行现场三维重构，并进行进度管理，可以降低成本、加快检查速度，方便管理人员进行决策判断。
[0003]变电站施工现场的精益管理最终目标是使用无人机捕获的图像，并运用算法生成施工现场所有建筑物高质量的三维模型。为了最大限度地提高模型的质量需要基于无人机拍摄的变电站现场视频，设计相应的三维重建算法来获取变电站现场高质量的三维模型。
[0004]其中处理重复的、交错形的条状结构，是现有三维重建算法的难点，目前该结构中提取的特征点容易产生误匹配，进而导致三维重建出的模型效果不好。

技术实现思路

[0005]本专利技术提供了一种变电站施工现场的三维重建方法及系统，用于解决现有变电站施工现场的三维建模效果不好的问题。
[0006]为实现上述目的，本专利技术采用下述技术方案：
[0007]本专利技术第一方面提供了一种变电站施工现场的三维重建方法，所述方法包括以下步骤：
[0008]获取变电站施工现场的图像；
[0009]提取每帧图像的ORB特征点，并根据训练好的词袋树模型提取图像中钢筋结构对应的多边形区域，剔除所述多边形区域内部的特征点，计算当前图像的特征表示；
[0010]对相邻的两帧图像进行特征匹配，根据配对的特征点定位两帧图像的拍摄相机，得到相机位姿；
[0011]构建关键帧集合，当所述关键帧集合中图像数量达到预设阈值时，对集合中关键帧的共视特征点进行局部光束平差法，优化相机位姿；
[0012]根据优化后的相机位姿，利用投射投影关系，将关键帧图像像素生成点云，将所述点云融合，形成变电站施工现场的三维模型。
[0013]进一步地，变电站施工现场图像的获取具体为：
[0014]将无人机拍摄的现场视频打散成单帧的图像。
[0015]进一步地，所述词袋树模型的训练具体为：
[0016]获取无人机拍摄的现场视频，将所述现场视频打散成单帧的图片；
[0017]设置训练配置，基于配置训练基于ORB(Oriented Fast and Rotated Brief，特征提取算法)特征点的词袋树模型，训练过程中采用U
‑
net网络进行图片训练，并对施工中的钢筋结构部分进行分割，得到对应的多边形区域。
[0018]进一步地，所述两帧图像的拍摄相机通过光束平差法进行定位。
[0019]进一步地，所述构建关键帧集合的过程具体为：
[0020]将第一帧图像加入所述关键帧集合，将后面每一帧图像的特征表示与第一帧的特征表示进行对比，并计算汉明距离，若所述汉明距离超过预设阈值，则当前图像作为候选帧，否则将当前图像加入关键帧集合；
[0021]计算所述候选帧的多边形区域面积，若多边形区域面积与当前图像面积的比值超过比值阈值，则当前候选帧不加入关键帧集合，否则将当前候选帧加入关键帧集合。
[0022]进一步地，所述方法还包括步骤：
[0023]当检测到回环后，对回环内的所有关键帧的共视特征点做全局光束平差法，优化相机位姿和共视特征点。
[0024]进一步地，所述将所述点云融合，形成变电站施工现场的三维模型的具体过程为：
[0025]将点云置于八叉树结构中，采用隐式函数表示法表示表面，对于同一体素网格下的点对应的隐式表面采用加权方式进行点云融合，得到变电站施工现场的三维模型。
[0026]本专利技术第二方面提供了一种变电站施工现场的三维重建系统，所述系统包括：
[0027]图像获取单元，用于获取变电站施工现场的图像；
[0028]图像处理单元，用于提取每帧图像的ORB特征点，并根据训练好的词袋树模型提取图像中钢筋结构对应的多边形区域，剔除所述多边形区域内部的特征点，计算当前图像的特征表示；
[0029]定位单元，用于对相邻的两帧图像进行特征匹配，根据配对的特征点定位两帧图像的拍摄相机，得到相机位姿；
[0030]第一优化单元，用于构建关键帧集合，当所述关键帧集合中图像数量达到预设阈值时，对集合中关键帧的共视特征点进行局部光束平差法，优化相机位姿；
[0031]建模单元，根据优化后的相机位姿，利用投射投影关系，将关键帧图像像素生成点云，将所述点云融合，形成变电站施工现场的三维模型。
[0032]进一步地，所述系统还包括模型训练单元，所述模型训练单元获取无人机拍摄的现场视频，将所述现场视频打散成单帧的图片；基于预设配置训练基于ORB特征点的词袋树模型，训练过程中采用U
‑
net网络进行图片训练，并对施工中的钢筋结构部分进行分割，得到对应的多边形区域。
[0033]进一步地，所述系统还包括第二优化单元，所述第二优化单元在检测到回环后，对回环内的所有关键帧的共视特征点做全局光束平差法，优化相机位姿和共视特征点。
[0034]本专利技术第二方面的所述三维重建系统能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
[0035]
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0036]本专利技术基于深度神经网络训练词袋树模型，并将图像中钢筋等复杂交错的钢筋结构对应训练的多边形区域，剔除内部的特征点，进行图像的特征表示，便于图像特征的准确匹配，适用于变电站现场的三维重建方法，实现场景高精度三维重建。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术所述方法实施例的流程示意图；
[0039]图2是本专利技术所述方法其一实现方式的流程示意图；
[0040]图3是本专利技术所述系统实施例的结构示意图。
具体实施方式
[0041]为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。
[0042]如图1所示，本专利技术实施例提供了一种变电站施工现场的三维重建方法，所述方法包括以下步骤：
[0043]S1,获取变电站施工现场的图像；
[0044]S2,提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变电站施工现场的三维重建方法，其特征是，所述方法包括以下步骤：获取变电站施工现场的图像；提取每帧图像的ORB特征点，并根据训练好的词袋树模型提取图像中钢筋结构对应的多边形区域，剔除所述多边形区域内部的特征点，计算当前图像的特征表示；对相邻的两帧图像进行特征匹配，根据配对的特征点定位两帧图像的拍摄相机，得到相机位姿；构建关键帧集合，当所述关键帧集合中图像数量达到预设阈值时，对集合中关键帧的共视特征点进行局部光束平差法，优化相机位姿；根据优化后的相机位姿，利用投射投影关系，将关键帧图像像素生成点云，将所述点云融合，形成变电站施工现场的三维模型。2.根据权利要求1所述变电站施工现场的三维重建方法，其特征是，变电站施工现场图像的获取具体为：将无人机拍摄的现场视频打散成单帧的图像。3.根据权利要求1所述变电站施工现场的三维重建方法，其特征是，所述词袋树模型的训练具体为：获取无人机拍摄的现场视频，将所述现场视频打散成单帧的图片；设置训练配置，基于配置训练基于ORB特征点的词袋树模型，训练过程中采用U
‑
net网络进行图片训练，并对施工中的钢筋结构部分进行分割，得到对应的多边形区域。4.根据权利要求1所述变电站施工现场的三维重建方法，其特征是，所述两帧图像的拍摄相机通过光束平差法进行定位。5.根据权利要求1所述变电站施工现场的三维重建方法，其特征是，所述构建关键帧集合的过程具体为：将第一帧图像加入所述关键帧集合，将后面每一帧图像的特征表示与第一帧的特征表示进行对比，并计算汉明距离，若所述汉明距离超过预设阈值，则当前图像作为候选帧，否则将当前图像加入关键帧集合；计算所述候选帧的多边形区域面积，若多边形区域面积与当前图像面积的比值超过比值阈值，则当前候选帧不加入关键帧集合，否则将当前候选帧加入关键帧集合。6.根据权利要求1所述变电站施工现场的三维...

【专利技术属性】
技术研发人员：姜兆庆，刘忠声，王玉鹏，姬晟翔，陈永辉，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：