一种基于BIM和深度学习的场景三维智能重建系统及方法技术方案

本发明专利技术公开了一种基于BIM和深度学习的场景三维智能重建系统及方法，系统包括深度数据采集与处理模块、三维重建模块、语义分割模块和BIM融合诊断模块。深度数据采集与处理模块收集深度信息并且将其预处理。三维重建模块将预处理过的深度数据重建出三维模型。语义分割模块将数据通过改进的PointNet++网络进行语义分割，获取三维模型的语义信息。BIM融合诊断模块将三维模型与语义分割的结果进行融合，与BIM模型相对比，实现三维重建模型和BIM模型的融合，提供施工进度与竣工效果诊断结果。本发明专利技术克服了现有技术中利用深度信息进行三维重建成本较高和重建时间较长的缺点，在一定程度上丰富了三维重建的技术手段。上丰富了三维重建的技术手段。上丰富了三维重建的技术手段。

【技术实现步骤摘要】
一种基于BIM和深度学习的场景三维智能重建系统及方法


[0001]本专利技术涉及一种基于BIM和深度学习的场景三维智能重建系统及方法，属于场景三维重建


技术介绍

[0002]建筑业是我国经济的支柱产业，21世纪的中国建筑业正处在产业成长和体制变革的关键时期，拥有极其广阔的发展前景。随着我国城市化进程的加快，城市化水平的不断提高，科学技术与信息技术的迅速发展，BIM(Building Information Modeling，建筑信息模型)技术、三维激光扫描技术、深度学习技术、AR(Augmented Reality，增强现实)技术、VR(Virtual Reality，虚拟现实)技术、3D打印技术等技术的相继出现与应用，建筑业已然面临新的变革。
[0003]三维重建(3DReconstruction)是三维计算机视觉领域中的一项基础工作，是在二维图像的基础上利用了第三维的深度数据信息重构出物体或场景的三维模型，三维重建技术的重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现景物的三维重建。目前常用的三维重建系统是KinectFusion，但是通过研究发现KinectFusion建模系统重建范围非常有限，如果应用到室内工程三维重建中来，完整模型后续需进行分块点云间二次拼接。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种基于BIM和深度学习的场景三维智能重建系统及方法，提高了建筑三维重建的精度。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]一种基于BIM和深度学习的场景三维智能重建系统，所述系统包括深度数据采集与处理模块、三维重建模块、语义分割模块和BIM融合诊断模块；
[0007]所述深度数据采集与处理模块用于采集建筑施工阶段的深度数据，并对所述深度数据进行预处理，将预处理后的深度数据转化为点云数据，同时对深度数据进行HHA编码处理；
[0008]所述三维重建模块用于对点云数据进行补全，并根据补全后的点云数据进行三维重建，得到三维模型；
[0009]所述语义分割模块用于利用改进后的PointNet++语义分割网络对经过HHA编码处理后的深度数据进行语义分割，并且标注语义信息；
[0010]所述BIM融合诊断模块用于对所述三维重建模块得到的三维模型与所述语义分割模块得到的语义信息进行融合，并将融合得到的模型与建筑BIM模型进行对比，实现建筑施工阶段与设计阶段之间的差异对比。
[0011]作为本专利技术系统的一种优选方案，所述深度数据采集与处理模块包括RGB
‑
D传感器、预处理单元、点云转化单元和HHA编码处理单元；
[0012]所述深度数据采集与处理模块的工作过程如下：
[0013]1)对RGB
‑
D传感器进行内外参数的标定，通过标定好的RGB
‑
D传感器采集建筑施工阶段的深度数据；
[0014]2)利用预处理单元对采集的深度数据进行滤波处理；
[0015]3)利用点云转化单元将滤波处理后的深度数据转化为点云数据，为所述三维重建模块做好准备；
[0016]4)利用HHA编码处理单元对深度数据进行HHA编码处理，为所述语义分割模块做好准备。
[0017]作为本专利技术系统的一种优选方案，所述三维重建模块的工作过程如下：
[0018]先通过点云补全的神经网络对点云数据进行补全，再通过BundleFunsion方法对补全后的点云数据进行三维重建，得到三维模型。
[0019]作为本专利技术系统的一种优选方案，所述改进后的PointNet++语义分割网络包括依次连接的第一采样和分组层、第一改进PointNet网络层、第二采样和分组层、第二改进PointNet网络层、第一反向插值层、第三改进PointNet网络层、第二反向插值层、第四改进PointNet网络层以及输出层，所述第一采样和分组层的输出和第二反向插值层的输出作为第四改进PointNet网络层的输入，所述第二采样和分组层的输出和第一反向插值层的输出作为第三改进PointNet网络层的输入；
[0020]所述第一改进PointNet网络层包括依次连接的空间对齐层、第一全连接网络、特征对齐层、注意力机制模块、第二全连接网络、最大池化层、第三全连接网络、第四全连接网络以及输出层；所述第一改进PointNet网络层对于N
×
3的点云输入，先通过空间对齐层将其在空间上对齐后，再通过第一全连接网络映射到64维的高维空间上，再经过特征对齐层进行对齐后，得到64维的局部特征，64维的局部特征通过注意力机制模块、第二全连接网络和最大池化层后得到1024维的全局特征，将64维的局部特征和1024维的全局特征合并起来，组成1088维空间，再依次通过第三全连接网络和第四全连接网络，得到第一改进PointNet网络层的输出；其中，N为经过HHA编码处理后的深度数据的数量，第一全连接网络的维数为64
×
64，第二全连接网络的维数为64
×
128
×
1024，第三全连接网络的维数为512
×
256
×
128，第四全连接网络的维数为128
×
M，M为点云数据的类别数；
[0021]所述第一改进PointNet网络层、第二改进PointNet网络层、第三改进PointNet网络层和第四改进PointNet网络层的结构均相同。
[0022]作为本专利技术系统的一种优选方案，所述BIM融合诊断模块的工作过程如下：
[0023]通过将所述三维重建模块得到的三维模型与所述语义分割模块得到的语义信息进行融合后，转换为点云文件，将点云文件导入到Revit软件中与设计阶段的BIM模型进行对比，实现三维语义信息和BIM模型的融合，提供建筑施工阶段与设计阶段之间的差异对比信息。
[0024]一种基于上述的基于BIM和深度学习的场景三维智能重建系统的场景三维智能重建方法，所述场景三维智能重建方法包括如下步骤：
[0025]步骤1，采集建筑施工阶段的深度数据，并对所述深度数据进行预处理，将预处理后的深度数据转化为点云数据，对深度数据进行HHA编码处理；
[0026]步骤2，对点云数据进行补全，并根据补全后的点云数据进行三维重建，得到三维
模型；
[0027]步骤3，利用改进后的PointNet++语义分割网络对经过HHA编码处理后的深度数据进行语义分割，并且标注语义信息；
[0028]步骤4，对步骤2得到的三维模型与步骤3得到的语义信息进行融合，并将融合得到的模型与建筑BIM模型进行对比，实现建筑施工阶段与设计阶段之间的差异对比。
[0029]一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BIM和深度学习的场景三维智能重建系统，其特征在于，所述系统包括深度数据采集与处理模块、三维重建模块、语义分割模块和BIM融合诊断模块；所述深度数据采集与处理模块用于采集建筑施工阶段的深度数据，并对所述深度数据进行预处理，将预处理后的深度数据转化为点云数据，同时对深度数据进行HHA编码处理；所述三维重建模块用于对点云数据进行补全，并根据补全后的点云数据进行三维重建，得到三维模型；所述语义分割模块用于利用改进后的PointNet++语义分割网络对经过HHA编码处理后的深度数据进行语义分割，并且标注语义信息；所述BIM融合诊断模块用于对所述三维重建模块得到的三维模型与所述语义分割模块得到的语义信息进行融合，并将融合得到的模型与建筑BIM模型进行对比，实现建筑施工阶段与设计阶段之间的差异对比。2.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统，其特征在于，所述深度数据采集与处理模块包括RGB
‑
D传感器、预处理单元、点云转化单元和HHA编码处理单元；所述深度数据采集与处理模块的工作过程如下：1)对RGB
‑
D传感器进行内外参数的标定，通过标定好的RGB
‑
D传感器采集建筑施工阶段的深度数据；2)利用预处理单元对采集的深度数据进行滤波处理；3)利用点云转化单元将滤波处理后的深度数据转化为点云数据，为所述三维重建模块做好准备；4)利用HHA编码处理单元对深度数据进行HHA编码处理，为所述语义分割模块做好准备。3.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统，其特征在于，所述三维重建模块的工作过程如下：先通过点云补全的神经网络对点云数据进行补全，再通过BundleFunsion方法对补全后的点云数据进行三维重建，得到三维模型。4.根据权利要求1所述的基于BIM和深度学习的场景三维智能重建系统，其特征在于，所述改进后的PointNet++语义分割网络包括依次连接的第一采样和分组层、第一改进PointNet网络层、第二采样和分组层、第二改进PointNet网络层、第一反向插值层、第三改进PointNet网络层、第二反向插值层、第四改进PointNet网络层以及输出层，所述第一采样和分组层的输出和第二反向插值层的输出作为第四改进PointNet网络层的输入，所述第二采样和分组层的输出和第一反向插值层的输出作为第三改进PointNet网络层的输入；所述第一改进PointNet网络层包括依次连接的空间对齐层、第一全连接网络、特征对齐层、注意力机制模块、第二全连接网络、最大池化层、第三全连接网络、第四全连接网络以及输出层；所述第一改进PointNet网络层对于N
×
...

【专利技术属性】
技术研发人员：王睿华，谢蒸，徐照，
申请(专利权)人：东南大学，
类型：发明
国别省市：