面向数字孪生的大场景融合三维重建方法及系统技术方案

本发明专利技术公开了面向数字孪生的大场景融合三维重建方法及系统，属于三维重建技术领域，要解决的技术问题为在面向数字孪生的三维重建中，因重建精度低而无法对场景中小型设备实现精准三维描述。包括如下步骤：图像处理：通过高分辨率相机采集待重建场景，并对预处理后的重建图像进行特征提取；全局稀疏重建：对重建图像进行图像匹配，并对候选图像进行特征匹配，生成稀疏点云；局部稠密重建：基于稀疏点云进行点云识别，识别出小型设备以及小型设备在三维环境中所占三维空间，并进行局部稠密重建；三维场景生成：通过3D Delaunay算法生成Mesh网格，生成UN纹理贴图，将纹理信息与Mesh网格进行融合。网格进行融合。网格进行融合。

【技术实现步骤摘要】
面向数字孪生的大场景融合三维重建方法及系统


[0001]本专利技术涉及三维重建
，具体地说是面向数字孪生的大场景融合三维重建方法及系统。

技术介绍

[0002]随着计算机技术与传感测量技术的发展和大量应用，在大数据技术和云计算技术的支撑下，虚拟化的数字世界逐渐走向现实并将为人类社会的生产发展提供源动力。尤其是在推动社会生产发展的工业化场景和社会化场景中，对生产过程和社会运行过程的实时监测是至关重要的，基于数字孪生技术的虚拟化场景构建与实时反馈为实时管理监测提供了保障。
[0003]数字孪生技术是一项基于物理模型和传感器数据，集成多学科、多物理量、多尺度、多概率的仿真技术，可以在虚拟环境中为特定对象创建一个仿真副本，真实反映特定对象的全生命周期过程，以便实现对其感知测量与在线监测。在社会快速发展的进程中，对数字孪生技术也提出了更高的要求，目前数字孪生系统正从平面组态监控逐步向高仿真的可视化三维组态转型。三维组态的建立高度依赖于虚拟环境的生成，而三维重建技术则是实现快速、准确建立仿真虚拟环境的关键。
[0004]三维重建将真实场景刻画成符合计算机逻辑表达的数学模型，是在计算机中建立表达客观世界的虚拟现实的关键技术。在面向数字孪生的三维重建中，由于待重建场景范围通常较大，故多采用稀疏重建的方式来减小计算资源的消耗，与此同时也会降低重建精度，无法对场景中的小型设备等实现准确三维描述。
[0005]在面向数字孪生的三维重建中，因重建精度低而无法对场景中小型设备实现精准三维描述，是需要解决的技术问题。

技术实现思路

[0006]本专利技术的技术任务是针对以上不足，提供面向数字孪生的大场景融合三维重建方法及系统，来解决在面向数字孪生的三维重建中，因重建精度低而无法对场景中小型设备实现精准三维描述的技术问题。
[0007]第一方面，本专利技术一种面向数字孪生的大场景融合三维重建方法，包括如下步骤：
[0008]图像处理：通过高分辨率相机采集待重建场景，获得包括待重建场景信息的重建图像，并对预处理后的重建图像进行特征提取，得到图像特征；
[0009]全局稀疏重建：基于图像描述符对重建图像进行图像匹配，将包含相同场景区域的图像对作为候选图像，并对候选图像进行特征匹配，将候选图像之间匹配的图像特征作为共有图像特征，基于共有图像特征对候选图像进行图像校正，计算候选图像对应的相机参数和相机位姿以及共有图像特征的三维坐标，并基于共有图像特征的三维坐标生成稀疏点云；
[0010]局部稠密重建：基于稀疏点云进行点云识别，识别出小型设备以及小型设备在三
维环境中所占三维空间，并通过立体匹配算法对小型设备所占三维空间范围进行局部稠密重建，得到各小型设备对应的稠密点云；
[0011]三维场景生成：将小型设备对应的稠密点云与场景进行融合，基于融合后的全部点云，通过3D Delaunay算法生成Mesh网格，基于图像校正后图像信息以及对应的相机位姿生成UN纹理贴图，并通过空间位置匹配将纹理信息与Mesh网格进行融合，得到面向数字孪生的场景三维重建。
[0012]作为优选，图像处理中，通过高分辨率相机采集待重建场景，获得包括待重建场景信息的重建图像，包括如下步骤：
[0013]以单个或多个单目高分辨率相机作为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景的信息，得到包括待重建场景的场景图像；
[0014]对采集的图像信息和视频信息进行整合，将视频按照帧率提取为一系列单张图像，将单张图像与采集的图像打包为重建图像数据集；
[0015]对于图像重建数据集中每个重建图像，对所述重建图像进行图像预处理，获取图像信息，所述图像信息包括图像元数据和传感器信息；
[0016]图像处理中，预处理后的重建图像进行特征提取，包括如下步骤：
[0017]构建尺度空间，检测重建图像的极值点，获得尺度不变性；
[0018]过滤图像特征点，并对图像特征点进行精确定位；
[0019]为图像特征点分配方向值；
[0020]基于图像特征点的方向值，生成特征描述符；
[0021]对所有图像特征进行过滤处理，将图像特征的数控控制在预定范围内。
[0022]作为优选，全局稀疏重建中，基于图像描述符对重建图像进行图像匹配，包括如下步骤：
[0023]通过词汇树方法生成图像描述符，在词汇树中，每个特征描述符以一个叶子结束，叶子通过一个索引存储，特征描述符索引的集合表示为图像描述符；
[0024]将提取的所有特征描述符传递至词汇树，通过将图像描述符与词汇树的每个节点上的描述符进行比较的方式进行分类；
[0025]通过对比图像描述符来查看不同的重建图像是否包含相同的场景区域；
[0026]全局稀疏重建中，对候选图像进行特征匹配，包括如下步骤：
[0027]对于图像对中的重建图像A和重建图像B，对重建图像A和重建图像B对应的特征描述符集合进行光度匹配，对于重建图像A的每个特征，获得重建图像B中所对应的候选特征列表；
[0028]通过随机抽样一致性RANSAC算法对候选特征列表进行几何过滤获取最佳匹配点，所述最佳匹配点作为匹配的图像特征；
[0029]全局稀疏重建中，基于共有图像特征、通过增量式SfM算法计算后候选图中之间的基础矩阵，获得每个候选图像对应的相机参数和相机位姿，完成图像校正，并计算图像特征的三维坐标，生成稀疏点云，包括如下步骤
[0030]将图像对之间的所有匹配特征融合到tracks中，每个track代表空间中的一个点，可从多个视角观测；
[0031]基于随机抽样一致性RANSAC算法，以最大化的特征匹配数量为标准选择最佳的初
始图像对，同时保证图像对所对应的视角之间的角度也足够大，以提供可靠的几何信息；
[0032]对于所述最佳的初始图像对，通过增量式SfM算法计算两个重建图像之间的基础矩阵，并将其中第一幅图像所对应的相机坐标系视为世界坐标系原点，计算出前两个摄像机的位姿后可以将相应的2D特征三角化为点云；
[0033]选择与已经进行三维重建的特征有足够关联的重建图像，使用Perspective
‑
n
‑
Point算法查找验证新的相机位姿，并将特征三角化为点云；
[0034]使用Bundle Adjustment算法来优化所有相机的外部和内部参数以及所有点云的位置，实现稀疏点云构建。
[0035]作为优选，局部稠密重建中，基于稀疏点云进行点云识别，识别出小型设备以及小型设备在三维环境中所占三维空间，包括如下步骤：
[0036]基于历史小型设备对应的点云数据构建训练集，基于神经网络模型构建点云识别模型，通过训练集训练所述点云识别模型，得到训练后点云识别模型；
[0037]基于所有小型设备的点云数据构建点云数据集，将所述点云数据集输入到训练后点云识别模型，利用T
‑
Net学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数字孪生的大场景融合三维重建方法，其特征在于，包括如下步骤：图像处理：通过高分辨率相机采集待重建场景，获得包括待重建场景信息的重建图像，并对预处理后的重建图像进行特征提取，得到图像特征；全局稀疏重建：基于图像描述符对重建图像进行图像匹配，将包含相同场景区域的图像对作为候选图像，并对候选图像进行特征匹配，将候选图像之间匹配的图像特征作为共有图像特征，基于共有图像特征对候选图像进行图像校正，计算候选图像对应的相机参数和相机位姿以及共有图像特征的三维坐标，并基于共有图像特征的三维坐标生成稀疏点云；局部稠密重建：基于稀疏点云进行点云识别，识别出小型设备以及小型设备在三维环境中所占三维空间，并通过立体匹配算法对小型设备所占三维空间范围进行局部稠密重建，得到各小型设备对应的稠密点云；三维场景生成：将小型设备对应的稠密点云与场景进行融合，基于融合后的全部点云，通过3D Delaunay算法生成Mesh网格，基于图像校正后图像信息以及对应的相机位姿生成UN纹理贴图，并通过空间位置匹配将纹理信息与Mesh网格进行融合，得到面向数字孪生的场景三维重建。2.根据权利要求1所述的面向数字孪生的大场景融合三维重建方法，其特征在于，图像处理中，通过高分辨率相机采集待重建场景，获得包括待重建场景信息的重建图像，包括如下步骤：以单个或多个单目高分辨率相机作为图像采集设备，以单张图像拍摄或视频录制的形式采集待重建场景的信息，得到包括待重建场景的场景图像；对采集的图像信息和视频信息进行整合，将视频按照帧率提取为一系列单张图像，将单张图像与采集的图像打包为重建图像数据集；对于图像重建数据集中每个重建图像，对所述重建图像进行图像预处理，获取图像信息，所述图像信息包括图像元数据和传感器信息；图像处理中，预处理后的重建图像进行特征提取，包括如下步骤：构建尺度空间，检测重建图像的极值点，获得尺度不变性；过滤图像特征点，并对图像特征点进行精确定位；为图像特征点分配方向值；基于图像特征点的方向值，生成特征描述符；对所有图像特征进行过滤处理，将图像特征的数控控制在预定范围内。3.根据权利要求2所述的面向数字孪生的大场景融合三维重建方法，其特征在于，全局稀疏重建中，基于图像描述符对重建图像进行图像匹配，包括如下步骤：通过词汇树方法生成图像描述符，在词汇树中，每个特征描述符以一个叶子结束，叶子通过一个索引存储，特征描述符索引的集合表示为图像描述符；将提取的所有特征描述符传递至词汇树，通过将图像描述符与词汇树的每个节点上的描述符进行比较的方式进行分类；通过对比图像描述符来查看不同的重建图像是否包含相同的场景区域；全局稀疏重建中，对候选图像进行特征匹配，包括如下步骤：对于图像对中的重建图像A和重建图像B，对重建图像A和重建图像B对应的特征描述符
集合进行光度匹配，对于重建图像A的每个特征，获得重建图像B中所对应的候选特征列表；通过RANSAC异常值检测框架中的对极几何算法对候选特征列表进行几何过滤获取最佳匹配点，所述最佳匹配点作为匹配的图像特征；全局稀疏重建中，基于共有图像特征、通过增量式SfM算法计算后候选图中之间的基础矩阵，获得每个候选图像对应的相机参数和相机位姿，完成图像校正，并计算图像特征的三维坐标，生成稀疏点云，包括如下步骤将图像对之间的所有匹配特征融合到tracks中，每个track代表空间中的一个点，可从多个视角观测；基于随机抽样一致性RANSAC算法，以最大化的特征匹配数量为标准选择最佳的初始图像对，同时保证图像对所对应的视角之间的角度也足够大，以提供可靠的几何信息；对于所述最佳的初始图像对，通过增量式SfM算法计算两个重建图像之间的基础矩阵，并将其中第一幅图像所对应的相机坐标系视为世界坐标系原点，计算出前两个摄像机的位姿后可以将相应的2D特征三角化为点云；选择与已经进行三维重建的特征有足够关联的重建图像，使用Perspective
‑
n
‑
Point算法查找验证新的相机位姿，并将特征三角化为点云；使用Bundle Adjustment算法来优化所有相机的外部和内部参数以及所有点云的位置，实现稀疏点云构建。4.根据权利要求4所述的面向数字孪生的大场景融合三维重建方法，其特征在于，局部稠密重建中，基于稀疏点云进行点云识别，识别出小型设备以及小型设备在三维环境中所占三维空间，包括如下步骤：基于历史小型设备对应的点云数据构建训练集，基于神经网络模型构建点云识别模型，通过训练集训练所述点云识别模型，得到训练后点云识别模型；基于所有小型设备的点云数据构建点云数据集，将所述点云数据集输入到训练后点云识别模型，利用T
‑
Net学习得到转换矩阵并与点云数据相乘来对齐，保证训练后点云识别模型对特定空间转换的不变性；多次使用多层感知器对点云数据集中点云数据进行局部特征提取，利用T
‑
Net对特征进行对齐，在局部特征的各个维度上执行最大池化来得到全局特征；将全局特征和之前学习到的局部特征进行串联，再通过多层感知器得到点云数据集中点云数据的分类结果，从而划分出小型设备所处区域；局部稠密重建中，基于校正后重建图像以及每个重建图像对应的相机位姿、通过立体匹配算法对小型设备所占三维空间范围进行局部稠密重建，得到各个小型设备所对应的稠密点云。5.根据权利要求4所述的面向数字孪生的大场景融合三维重建方法，其特征在于，三维场景生成中，基于融合后的全部点云，通过3D Delaunay算法生成Mesh网格，包括如下步骤：将所有小型设备对应的点云数据融合到一个全局八叉树中，其中相互兼容的点云数据被合并到同一个八叉树单元中；执行3D Delaunay四面体化，计算单元格的权重和连接单元格的小平面的权重；使用Graph Cut Max
‑
Flow算法来开展最优化切割，切面代表提取的网格表面，过滤表面不良单元，并在网格上应用拉普拉斯过滤以去除切割痕迹；
过滤掉网格中不需要的元素以生成最终网格。6.一种面向数字孪生的大场景融合三维重建系统，其特征在于，用于通过如权利要求1
‑
5任一项所述的面向数字孪生的大场景融合三维重建方法实现...

【专利技术属性】
技术研发人员：张雲策，魏子重，王建华，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：