基于深度学习的点云数据三维重建方法和系统技术方案

本发明专利技术提供一种基于深度学习的点云数据三维重建方法和系统，包括：步骤1，针对被扫描物体，利用三维激光扫描仪从多个不同的角度进行多次扫描，得到对于同一个待扫描物体的多幅点云数据；步骤2，对采集的多幅点云数据进行预处理，包括去除离散点和将噪声点恢复到正确的位置上；步骤3，对于任意两幅点云数据，根据源点云和目标点云计算一个变换关系，将源点云对齐至目标点云所处的坐标系下，从而实现点云的配准，最终得到一个完整的点云图像；步骤4，对非结构化的点云图像进行表面重构，得到点云数据的三角网格模型，再经过优化和渲染，得到逼近于实物的三维模型。本发明专利技术可以将实物类非物质文化遗产转化为永久存储在计算机中的数字模型。模型。模型。

【技术实现步骤摘要】
基于深度学习的点云数据三维重建方法和系统


[0001]本专利技术涉及信息
，主要面向实物类非物质文化遗产，提出一种运用深度学习方法，通过去噪、配准和表面重构三步，将点云数据构建为三维建模的自动化方法和系统。

技术介绍

[0002]由于文物具有易破损性，且大部分文物都存在自然损坏现象（氧化、腐蚀、生锈等），对文物的实物保护需要投入大量的资源。近年来，随着激光扫描技术和计算机技术的不断发展，数字化文物保护得到了越来越多的应用，如文物三维建模、虚拟现实、数字文物修复等。其中，文物三维建模将文物的实物转化为可以永久存储在计算机中的数字模型，具有成本低、效率高、易展示等优势，是目前主流的数字化文化保护方式。文物三维建模需要用到点云，点云是激光扫描得到的原始数据，它是空间中点的集合，每个点除了包含点的三维坐标信息，还包含颜色、法向量、强度值、时间等信息。
[0003]在扫描点云数据建模方面，现有的点云LOD模型建立技术存在着一些不足之处，比如内存消耗大、处理时间长和稳定性差等问题，难以处理海量点云数据，且生成的三维模型效果不佳。为了解决这些问题，需要采用一种更高效、更稳定的点云处理技术。在这方面，深度学习技术提供了一种很好的解决方案。深度学习具有处理大型数据集的高效性、提取特征的自主性，非常适合点云数据处理。深度学习技术在图像、语音、自然语言处理等领域的成功应用，也为点云处理提供了一种新的思路。基于深度学习的点云处理技术能够实现点云的高效处理和建模，为非物质文化遗产的保护和传承提供了有力的支持。
[0004]然而点云数据的特殊性使得传统的深度学习模型不能直接应用于点云数据的处理。点云数据是一种特殊的三维数据表示方法，它由大量的离散点组成，每个点包含三个坐标值以及其他可能的属性值，如颜色、法向量等。与传统的二维图像数据相比，点云数据的特殊性主要表现在两个方面，它具有数据无序性和仿射变化无关性。首先，一团点云数据中有很多个点数据，这些点在点云文件里无论以什么顺序出现，它们指代的信息并不改变，相反，一张图片里的点在图像里已经按照固有的顺序排列好了。其次，点云数据存在于三维空间中，具有仿射变化无关性即旋转不变性，这导致用于二维图像的传统的卷积神经网络无法用于点云数据。由于这些特殊性质，导致传统的卷积神经网络模型难以直接处理点云数据，并且也一直没有深度处理点云数据的标准流程。

技术实现思路

[0005]为了解决现有技术的不足之处，有效对3D点云数据进行建模，本专利技术提出了一套点云数据三维建模方法，包括了去噪、配准和表面重构三个步骤流程，并通过改进的神经网络模型，实现用深度学习技术对点云数据进行处理以得到最终的三维网格模型。
[0006]为了达到上述目的，本专利技术提供的技术方案是：基于深度学习的点云数据三维重建方法，包括如下步骤：
步骤1，针对被扫描物体，利用三维激光扫描仪从多个不同的角度进行多次扫描，得到对于同一个待扫描物体的多幅点云数据；步骤2，对采集的多幅点云数据进行预处理，包括去除离散点和将噪声点恢复到正确的位置上；步骤3，对于任意两幅点云数据，根据源点云和目标点云计算一个变换关系，将源点云对齐至目标点云所处的坐标系下，从而实现点云的配准，最终得到一个完整的点云图像；步骤4，对非结构化的点云图像进行表面重构，得到点云数据的三角网格模型，再经过优化和渲染，得到逼近于实物的三维模型。
[0007]进一步的，步骤2中，首先进行局部划分，将每幅点云数据分成多个局部patch，每个局部patch以一个中心点为中心，包含距离中心r范围内的所有点；其次，将每个局部patch输入到四元空间转移网络，学习到四维向量，通过这个四维向量，将原始点云迁移到一个新的位姿状态，然后通过一个全连接层改变位姿状态的维度，使用多层感知机网络提取逐个点云的特征，并对每个点云的特征向量做逆变换，还原到原本的位姿；在获得处理完的逐点特征向量后，对一个patch中的每个点的特征向量进行融合得到一个局部patch的特征向量；最后对融合的特征向量使用若干全连接层进行回归处理，获得最终结果。
[0008]进一步的，通过改变最后一个全连接层的通道数量实现离散点的去除和噪声点的恢复，对离群点的判定：最后一个全连接层的通道数量设定为1，过程描述函数，，表示该点为离群点的概率，自行设置阈值，即时，判定为离群点，将其去除，所有离群点的集合记为；对噪声点判定：最后一个全连接层的通道数量设定为3，过程描述函数，，表示学习到的每个点的偏移向量，修正后的点即为，表示原始的噪声点云，表示原始的噪声点云中的一个点。
[0009]进一步的，步骤3中任意两幅点云数据进行配准的具体实现方式如下；首先，分别对源点云和目标点云进行特征提取，得到两个全局特征，然后，将这两个全局特征进行拼接得到两个点云的合并特征，所述拼接操作是为了让源点云和目标点云产生关联，以便在后续的处理中能够更好地进行匹配和对齐；接下来，将合并特征作为输入，通过五个全连接层来计算点云之间的变换关系，最后的输出是一个七维的向量，其中前三位是平移向量，后四位是单位四元数，将单位四元数转换为旋转矩阵，根据输出的平移向量和旋转矩阵将源点云进行平移和旋转操作，即将源点云对齐至目标点云所处的坐标系下；最后，将对齐后的源点云和目标点云进行融合。
[0010]进一步的，步骤4中，通过神经网络分辨出点云的表面形状点，形状外点和形状内点，而后对表面形状点上的每一帧点云进行体素表面重构，得到点云数据的三角网格模型，形状外点和形状内点不参与重构；表面重构的具体实现方式如下；首先初始化一个空三角形网格，然后执行以下操作：41，获取当前体素在(x, y, z)处的立方体cube，包含8个顶点；42，获取当前立方体cube的边界集合，该边界集合为所有占据概率在[0.5
‑
tau,
0.5+tau]区间内的点的集合，tau为设置的阈值；43，对于集合中的每个点，执行以下操作：i.选取顶点v1和v2，其中p1<0.5, p2>0.5；ii.通过插值函数插值(v1, v2, p1, p2)获得一个新的占据概率等于0.5的插值点vertex；iii.将插值点vertex添加到三角形网格M中；44，构建当前立方体cube的三角形面列表，该列表包含当前cube中占据概率为0.5的点和刚生成的vertex点；45，对于每个三角形面，将其添加到三角形网格M中，当所有三角形面都已经添加到三角形网格中，算法结束；进一步的，神经网络学习过程如下；（1）潜在向量编码：使用点卷积方法首先为每个输入点产生一个潜在向量，编码器由点云卷积网络实现，只需要改变最后一层的通道数来控制向量的维度，其中为经过配准后的点云中的点，n表示输入点的个数；（2）相对潜在向量编码：给定一个任意查询点，查询点来自输入点，构造一组点集邻居，它包括离最近的k个点，设点集邻居中的点为，而后用查询点相对于的局部坐标，对每个点集邻居中的点的潜在向量进行增强，这些增强的潜在向量经过处理得到相对潜在向量，其中为级联操作；通过以上操作对每一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的点云数据三维重建方法，其特征在于，包括如下步骤：步骤1，针对被扫描物体，利用三维激光扫描仪从多个不同的角度进行多次扫描，得到对于同一个待扫描物体的多幅点云数据；步骤2，对采集的多幅点云数据进行预处理，包括去除离散点和将噪声点恢复到正确的位置上；步骤3，对于任意两幅点云数据，根据源点云和目标点云计算一个变换关系，将源点云对齐至目标点云所处的坐标系下，从而实现点云的配准，最终得到一个完整的点云图像；步骤4，对非结构化的点云图像进行表面重构，得到点云数据的三角网格模型，再经过优化和渲染，得到逼近于实物的三维模型。2.如权利要求1所述的基于深度学习的点云数据三维重建方法，其特征在于：步骤2中，首先进行局部划分，将每幅点云数据分成多个局部patch，每个局部patch以一个中心点为中心，包含距离中心r范围内的所有点；其次，将每个局部patch输入到四元空间转移网络，学习到四维向量，通过这个四维向量，将原始点云迁移到一个新的位姿状态，然后通过一个全连接层改变位姿状态的维度，使用多层感知机网络提取逐个点云的特征，并对每个点云的特征向量做逆变换，还原到原本的位姿；在获得处理完的逐点特征向量后，对一个patch中的每个点的特征向量进行融合得到一个局部patch的特征向量；最后对融合的特征向量使用若干全连接层进行回归处理，获得最终结果。3.如权利要求2所述的基于深度学习的点云数据三维重建方法，其特征在于：通过改变最后一个全连接层的通道数量实现离散点的去除和噪声点的恢复，对离群点的判定：最后一个全连接层的通道数量设定为1，过程描述函数，，表示该点为离群点的概率，自行设置阈值，即时，判定为离群点，将其去除，所有离群点的集合记为；对噪声点判定：最后一个全连接层的通道数量设定为3，过程描述函数，，表示学习到的每个点的偏移向量，修正后的点即为 ，表示原始的噪声点云，表示原始的噪声点云中的一个点。4.如权利要求1所述的基于深度学习的点云数据三维重建方法，其特征在于：步骤3中任意两幅点云数据进行配准的具体实现方式如下；首先，分别对源点云和目标点云进行特征提取，得到两个全局特征，然后，将这两个全局特征进行拼接得到两个点云的合并特征，所述拼接操作是为了让源点云和目标点云产生关联，以便在后续的处理中能够更好地进行匹配和对齐；接下来，将合并特征作为输入，通过五个全连接层来计算点云之间的变换关系，最后的输出是一个七维的向量，其中前三位是平移向量，后四位是单位四元数，将单位四元数转换为旋转矩阵，根据输出的平移向量和旋转矩阵将源点云进行平移和旋转操作，即将源点云对齐至目标点云所处的坐标系下；最后，将对齐后的源点云和目标点云进行融合。5.如权利要求1所述的基于深度学习的点云数据三维重建方法，其特征在于：步骤4中，通过神经网络分辨出点云的表面形状点，形状外点和形状内点，而后对表面形状点上的每一帧点云进行体素表面重构，得到点云数据的三角网格模型，形状外点和形状内点不参与
重构；表面重构的具体实现方式如下；首先初始化一个空三角形网格，然后执行以下操作：41，获取当前体素在(x, y, z)处的立方体cube，包含8个顶点；42，获取当前立方体cube的边界集合，该边界集合为所有占据概率在[0.5
‑
tau,0.5+tau]区间内的点的集合，tau为设置的阈值；43，对于集合中的每个点，执行以下操作：i.选取顶点v1和v2，其中其中p1和p2分别为顶点v1和v2的占据概率，p1<0.5, p2>0.5；ii.通过插值函数插值(v1, v2, p1, p2)获得一个新的占据概率等于0.5的插值点vertex；iii.将插值点vertex添加到三角形网格M中；44，构建当前立方体cube的三角形面列表，该列表包含当前cube中占据概率为0.5的点和刚生成的vertex点；45，对于每个三角形面，将其添加到三角形网格M中，当所有三角形面都已经添加到三角形网格中，算法结束。6.如权利要求5所述的基于深度学习的点云数据三维重建方法，其特征在于：神经网络学习过程如下；（1）潜在向量编码：使用点卷积方法首先为每个输入点产生一个潜在向量，编码器由点云卷积网络实现，只需要改变最后一层的通道数来控制向量的维度，其中为经过配准后的点云中的点，n表示输入点的个数；（2）相对潜在向量编码：给定一个任意查询点，查询点来自输入点，构造一组点集邻居，它包括离最近的k个点，设点集邻居中的点为，而后用查询点相对于的局部坐标，对每个点集邻居中的点的潜在向量进行增强，这些增强的潜在向量经过处理得到相对潜在向量，其中为级联操作；通过以上操作对每一个输入点都完成一次查询；（3）特征加权：通过学习个独立的线性层，由个相应的权重向量参数化，产生个相对权重，表示点乘操作，权重总和为1；最后通过softmax将相对...

【专利技术属性】
技术研发人员：石小川，马超，张典，李烺琛，
申请(专利权)人：武汉大学，
类型：发明
国别省市：