一种基于3DCNN和VAE的三维模型重建方法及系统技术方案

本发明专利技术公开了一种基于3DCNN和VAE的三维模型重建方法及系统，该方法包括：获取数据集；基于3DCNN和VAE构建三维模型重建网络；基于数据集对三维模型重建网络进行训练，得到训练完成的三维模型重建网络；将待测体素数据输入至训练完成的三维模型重建网络，得到三维模型。该系统包括：获取模块、网络构建模块、网络训练模块和重建模块。通过使用本发明专利技术，结合3D CNN和VAE构建三维模型重建网络，实现不需要手动选择特征、设置阈值以及人工操作即可捕获三维数据中的局部和全局结构信息进行三维模型重建。本发明专利技术作为一种基于3DCNN和VAE的三维模型重建方法及系统，可广泛应用于计算机辅助设计领域。领域。领域。

【技术实现步骤摘要】
一种基于3DCNN和VAE的三维模型重建方法及系统


[0001]本专利技术涉及计算机辅助设计领域，尤其涉及一种基于3DCNN和VAE的三维模型重建方法及系统。

技术介绍

[0002]三维模型重建技术作为获取三维模型的重要方式之一，在许多领域有良好的应用前景。三维模型重建是将一个物体或场景的形状和结构信息转换成数字化的三维模型的过程。传统的三维模型重建方法主要基于结构光、激光扫描等技术，需要特定的硬件设备，并且容易受到环境噪声和光线干扰等因素的影响，且通常需要大量已知相机参数的图像，并进行相机参数估计、密集点云重建和表面重建等多个步骤。使用传统三维模型重建方法存在效率低、可扩展性差等缺点。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种基于3DCNN和VAE的三维模型重建方法及系统，不需要手动选择特征、设置阈值以及人工操作即可捕获三维数据中的局部和全局结构信息进行三维模型重建。
[0004]本专利技术所采用的第一技术方案是：一种基于3DCNN和VAE的三维模型重建方法，包括以下步骤：
[0005]获取数据集；
[0006]基于3DCNN和VAE构建三维模型重建网络；
[0007]基于数据集对三维模型重建网络进行训练，得到训练完成的三维模型重建网络；
[0008]将待测体素数据输入至训练完成的三维模型重建网络，得到三维模型。
[0009]进一步，还包括：
[0010]根据数据集构建测试集；
[0011]基于测试集对训练完成的三维模型重建网络进行测试并计算重建误差。
[0012]通过该优选步骤，利用测试集对训练完成的三维模型重建网络进行进一步误差计算，以校验该网络是否符合所设置的误差要求。
[0013]进一步，所述三维模型重建网络包括：
[0014]由三维卷积神经网络配置的编码器，包括四个三维卷积层，用于将输入数据映射至潜在空间的均值向量和方差向量；
[0015]潜在空间，包括三个全连接层和一个丢弃层，用于根据均值向量和方差向量采样得到潜在向量；
[0016]由三维去卷积神经网络配置的解码器，包括四个三维去卷积层，用于将潜在向量映射至三维体素网格空间，生成重建的体素图像并得到重建的三维模型。
[0017]通过该优选步骤，结合3D CNN和VAE可以将三维形状压缩到低维潜在空间，并且可以通过控制潜在空间来重建3D形状，对于三维模型的生成过程有较好的可解释性。
[0018]进一步，所述基于数据集对三维模型重建网络进行训练，得到训练完成的三维模型重建网络这一步骤，其具体包括：
[0019]初始化三维模型重建网络参数；
[0020]使用ReLU函数作为三维模型重建网络中所有层的激活函数；
[0021]将数据集中的三维模型转换为训练体素图像并输入至三维模型重建网络，输出训练的三维模型；
[0022]定义最终损失函数并以最小化最终损失函数为目标，更新三维模型重建网络参数，得到训练完成的三维模型重建网络；
[0023]所述最终损失函数包括重建误差和KL散度项，所述重建误差为训练的三维模型和原始三维模型之间的均方误差，所述KL散度项约束潜在向量的分布与标准正态分布之间的差异。
[0024]通过该优选步骤，编码器和解码器是利用三维卷积神经网络来配置的，在构建出编码器
‑
解码器网络架构后，利用训练数据集对网络进行训练。
[0025]进一步，所述重建误差的公式表示如下：
[0026][0027]上式中，X表示原始三维模型，X
′
表示训练的三维学模型，n表示三维体素网格中的体素数目，x
i
表示第i个三维体素网格，x
′
i
表示重建后的第i个三维体素网格。
[0028]进一步，所述将待测体素数据输入至训练完成的三维模型重建网络，得到三维模型这一步骤，其具体包括：
[0029]将待测体素数据输入至训练完成的三维模型重建网络；
[0030]基于编码器对待测体素数据进行处理，生成潜在空间中的特征图像；
[0031]基于解码器对潜在空间中的特征图像进行处理，生成对应的体素图像；
[0032]基于对应的体素图像转换得到三维模型。
[0033]本专利技术所采用的第二技术方案是：一种基于3DCNN和VAE的三维模型重建系统，包括：
[0034]获取模块，用于获取数据集；
[0035]网络构建模块，基于3DCNN和VAE构建三维模型重建网络；
[0036]网络训练模块，基于数据集对三维模型重建网络进行训练，得到训练完成的三维模型重建网络；
[0037]重建模块，用于将待测体素数据输入至训练完成的三维模型重建网络，得到三维模型。
[0038]本专利技术方法及系统的有益效果是：本专利技术基于深度学习技术来替代传统三维模型重建方法，通过研究三维模型特征提出的方法，构建多网络协同训练的框架，结合了三维卷积神经网络(3D CNN)和变异自动编码器(VAE)来重建三维模型，使用3D CNN和VAE结合起来的三维模型重建网络，不需要手动选择特征、设置阈值以及人工操作即可捕获三维数据中的局部和全局结构信息进行三维模型重建，自动学习三维模型的特征、并行处理大量的三维数据，因此具有更高的准确性、效率和可拓展性，实现对三维数据的高质量重建。
附图说明
[0039]图1是本专利技术一种基于3DCNN和VAE的三维模型重建方法的步骤流程图；
[0040]图2是本专利技术具体实施例三维模型重建网络的结构图；
[0041]图3是本专利技术一种基于3DCNN和VAE的三维模型重建系统的结构框图。
具体实施方式
[0042]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0043]如图1所示，本专利技术提供了一种基于3DCNN和VAE的三维模型重建方法，该方法包括以下步骤：
[0044]S1、获取数据集；
[0045]使用ShapeNet数据集对三维模型重建网络进行训练和测试。将ShapeNet数据集划分为比例8:2的训练集和测试集，训练集记为D＝{D1,D2,
…
,D
n
}，测试集记为D
t
＝{D
t1
,D
t2
,
…
,D
tk
}。在输入之前，将数据集中的每个三维模型转换为64
×
64
×
64的体素图像，导入三维模型到体素化软件MagicaVoxel中，设置体素大小为64，进行体素化操作将三维模型转换为体素图像。训练集中每个三维模型转换后的体素图像记为X＝{x1,x2,
…...

【技术保护点】

【技术特征摘要】
1.一种基于3DCNN和VAE的三维模型重建方法，其特征在于，包括以下步骤：获取数据集；基于3DCNN和VAE构建三维模型重建网络；基于数据集对三维模型重建网络进行训练，得到训练完成的三维模型重建网络；将待测体素数据输入至训练完成的三维模型重建网络，得到三维模型。2.根据权利要求1所述一种基于3DCNN和VAE的三维模型重建方法，其特征在于，还包括：根据数据集构建测试集；基于测试集对训练完成的三维模型重建网络进行测试并计算重建误差。3.根据权利要求2所述一种基于3DCNN和VAE的三维模型重建方法，其特征在于，所述三维模型重建网络包括：由三维卷积神经网络配置的编码器，包括四个三维卷积层，用于将输入数据映射至潜在空间的均值向量和方差向量；潜在空间，包括三个全连接层和一个丢弃层，用于根据均值向量和方差向量采样得到潜在向量；由三维去卷积神经网络配置的解码器，包括四个三维去卷积层，用于将潜在向量映射至三维体素网格空间，生成重建的体素图像并得到重建的三维模型。4.根据权利要求3所述一种基于3DCNN和VAE的三维模型重建方法，其特征在于，所述基于数据集对三维模型重建网络进行训练，得到训练完成的三维模型重建网络这一步骤，其具体包括：初始化三维模型重建网络参数；使用ReLU函数作为三维模型重建网络中所有层的激活函数；将数据集中的三维模型转换为训练体素图像并输入至三维模型重建网络，输出训练的三维模型；定义最终损失函数并以最小化最终损失函数为目标，更新三维模型重建...

【专利技术属性】
技术研发人员：程良伦，陈勇生，王卓薇，胡风华，白期风，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：