一种基于神经辐射场的三维重建方法技术

本发明专利技术公开了一种基于神经辐射场的三维重建方法，将神经辐射场中的体密度转化为SDF，并使用体渲染方程回归空间SDF和颜色。同时，本发明专利技术还提出使用多视图几何一致性来约束SDF为0的物体表面，通过优化物体表面的位置和朝向，使得表面纹理在多视图上是一致的，从而进一步提升生成mesh模型的质量。以解决现有技术神经辐射场隐式表达带来的几何结构精度较低，噪声较大问题。较大问题。较大问题。

【技术实现步骤摘要】
一种基于神经辐射场的三维重建方法


[0001]本专利技术属于图像处理领域，涉及一种基于图像的三维重建技术，具体涉及一种基于神经辐射场的三维重建方法。

技术介绍

[0002]三维重建是指通过计算机技术将现实世界中的物体或场景转换为数字化的三维模型。它在许多领域具有广泛的应用，包括虚拟现实、增强现实、计算机视觉、机器人技术等。三维重建可以通过不同的方法和技术实现，其中人体重建是三维重建领域的一个重要方向。
[0003]目前，有许多方法用于人体三维重建，包括基于深度相机的方法和基于多视角图像的方法。以下是一些现有技术方案的简要描述：
[0004]结构光方法：使用结构光相机或投影仪以及深度传感器，通过投射结构化光源并测量其反射来获取人体表面的三维形状信息。这种方法常用于静态场景下的人体重建。但对光照条件敏感，可能受到环境光的干扰，在户外或光线不均匀的场景下表现较差，对透明或反射表面的处理较困难。由于需要购买三维传感器等硬件设备，该技术成本远高于多视图方法。
[0005]多视角重建方法：利用多个摄像机或摄像机阵列以不同视角拍摄人体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的三维重建方法，其特征在于，包括以下步骤：采集多视角图像；获取每张图像拍摄时相机的姿态信息并建立将建模对象包裹在内的三维场景空间；利用体渲染在所有图像中随机建立m条像素光线，在每条像素光线上随机采样n个点，得到m
ⅹ
n个采样点位置集合{X
i
}，并记录每个采样点视角V
i
，组成一个数据样本，多次建立m条像素光线并采样，得到样本集；构建能预测SDF的神经辐射场网络模型；将训练样本中每个采样点位置和采样点视角作为输入，对神经辐射场网络模型进行训练，输出采样点SDF值和采样点颜色；光线颜色损失计算：根据预测采样点SDF值和采样点颜色计算像素光线的光线颜色，并计算光线颜色与多视角图像中像素光线真实颜色差，得到颜色损失L
color
；图像一致性约束，在预测像素光线颜色的同时，计算每条像素光线上SDF值为0的点，即表面点，计算多视角图像的相似性，得到影像一致性代价L
photo
；根据颜色损失L
color
和影像一致性代价L
photo
计算总代价，利用总代价调整神经辐射场网络模型的参数；从样本集中选取新训练样本再次对调整参数后的神经辐射场网络模型进行训练，直至颜色损失L
color
和影像一致性代价L
photo
收敛；在三维场景空间进行均匀采样，根据收敛后的神经辐射场网络模型预测所有采样点的SDF值，利用所有采样点的SDF值生成网格模型。2.根据权利要求1所述的三维重建方法，其特征在于，获取每张图像拍摄时相机的姿态信息包括以下步骤：利用运动恢复方法计算每个图像拍摄时相机的姿态信息，相机的姿态信息包括相机位置和相机朝向。3.根据权利要求1所述的三维重建方法，其特征在于，所述神经辐射场网络模型SDF预测模块和颜色预测模块两个子模块，每个子模块均包括输入层、若干隐藏层和输出层；SDF预测模块的输入层的输入参数为采样点位置，输出层的输出参数包括输出特征向量和SDF值；颜色预测模的输入层有四个输入参数，分别是采样点视角、输入特征向量、法向量和采样点位置；SDF预测模块的输出特征向量直接作为颜色预测模的输入特征向量，SDF预测模块输出的SDF值通过法向量计算模块计算得到法向量后作为颜色预测模的输入，颜色预测模的输出...

【专利技术属性】
技术研发人员：曲英杰，安恒哲，徐徐升，
申请(专利权)人：武汉创升无限数字科技有限公司，
类型：发明
国别省市：