一种融合时间维度以及层次化采样策略的NeRF建模方法技术

本发明专利技术公开了一种融合时间维度以及层次化采样策略的NeRF建模方法，包括构造数据集；对数据集中RGB图像的每条射线，采样M个粗采样点；对粗采样点进行位置编码，再由MLP输出粗采样点的体密度和颜色；计算粗采样点的权重、累计权重；基于累计权重生成N个精采样点，计算精采样点的体密度、颜色、不透明度和累计透射率；结合粗采样点和精采样点计算射线的颜色；构造MLP的损失函数L；训练MLP得到三维场景建模模型。本发明专利技术通过层次化采样策略提高渲染效率，在编码时融合显式空间结构来增强模型对复杂几何的捕捉能力，增加时间编码以高效应对场景中的动态变化，从而在处理大规模、复杂、动态的三维场景时具备更好的性能和效率。

【技术实现步骤摘要】

本专利技术涉及图像处理，尤其涉及一种融合时间维度以及层次化采样策略的nerf建模方法。

技术介绍

1、在虚拟现实、影视特效、数字遗产保护等现代三维视觉场景中，高精度三维重建与渲染技术已成为不可或缺的重要手段。通过对场景的三维建模与重现，数字世界可以以逼真方式反映真实世界的结构和细节，进而为用户带来更加沉浸式的体验。然而，传统的三维建模与渲染技术通常依赖于繁琐的手动建模或高成本的激光扫描，这些方法不仅耗时费力，还难以精确捕捉复杂动态场景的细微变化。同时，在三维重建的过程中，动态场景建模、多视角图像整合、大规模场景处理等问题也给传统方法带来了巨大的挑战。

2、nerf（neural radiance field，神经辐射场）模型是一种新视角合成（novel viewsynthesis）方法，它通过多层感知机（multi layer perceptrons，mlp），使用带有隐式神经场景表示的体渲染。nerf模型的基本形式是将三维场景表示为神经网络近似的辐射场。辐射场描述了场景中每个点和每个观察方向的颜色和体积密度。这写作，表示nerf模型的输入，该本文档来自技高网...

【技术保护点】

1.一种融合时间维度以及层次化采样策略的NeRF建模方法，其特征在于：包括以下步骤；

2.根据权利要求1所述的一种融合时间维度以及层次化采样策略的NeRF建模方法，其特征在于：射线ri,p根据下式得到；

3.根据权利要求1所述的一种融合时间维度以及层次化采样策略的NeRF建模方法，其特征在于：S31中，位置编码根据下式得到；

4.根据权利要求1所述的一种融合时间维度以及层次化采样策略的NeRF建模方法，其特征在于：CDF(m)对应的归一化值CDFnorm(m)根据下式得到；

5.根据权利要求1所述的一种融合时间维度以及层次化采样策略的NeR...

【技术特征摘要】

1.一种融合时间维度以及层次化采样策略的nerf建模方法，其特征在于：包括以下步骤；

2.根据权利要求1所述的一种融合时间维度以及层次化采样策略的nerf建模方法，其特征在于：射线ri,p根据下式得到；

3.根据权利要求1所述的一种融合时间维度以及层次化采样策略的nerf建模方法，其特征在于：s31中，位置编码根据下式得到；

4.根据权利要求1所述的一种融合时间维度以及层次化采样策略的nerf建模方法，其特征在于：cdf...

【专利技术属性】
技术研发人员：欧立业，周皓然，叶绍泽，周卫，彭飞云，陆国锋，陈康，毛金明，艾淑华，
申请(专利权)人：深圳市森歌数据技术有限公司，
类型：发明
国别省市：