一种神经辐射场模型加速训练方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种神经辐射场模型加速训练方法、装置、设备及介质，涉及计算机视觉技术领域。方法包括：通过相机对待渲染场景进行多视角的图像采集；根据采集到的图像获得相机位姿参数，并得到相对坐标系下图像的特征点云；计算特征点云中每个特征点与相机之间的距离，将该距离作为该特征点对应像素的伪深度值；采用体渲染的方法，分别得到预测的深度值和预测的像素颜色，根据预测的深度值与伪深度值计算深度损失，根据预测的像素颜色与图像的真实颜色计算颜色损失；将深度损失和颜色损失输入神经网络，反向传播，更新神经网络参数。本发明专利技术可提高神经辐射场模型的渲染速度，减少甚至消除神经辐射场建模中的漂浮物，提升场景重建的效果。果。果。

【技术实现步骤摘要】
一种神经辐射场模型加速训练方法、装置、设备及介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种神经辐射场模型加速训练方法、装置、设备及介质。

技术介绍

[0002]神经辐射场(NeRF)是一种开创性的三维重建方法，不同于传统的通过点云、网格或者体素等显式重建方法，神经辐射场是一种使用神经网络隐函数隐态建模实现三维场景的方法，在已知一组相机位姿和拍摄图像的情况下，通过神经网络的训练来拟合在已知角度上的拍摄图像，使用体渲染得到像素的颜色，隐态进行三维场景的建模。
[0003]与常规建模方法相比，神经辐射场的优势如下：1.神经辐射场建模耗时与图像数目关系小；2.神经辐射场建模真实度高，和常规建模方法相比，神经辐射场可以对植被、半透明物体、反光物体、水面等进行真实的还原；3.神经辐射场建模不依赖于图像中的特征点，因此在特征点稀疏的局部场景中，常规建模方法可能会缺失物体的一些部分和形成毛刺边缘。
[0004]但是，原始的NeRF需要一周时间才能完成训练，而且渲染的速度也十分缓慢，重建的场景中部分质量也很差。英伟达(insta本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经辐射场模型加速训练方法，其特征在于，包括：通过相机对待渲染场景进行多视角的图像采集；根据采集到的图像获得相机位姿参数，并得到相对坐标系下所述图像的特征点云；在该相对坐标系下计算所述特征点云中每个特征点与相机之间的距离，将该距离作为该特征点对应像素的伪深度值；采用体渲染的方法，分别得到预测的深度值和预测的像素颜色，根据所述预测的深度值与所述伪深度值计算深度损失，根据预测的像素颜色与所述图像的真实颜色计算颜色损失；将所述深度损失和所述颜色损失构成损失函数后输入神经网络，通过反向传播，更新所述神经网络的参数，得到神经辐射场模型。2.根据权利要求1所述的神经辐射场模型加速训练方法，其特征在于，还包括：通过高斯分布对图像的像素点进行采样，控制采样率占整个图像的4
‑
10%，并计算每个特征点覆盖下的像素深度的权重；根据所述权重，对每个像素的所述伪深度值进行加权计算，得到每个像素的最终的伪深度值。3.根据权利要求2所述的神经辐射场模型加速训练方法，其特征在于，计算每个特征点覆盖下的像素深度的权重，包括：采用如下公式计算每个特征点覆盖下的像素深度的权重：其中，为特征点的像素坐标，为采样像素点坐标中除特征点的像素坐标之外的剩余像素坐标，是一个特征点覆盖下的像素深度的权重；是缩放因子，用于确保所有特征点覆盖区域内的像素在整个图像中占据设定值，。4.根据权利要求3所述的神经辐射场模型加速训练方法，其特征在于，对每个像素的所述伪深度值进行加权计算，得到每个像素的最终的伪深度值，包括：采用如下公式，对每个像素的所述伪深度值进行加权计算，得到每个像素的最终的伪深度值：其中，为覆盖像素的特征点的伪深度值，是像素的最终的伪深度值，是每个特征点覆盖下的像素深度的权重之和。5.根据权利要求1所述的神经辐射场模型加速训练方法，其特征在于，采用体渲染的方法，分别得到预测的深度值和预测的像素颜色，包括：根据相机位姿参数，在给定的像素点对应视角的相机射线上采样，获得采样点的位置坐标和视角方向；其中，将相机射线标记为r(t)= o+ td ，o为射线原点，d为视角方向，t为相机射线的长度；将采样点的位置坐标向量和视角方向的坐标向量输入所述神经网络，输出预测的采样
点的颜色和体密度，采用体渲染的方式，累计每个...

【专利技术属性】
技术研发人员：蒋敏超，
申请(专利权)人：擎翌上海智能科技有限公司，
类型：发明
国别省市：