一种基于神经辐射场的三维图像渲染方法及系统技术方案

本申请实施例公开了一种基于神经辐射场的三维图像渲染方法及系统。本申请实施例提供的技术方案，通过确定拍摄目标的第一三维坐标和对应的第一光线方向，进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征，之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，可以保障图像渲染质量，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。验。验。

【技术实现步骤摘要】
一种基于神经辐射场的三维图像渲染方法及系统


[0001]本申请实施例涉及计算机视觉
，尤其涉及一种基于神经辐射场的三维图像渲染方法及系统。

技术介绍

[0002]神经辐射场(NeRF，Neural Radiance Fields)是一种隐式的三维场景表示，其将场景表示为空间中任何点的体密度和颜色值。有了以神经辐射场形式存在的场景表示后，便可以对该场景进行渲染进而生成任意视角的图片。目前，在基于神经辐射场进行三维图像渲染时，通常会使用一个全连接神经网络构建图像三维坐标(x，y，z)到体密度σ和颜色值c的映射，进而基于体密度σ和颜色值c进行体渲染，通过大量的神经网络推理，以实现三维图像渲染。
[0003]但是，上述三维图像渲染过程中，对于每一个三维点，都需要花费大量的时间进行体渲染，整个过程相对冗长复杂，三维图像渲染缺乏实时性。

技术实现思路

[0004]本申请实施例提供一种基于神经辐射场的三维图像渲染方法及系统，能够在保障图像渲染质量的前提下，提升三维图像渲染的实时性，解决三维图像渲染过程耗时过长的技术问题。
...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的三维图像渲染方法，其特征在于，包括：确定拍摄目标的第一三维坐标和对应的第一光线方向；将所述第一三维坐标和所述第一光线方向输入预构建的神经辐射场模型，基于所述神经辐射场模型预测所述第一三维坐标在对应的所述第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；基于所述漫反射特征和所述体密度进行体渲染得到第一渲染结果，基于所述镜面反射特征和所述体密度进行体渲染得到第二渲染结果，根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染图像。2.根据权利要求1所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述神经辐射场模型的训练流程包括：获取训练目标的第二三维坐标、第二光线方向和目标图像；以所述第二三维坐标和所述第二光线方向作为模型输入训练所述神经辐射场模型，基于所述神经辐射场模型进行模型运算，输出所述训练目标的渲染图像；基于所述目标图像和所述训练目标的渲染图像，使用预构建的第一损失函数计算对应的第一损失函数数值，根据所述第一损失函数数值调整模型参数，直至所述神经辐射场模型收敛。3.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述基于所述神经辐射场模型进行模型运算，包括：基于网格哈希编码算法将所述第二三维坐标和所述第二光线方向映射至网格特征空间，基于所述网格特征空间筛选所述第二三维坐标和所述第二光线方向，得到对应的融合特征信息，以所述融合特征信息进行所述神经辐射场模型的模型运算。4.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述目标图像通过对应所述训练目标的拍摄图像进行前景分割，去除图像背景后得到。5.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述神经辐射场模型的训练流程包括：基于所述训练目标的深度信息和轮廓信息，使用预构建的第二损失函数计算对应的第二损失函数数值，根据所述第二损失函数数值调整模型参数，直至所述神经辐射场模型收敛。6.根据权利要求1所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染...

【专利技术属性】
技术研发人员：王跃辉，李玉乐，项伟，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：