图像渲染模型训练、图像渲染方法及装置制造方法及图纸

本发明专利技术提供一种图像渲染模型训练、图像渲染方法及装置，所述模型训练方法包括：确定目标场景的多角度目标场景图；对多角度目标场景图进行投影重建，得到用于表征目标场景的3D场景密度的显式密度分布矩阵；对目标场景的初始神经辐射场进行体素采样，并基于体素采样得到的各采样点中包含有密度与色值的体素特征生成初始渲染图像；基于初始渲染图像与多角度目标场景图之间的差异，以及各区域采样点的密度与显式密度分布矩阵中对应区域的密度之间的差异，对初始神经辐射场进行训练，得到图像渲染模型。本发明专利技术可以在不增加额外前向运算的基础上，加快损失函数的收敛，提高模型的训练速度。度。度。

【技术实现步骤摘要】
图像渲染模型训练、图像渲染方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种图像渲染模型训练、图像渲染方法及装置。

技术介绍

[0002]NeRF(Neural Radiance Fields)是一种深度渲染方法，其主要特点是场景隐式表达和图像的容积渲染。NeRF首先根据场景不同视角的图像学习到场景表征，再由表征生成任意指定角度的图像。
[0003]在根据场景不同视角的图像学习到场景表征后，若要生成任意指定角度的图像，则需要在场景表征中进行采样，并基于采样得到的体素进行图像渲染，得到渲染图像。
[0004]由于基于NeRF生成的容积内场景特征分布不均匀，为提高采样效率，NeRF采用二次采样的方法，具体为：先在一条投影线上先均匀采样64个体素，计算沿该射线的密度分布，然后根据该射线的密度分布，再在该射线采样128个样本。
[0005]由上述基于NeRF的采样方法可知，产生一幅投影渲染图像时需要对每个图像像素对应的射线上做几百次采样并进行相应的的实时计算，计算量较大，且非常耗时，同时在训练网络时需要对多幅场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像渲染模型训练方法，其特征在于，包括：确定目标场景的多角度目标场景图；对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵；对所述目标场景的初始神经辐射场进行体素采样，并基于体素采样得到的各采样点中包含有密度与色值的体素特征生成初始渲染图像；基于所述初始渲染图像与所述多角度目标场景图之间的差异，以及各区域采样点的密度与所述显式密度分布矩阵中对应区域的密度之间的差异，对所述初始神经辐射场进行训练，得到图像渲染模型。2.根据权利要求1所述的图像渲染模型训练方法，其特征在于，所述各区域采样点的密度与所述显式密度分布矩阵中对应区域的密度之间的差异基于如下步骤确定：基于各区域采样点的密度，确定各区域的采样点密度均值；基于各区域的采样点密度均值，与所述显式密度分布矩阵中对应区域的密度之间的差平方，确定各区域采样点的密度与所述显式密度分布矩阵中对应区域的密度之间的差异。3.根据权利要求2所述的图像渲染模型训练方法，其特征在于，所述图像渲染模型的损失函数值基于如下公式计算得到：其中，表示所述损失函数值，表示投影线r对应的初始渲染像素，C(r)表示投影线r对应的目标场景中的相应像素，表示迭代训练时所有投影线集合，表示所述区域k的采样点密度均值，ρ(k)表示所述显式密度分布矩阵中区域k的密度，表示显式密度分布矩阵中的分布区域集合。4.根据权利要求1所述的图像渲染模型训练方法，其特征在于，所述对所述多角度目标场景图进行投影重建，得到用于表征所述目标场景的3D场景密度的显式密度分布矩阵，包括：将所述多角度目标场景图输入至容积渲染模型，由所述容积渲染模型对所述多角度目标场景图进行投影重建，得到所述显式密度分布矩阵；所述容积渲染模型基于所述多角度目标场景图训练得到。5.根据权利要求4所述的图像渲染模型训练方法，其特征在于，所述容积渲染模型基于如下步骤训练得到：将所述多角度目标场景图输入至容积渲染模型的初始模型，由所述初始模型对所述多角度目标场景图...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：