一种多重散射分布生成网络训练方法技术

本公开实施例提供了一种多重散射分布生成网络训练方法

【技术实现步骤摘要】
一种多重散射分布生成网络训练方法、渲染方法及装置


[0001]本公开涉及三维重建领域，尤其涉及一种多重散射分布生成网络训练方法
、
渲染方法及装置
。

技术介绍

[0002]体积介质也称为参与介质，光线穿过类似云
、
烟
、
雾
、
尘埃
、
玉石
、
牛奶
、
皮肤
、
蜡
、
果肉等体积介质时，会产生数万次折射
、
散射
、
吸收等现象
。
如何逼真且高效的渲染体积介质，一直困扰着学术界和产业界
。
对于逼真的渲染效果而言，一般采用体渲染方法来模拟光线在体积介质中的真实传输过程，即在三维体积内部通过路径追踪来求解辐射传输方程，很精确，但开销巨大，无法实时渲染
。
以云为例，即使以今天的计算能力，使用蒙特卡洛路径跟踪渲染
1280
×
720
的云也需要大约一天的时间才能收敛
。

技术实现思路

[0003]本公开实施例提供了一种多重散射分布生成网络训练方法
、
渲染方法及装置，用以解决现有的对三维体积介质进行渲染时计算量大无法实现实时渲染的问题
。
[0004]基于上述问题，第一方面
、
提供一种多重散射分布生成网络训练方法，包括：预先构建多重散射分布生成网络；所述网络包括针对不同采样特征分别进行特征提取的分支网络模块，以及结果处理模块；采用预设采样模板对待训练三维体积介质进行预设特征采样，所述预设特征采样包括：密度特征采样
、
透射特征采样
、
以及相位特征采样；针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果；所述配置参数基于确定散射分布所采用预设算法确定；将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入所述结果处理模块得到预测的多重散射分布结果；基于预测的多重散射分布结果以及确定的多重散射分布真值对所述多重散射分布生成网络进行训练
。
[0005]在结合第一方面的任一种可能的实施方式中，所述预设采样模板包括漫反射采样模板和高光采样模板；所述漫反射采样模板包括第一层数的同心球体，且在球心
、
最内层球体内区域
、
以及相邻两层球体之间区域分别均匀分布有第一预设数量的第一模板点；所述高光采样模板包括从入射光穿入三维体积介质的入射点，至作为采样点的三维体积介质粒子，沿入射光方向平均分成第二层数，且每一层包含第二预设数量的第二模板点；采用预设采样模板对待训练三维体积介质进行预设特征采样，包括：针对使用所述漫反射采样模板和所述高光采样模板对所述三维体积介质的每次采样，将该次采样时作为采样点的体积介质粒子与所述漫反射采样模板的球心对应，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样
。
[0006]在结合第一方面的任一种可能的实施方式中，所述方法还包括：确定所述漫反射模板各层球体的半径；确定所述漫反射采样模板各层球体的半径，包括：针对所述漫反射采样模板每层球体，为该层球体内每个第一模板点确定该层球体内与该第一模板点距离最近的第一模板点，并确定该第一模板点对应的最短距离；基于每个第一模板点对应的最短距离确定最短距离的平均值，得到该层球体对应的最短距离平均值；基于该层球体对应最短平均距离以及控制模板重叠率的经验参数确定该层球体的半径，且满足：最短平均距离越小，对应球体层半径越大；其中，每层球体内第一模板点包括该层球体表面与和与该层球体向内相邻层球体表面之间的第一模板点
。
[0007]在结合第一方面的任一种可能的实施方式中，针对预设特征为透射特征的情况，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样，包括：基于所述待训练三维体积介质的原始分辨率，对所述待训练三维体积介质的密度场进行降采样，得到第三预设数量个分辨率等级的密度场；针对每个分辨率等级的密度场，通过预设分级透射场算法确定该分辨率等级的密度场下，光线从该采样点分别传播至各模板点的分级透射场； 针对每个模板点，将该模板点与该采样点针对各分辨率等级密度场分别确定的分级透射场，输入预设权重预测网络模型，按照对应预测权重对输入的各分级透射场叠加处理，得到该模板点与该采样点对应的透射特征；所述模板点包括：第一模板点以及第二模板点
。
[0008]在结合第一方面的任一种可能的实施方式中，针对预设特征为相位特征的情况，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样，包括：针对每个模板点，基于入射光线传播到该模板点再经过该采样点沿相机方向出射过程中入射光线的入射角和出射光线的出射角，以及预设相位函数，确定该模板点相对于该采样点的相位特征；所述模板点包括：第一模板点以及第二模板点；针对每个模板点，基于入射光线传播到该模板点再经过该采样点沿相机方向出射过程中入射光线的入射角和出射光线的出射角，以及预设相位函数，确定该模板点相对于该采样点的相位特征，包括：针对每个模板点，在入射角变换范围上对预设相位函数进行积分，得到入射光线方向的第一体积相位，以及在出射角变化范围上对预设相位函数进行积分，得到相机方向的第二体积相位；将所述第一体积相位与所述第二体积相位的乘积确定为该模板点相对于该采样点的相位特征
。
[0009]在结合第一方面的任一种可能的实施方式中，所述三维体积介质包括：气态类型三维体积介质
、
固液态类型三维体积介质
、
以及皮肤类型三维体积介质；所述方法还包括：为不同类型的待训练三维体积介质确定对应的预设相位函数；为不同类型的待训练三维体积介质确定对应的预设相位函数，包括：将各向同性相位函数确定为空气类型的待训练三维体积介质对应的预设相位函数；将
HG
相位函数确定为气态类型待训练三维体积介质对应的预设相位函数；将双峰亨尼
‑
格林斯坦
HG
相位函数确定为固液态类型待训练三维体积介质对应的预设相位函数；将多峰
HG
相位函数确定为皮肤类型待训练三维体积介质对应的预设相位函数
。
[0010]在结合第一方面的任一种可能的实施方式中，针对每种预设采样模板，为该种预设采样模板设置有与不同采样特征分别对应的分支网络模块；且所述分支网络模块并行对对应采样特征进行处理；
针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果，包括：针对为对应预设采样模板以及对应采样特征设置的分支网络模块，确定该预设采样模板第一层包含的模板点针对该采样特征进行采样得到的第一采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多重散射分布生成网络训练方法，其特征在于，包括：预先构建多重散射分布生成网络；所述网络包括针对不同采样特征分别进行特征提取的分支网络模块，以及结果处理模块；采用预设采样模板对待训练三维体积介质进行预设特征采样，所述预设特征采样包括：密度特征采样
、
透射特征采样
、
以及相位特征采样；针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果；所述配置参数基于确定散射分布所采用预设算法确定；将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入所述结果处理模块得到预测的多重散射分布结果；基于预测的多重散射分布结果以及确定的多重散射分布真值对所述多重散射分布生成网络进行训练
。2.
如权利要求1所述的方法，其特征在于，所述预设采样模板包括漫反射采样模板和高光采样模板；所述漫反射采样模板包括第一层数的同心球体，且在球心
、
最内层球体内区域
、
以及相邻两层球体之间区域分别均匀分布有第一预设数量的第一模板点；所述高光采样模板包括从入射光穿入三维体积介质的入射点，至作为采样点的三维体积介质粒子，沿入射光方向平均分成第二层数，且每一层包含第二预设数量的第二模板点；采用预设采样模板对待训练三维体积介质进行预设特征采样，包括：针对使用所述漫反射采样模板和所述高光采样模板对所述三维体积介质的每次采样，将该次采样时作为采样点的体积介质粒子与所述漫反射采样模板的球心对应，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样
。3.
如权利要求2所述的方法，其特征在于，所述方法还包括：确定所述漫反射模板各层球体的半径；确定所述漫反射采样模板各层球体的半径，包括：针对所述漫反射采样模板每层球体，为该层球体内每个第一模板点确定该层球体内与该第一模板点距离最近的第一模板点，并确定该第一模板点对应的最短距离；基于每个第一模板点对应的最短距离确定最短距离的平均值，得到该层球体对应的最短距离平均值；基于该层球体对应最短平均距离以及控制模板重叠率的经验参数确定该层球体的半径，且满足：最短平均距离越小，对应球体层半径越大；其中，每层球体内第一模板点包括该层球体表面与和与该层球体向内相邻层球体表面之间的第一模板点
。4.
如权利要求2所述的方法，其特征在于，针对预设特征为透射特征的情况，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样，包括：基于所述待训练三维体积介质的原始分辨率，对所述待训练三维体积介质的密度场进行降采样，得到第三预设数量个分辨率等级的密度场；针对每个分辨率等级的密度场，通过预设分级透射场算法确定该分辨率等级的密度场下，光线从该采样点分别传播至各模板点的分级透射场；针对每个模板点，将该模板点与该采样点针对各分辨率等级密度场分别确定的分级透
射场，输入预设权重预测网络模型，按照对应预测权重对输入的各分级透射场叠加处理，得到该模板点与该采样点对应的透射特征；所述模板点包括：第一模板点以及第二模板点
。5.
如权利要求2所述的方法，其特征在于，针对预设特征为相位特征的情况，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样，包括：针对每个模板点，基于入射光线传播到该模板点再经过该采样点沿相机方向出射过程中入射光线的入射角和出射光线的出射角，以及预设相位函数，确定该模板点相对于该采样点的相位特征；所述模板点包括：第一模板点以及第二模板点；针对每个模板点，基于入射光线传播到该模板点再经过该采样点沿相机方向出射过程中入射光线的入射角和出射光线的出射角，以及预设相位函数，确定该模板点相对于该采样点的相位特征，包括：针对每个模板点，在入射角变换范围上对预设相位函数进行积分，得到入射光线方向的第一体积相位，以及在出射角变化范围上对预设相位函数进行积分，得到相机方向的第二体积相位；将所述第一体积相位与所述第二体积相位的乘积确定为该模板点相对于该采样点的相位特征
。6.
如权利要求5所述的方法，其特征在于，所述三维体积介质包括：气态类型三维体积介质
、
固液态类型三维体积介质
、
以及皮肤类型三维体积介质；所述方法还包括：为不同类型的待训练三维体积介质确定对应的预设相位函数；为不同类型的待训练三维体积介质确定对应的预设相位函数，包括：将各向同性相位函数确定为空气类型的待训练三维体积介质对应的预设相位函数；将双峰亨尼
‑
格林斯坦
HG
相位函数确定为气态类型待训练三维体积介质对应的预设相位函数；将
HG
相位函数确定为固液态类型待训练三维体积介质对应的预设相位函数；将多峰
HG
相位函数确定为皮肤类型待训练三维体积介质对应的预设相位函数
。7.
如权利要求2所述的方法，其特征在于，针对每种预设采样模板，为该种预设采样模板设置有与不同采样特征分别对应的分支网络模块；且所述分支网络模块并行对对应采样特征进行处理；针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果，包括：针对为对应预设采样模板以及对应采样特征设置的分支网络模块，确定该预设采样模板第一层包含的模板点针对该采样特征进行采样得到的第一采样特征；将该预设采样模板...

【专利技术属性】
技术研发人员：方顺，冯星，张志恒，崔铭，张亚男，吕艳娜，杨峰峰，韦建伟，张造时，穆子杰，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：