结合神经辐射场和可导路径跟踪的逆向渲染方法及装置制造方法及图纸

本申请涉及一种结合神经辐射场和可导路径跟踪的逆向渲染方法及装置，其中，方法包括：从多个视角采集目标环境光照下的静态物体，得到多张静态物体图像；根据静态物体图像求解物体的几何、材质和周围环境的环境光照；根据物体的几何、材质和周围环境的环境光照得到物体在任一光照和/或视角下的渲染合成结果。由此，解决了相关技术中，基于物理的渲染方法需要采样很多条光路，并且每个光路要递归很多层，由于光路多且长，可导渲染的计算时间、内存往往很大而难以在消费级计算机上承受，且神经辐射场没有显式的材质表示，不能进行重光照，无法实现对物体新光照、新视角下的渲染合成等问题。题。题。

【技术实现步骤摘要】
结合神经辐射场和可导路径跟踪的逆向渲染方法及装置


[0001]本申请涉及图形学、三维计算机视觉、深度学习
，特别涉及一种结合神经辐射场和可导路径跟踪的逆向渲染方法及装置。

技术介绍

[0002]目前，一些基于神经辐射场的渲染技术在新视角合成上取得了极佳的效果，但是这种技术需要数小时的训练过程和漫长的渲染过程。
[0003]相关技术中，基于物理的渲染方法使用路径追踪法计算相机光线的入射光强，可以基于物理模拟的思想，模拟从相机出发的光线，在找到光线和表面的交点后根据表面的性质计算渲染方法，并递归计算表面的入射光强，形成一个光路。为了减小方差，合成噪声较小的渲染结果，可导渲染使用自动微分技术将路径跟踪过程变为可微的，从而能够计算渲染结果对于物体参数的梯度。神经辐射场是一种新视角合成方法，可以看作一种可导渲染方法，然而它存储的是三维空间位置的辐射度，因此无需递归。给定一条相机光线，神经辐射场在这条光线的多个深度上进行采样，计算采样位置的密度和辐射度，构建体积渲染方程。体积积分的结果即为像素的颜色。
[0004]然而，相关技术中，基于物理的渲染方法需要采样很多条光路，并且每个光路要递归很多层，由于光路多且长，可导渲染的计算时间、内存往往很大而难以在消费级计算机上承受，且神经辐射场没有显式的材质表示，不能进行重光照，无法实现对物体新光照、新视角下的渲染合成，亟待改善。

技术实现思路

[0005]本申请提供一种结合神经辐射场和可导路径跟踪的逆向渲染方法及装置，以解决相关技术中，基于物理的渲染方法需要采样很多条光路，并且每个光路要递归很多层，由于光路多且长，可导渲染的计算时间、内存往往很大而难以在消费级计算机上承受，且神经辐射场没有显式的材质表示，不能进行重光照，无法实现对物体新光照、新视角下的渲染合成等问题。
[0006]本申请第一方面实施例提供一种结合神经辐射场和可导路径跟踪的逆向渲染方法，包括以下步骤：从多个视角采集目标环境光照下的静态物体，得到多张静态物体图像；根据所述静态物体图像求解物体的几何、材质和周围环境的环境光照；根据所述物体的几何、材质和周围环境的环境光照得到所述物体在任一光照和/或视角下的渲染合成结果。
[0007]可选地，在本申请的一个实施例中，在得到所述多张静态物体图像之前，还包括：获取相机的实际位姿；根据所述实际位姿，利用包围球确定需要重建的区域，其中，所述需要重建的区域包括球内有界区域和球外无界区域。
[0008]可选地，在本申请的一个实施例中，所述根据所述物体的几何、材质和周围环境的环境光照得到所述物体在任一光照和/或视角下的渲染合成结果，包括：基于若干个迭代的优化更新所述球内有界区域和所述球外无界区域对应的神经网络的参数，其中，优化的目
标为最小化可导渲染过程渲染的图片与相机拍摄的图片之间的误差，且在每个优化迭代中，随机选取一些从相机出发的光路，每个光路有不同的长度，计算所述每个光路的渲染结果。
[0009]可选地，在本申请的一个实施例中，所述在每个优化迭代中，随机选取一些从相机出发的光路，每个光路有不同的长度，计算所述每个光路的渲染结果，包括：在第N
‑
1步计算当前光线和有向距离场表面之间的首个交点，其中，N为正整数；在找到所述交点的情况下，查询对应的三维位置的几何法向和材质，计算渲染方程，并随机采样一个光线反射方向，得到反射光线，递归计算所述反射光线的入射光强；在正在计算第N步光路或者光线未能和表面相交的情况下，使用体积渲染查询神经辐射场，在多个采样深度下查询采样位置的密度和辐射度，以体积渲染的方式计算入射光强；基于每个像素整合多个采样光路的计算结果，得到所述每个像素的渲染颜色。
[0010]可选地，在本申请的一个实施例中，所述在每个优化迭代中，随机选取一些从相机出发的光路，每个光路有不同的长度，计算所述每个光路的渲染结果，还包括：将所述渲染颜色与拍摄颜色作差，得到绝对误差，并将梯度反向传播到神经网络的参数上。
[0011]本申请第二方面实施例提供一种结合神经辐射场和可导路径跟踪的逆向渲染装置，包括：采集模块，用于从多个视角采集目标环境光照下的静态物体，得到多张静态物体图像；求解模块，用于根据所述静态物体图像求解物体的几何、材质和周围环境的环境光照；第一获取模块，用于根据所述物体的几何、材质和周围环境的环境光照得到所述物体在任一光照和/或视角下的渲染合成结果。
[0012]可选地，在本申请的一个实施例中，还包括：第二获取模块，用于在得到所述多张静态物体图像之前，获取相机的实际位姿；确定模块，用于根据所述实际位姿，利用包围球确定需要重建的区域，其中，所述需要重建的区域包括球内有界区域和球外无界区域。
[0013]可选地，在本申请的一个实施例中，所述第一获取模块包括：更新单元，用于基于若干个迭代的优化更新所述球内有界区域和所述球外无界区域对应的神经网络的参数，其中，优化的目标为最小化可导渲染过程渲染的图片与相机拍摄的图片之间的误差，且在每个优化迭代中，随机选取一些从相机出发的光路，每个光路有不同的长度，计算所述每个光路的渲染结果。
[0014]可选地，在本申请的一个实施例中，所述更新单元包括：计算子单元，用于在第N
‑
1步计算当前光线和有向距离场表面之间的首个交点，其中，N为正整数；获取子单元，用于在找到所述交点的情况下，查询对应的三维位置的几何法向和材质，计算渲染方程，并随机采样一个光线反射方向，得到反射光线，递归计算所述反射光线的入射光强；查询子单元，用于在正在计算第N步光路或者光线未能和表面相交的情况下，使用体积渲染查询神经辐射场，在多个采样深度下查询采样位置的密度和辐射度，以体积渲染的方式计算入射光强；
[0015]整合子单元，用于基于每个像素整合多个采样光路的计算结果，得到所述每个像素的渲染颜色。
[0016]可选地，在本申请的一个实施例中，所述更新单元还包括：传播子单元，用于将所述渲染颜色与拍摄颜色作差，得到绝对误差，并将梯度反向传播到神经网络的参数上。
[0017]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述
实施例所述的结合神经辐射场和可导路径跟踪的逆向渲染方法。
[0018]本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的结合神经辐射场和可导路径跟踪的逆向渲染方法。
[0019]本申请实施例可以使用相机从多个视角拍摄普通环境光照下的静态物体，求解出物体的几何、材质和周围环境的环境光照，从而实现对物体新光照、新视角下的渲染合成，进而将环境的直接光照和物体表面的间接光照用神经辐射场表示，减少渲染方程积分中的递归并降低方差，加速优化的收敛。由此，解决了相关技术中，基于物理的渲染方法需要采样很多条光路，并且每个光路要递归很多层，由于光路多且长，可导渲染的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合神经辐射场和可导路径跟踪的逆向渲染方法，其特征在于，包括以下步骤：从多个视角采集目标环境光照下的静态物体，得到多张静态物体图像；根据所述静态物体图像求解物体的几何、材质和周围环境的环境光照；根据所述物体的几何、材质和周围环境的环境光照得到所述物体在任一光照和/或视角下的渲染合成结果。2.根据权利要求1所述的方法，其特征在于，在得到所述多张静态物体图像之前，还包括：获取相机的实际位姿；根据所述实际位姿，利用包围球确定需要重建的区域，其中，所述需要重建的区域包括球内有界区域和球外无界区域。3.根据权利要求2所述的方法，其特征在于，所述根据所述物体的几何、材质和周围环境的环境光照得到所述物体在任一光照和/或视角下的渲染合成结果，包括：基于若干个迭代的优化更新所述球内有界区域和所述球外无界区域对应的神经网络的参数，其中，优化的目标为最小化可导渲染过程渲染的图片与相机拍摄的图片之间的误差，且在每个优化迭代中，随机选取一些从相机出发的光路，每个光路有不同的长度，计算所述每个光路的渲染结果。4.根据权利要求3所述的方法，其特征在于，所述在每个优化迭代中，随机选取一些从相机出发的光路，每个光路有不同的长度，计算所述每个光路的渲染结果，包括：在第N
‑
1步计算当前光线和有向距离场表面之间的首个交点，其中，N为正整数；在找到所述交点的情况下，查询对应的三维位置的几何法向和材质，计算渲染方程，并随机采样一个光线反射方向，得到反射光线，递归计算所述反射光线的入射光强；在正在计算第N步光路或者光线未能和表面相交的情况下，使用体积渲染查询神经辐射场，在多个采样深度下查询采样位置的密度和辐射度，以体积渲染的方式计算入射光强；基于每个像素整合多个采样光路的计算结果，得到所述每个像素的渲染颜色。5.根据权利要求4所述的方法，其特...

【专利技术属性】
技术研发人员：徐枫，凌精望，
申请(专利权)人：清华大学，
类型：发明
国别省市：