【技术实现步骤摘要】
本专利技术涉及计算机视觉和增强现实，特别是一种基于神经辐射场的空间变化室内场景光照估计方法。
技术介绍
1、传统的增强现实技术通常基于预定义的3d模型或图像，难以实现逼真的场景渲染。而神经辐射场技术可以从多个视角的图像中生成三维模型，并且可以在任意角度和距离下呈现出高度逼真的三维场景。这种技术使得ar场景更加真实、生动，提高了用户的沉浸感和体验。在增强现实的相关研究中，虚实融合的真实感效果主要体现在几何一致性、时间一致性和光照一致性。随着硬件水平和软件算法的不断发展，几何一致性和时间一致性的问题已经得到了比较好的解决。但是在光照一致性的研究中，还存在较多的问题，如场景中位置呈空间变化的光照情况如何准确地估计和表示。
2、作为一种新视角合成和3d重建方法，神经辐射场(neural radiance field,nerf)技术在大型城市场景重建、计算机图形学、虚拟现实、增强现实等领域有着广泛的应用前景。例如，利用神经辐射场技术可以从多个视角图像中生成三维模型，实现照片编辑、3d表面提取、人体建模、3d表达和视图合成等应用。此外，该技术还可以用于自动驾驶车辆的导航、机器人视觉、安全监控等领域。nerf模型是一种创新的视角合成(novel viewsynthesis)方法，它依赖于多层感知机(multi layer perceptrons,mlp)学习3d场景的几何形状和光照，利用一种隐式的神经场景表示进行体渲染。神经辐射场的三维场景表示方法自从2020年首次被提出以来，就引起了广泛的关注和讨论，已成为当前计算机视觉领域中的
3、因此，有很多研究人员将神经辐射场的隐式表示方法引入到光照估计的研究中，通过对输入图像进行训练和分解，得到其粗糙度、法线、材质等参数，以恢复在不同光照条件下成像物体的3d形状和空间变化的双向反射率分布函数(svbrdf)，进而能够实现重光照以提升增强现实场景中的虚实融合效果。sai bi等人提出了神经反射场(neuralreflectance fields，nrf)首次将反射和光照建模引入了nerf当中，将nerf彻底带到了逆向渲染的领域。在nrf中，不再将物体假设成光源(发光粒子)，而是带有反射性质的粒子，光照则由外部的光源提供。nerv通过建模一个可优化的环境光照来表示未知的光照条件，考虑了一次弹射的间接光照，并且用比较符合直觉的方法来简化了一次弹射的间接光照的积分过程。nerd和nerv关注了同样的问题，在光照的建模上没有选择环境光贴图而是选择了可优化的球面高斯函数，在一定程度上减少了计算量。在nerd的后续工作中，neural-pil延续了很多nerd的策略，在nerd的基础上做了关于光源的改进，在渲染过程中通过简单的网络查询代替光照积分，能够实现快速可微渲染，但是不能处理相互反射。
4、虽然nerf自提出以来，在计算机视觉领域取得了长足的研究和发展，但是在现有的神经辐射场表示三维场景并从中分解出输入图像的材质、法线等参数研究中，还存在一些尚未解决的问题。首先是对室内场景空间变化的光照估计问题关注度不够，更多的是侧重于重光照，只是改变当前视角下物体的表面光照情况，而忽略了场景中不同空间位置的光照。其次是现有研究多聚焦于静态场景的光照估计问题，较少有关注到动态光照变化的情况，并且在神经辐射场渲染的相关研究中，大多都只能实现较好的漫反射效果，镜面反射的情况几乎不能得到很好的处理。因此，本专利技术提出了一种基于神经辐射场的隐式表示方法和逆向渲染的方法，由神经网络训练得到材质等能够反映光照情况的信息，来解决室内场景中空间变化的光照估计问题。
技术实现思路
1、本专利技术为了解决在室内场景中，现有方法不能够很好地处理不同位置空间变化的光照估计问题，提出了一种基于神经辐射场的空间变化室内场景的光照估计方法。所提出的空间变化光照估计方法可以在室内场景中的不同空间位置，实现较好的光照估计和虚实融合效果。如图1所示，实现本专利技术的技术方案包括以下步骤：
2、步骤一、将相机拍摄到的同一场景不同视角的多张图像，如图2所示，及其对应的相机位姿信息作为输入，根据相机位置向场景逐像素发射光线进行采样，得到对应采样点的位置坐标(x,y,z)和观察方向(θ,φ)；
3、步骤二、将得到的5d坐标(位置和方向)输入到由全连接层组成的多层感知机网络中进行训练，通过位置编码和粗细两次采样的方法进行优化，通过损失函数来判断网络是否收敛，如果不收敛，则继续训练，反之则输出采样点的颜色值rgb和密度值σ，该过程可以表示为
4、步骤三、将得到的颜色值和密度值输入到分解网络中，通过对图像的内在分解，输出几何和材质等参数，包括深度、粗糙度、反射率、法线等，如图3所示；
5、步骤四，将分解网络输出的几何和材质等参数输入到光照估计网络的编码器中，解码出在每个像素点处估计的用球面高斯参数表示的场景光照贴图；
6、步骤五，在场景中每个像素点的位置，将估计的球面高斯参数表示的光照贴图进行融合操作，即可得到该场景的逐像素光照贴图，如图4所示，每个像素点处是一张球面高斯形式的环境光照贴图；
7、步骤六，基于预测的逐像素光照贴图，将虚拟物体融入该真实场景中并进行渲染，生成新视角合成图像，能够实现较好的虚实融合效果。
8、进一步地，所述步骤二中由多视角图像的位置和相机位姿得到采样点的颜色值和密度的过程表述为：其中(x,y,z)表示采样点在空间中的位置坐标，θ表示该采样点的相机视角的方位角，φ表示该采样点的相机视角的极角，fθ表示这一过程中所使用的多层感知机网络，(r,g,b)表示该采样点的红色、绿色和蓝色分量的像素值，σ表示该采样点的密度值。该网络的主要目的是为分解网络提供有效的采样模式，在这一步骤中，所使用的多层感知机网络主要实现过程如下：
9、a、对于正在合成的图像中的每个像素，确定一条光线并沿着这条光线进行采样其中表示采样光线的起点，t表示光线传递的时间，表示单位时间内光线传递的距离。通过向场景逐像素发送相机光线，生成一组采样点；
10、b、通过隐式神经场查询每个采样点的颜色和密度，该网络直接估计每个采样点的与视角无关但与光照有关的颜色，并通过mse损失进行优化：其中s表示每个像素点，表示估计的采样点像素值，表示采样点的真实像素值。
11、c、通过观察损失函数的变化曲线是否收敛判断下一步该如何操作，如果不收敛就继续对该多层感知机网络进行训练，如果收敛则直接输出预测的每个采样点的颜色值和密度值，通过计算损失函数的误差进行梯度下降优化神经辐射场。
12、进一步地，所述步骤三中分解网络所实现的主要功能是基于多层感知机网络提供的采样模式，在每一个采样点的颜色值和密度进行svbrdf(s本文档来自技高网...
【技术保护点】
1.基于神经辐射场的空间变化室内场景的光照估计方法，其特征在于，所述的网络训练过程具体描述为：
2.根据权利要求1所述的基于神经辐射场的空间变化室内场景的光照估计方法，其特征在于，所述的网络训练过程中步骤三的分解网络主要基于多层感知机网络提供的采样模式，在每一个采样点的颜色值和密度进行SVBRDF分解，其实现的具体过程如下：
3.根据权利要求1所述的基于神经辐射场的空间变化室内场景的光照估计方法，其特征在于，所述的网络训练过程中步骤四的光照估计网络以Attention U-Net为基础构建，包括编码器和解码器两个部分，具体过程如下：
【技术特征摘要】
1.基于神经辐射场的空间变化室内场景的光照估计方法，其特征在于，所述的网络训练过程具体描述为：
2.根据权利要求1所述的基于神经辐射场的空间变化室内场景的光照估计方法，其特征在于，所述的网络训练过程中步骤三的分解网络主要基于多层感知机网络提供的采样模式，在每一个采样点的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。