【技术实现步骤摘要】
本专利技术涉及增强现实领域，具体涉及一种基于神经辐射场和体素化表征的虚实融合绘制方法及系统。
技术介绍
1、虚实融合技术主要包含几何一致性和光照一致性，几何一致性指虚拟物体在三维真实场景中满足正确的遮挡关系与位置关系，光照一致性指虚实融合绘制系统渲染出的虚拟物体具有与真实场景光照一致的效果，使虚拟物体表面展现出正确的明暗变化、反射、阴影等光照现象。
2、在几何一致性的实现中广泛的使用基于三维重建的遮挡处理方法，将三维重建过程分解为两个阶段，在离线阶段，使用rgb-d相机获得真实场景的深度图，得到全局坐标系中各点的三维坐标，在线阶段采用一种基于gpu的三维点云对齐方法，加快了收敛速度，减少了迭代次数。通过比较真实物体和虚拟物体在较小区域内各像素点的z坐标值，自动得到真实物体和虚拟物体之间的正确关系。光照一致性则通过球面高斯方法表达光源，利用三维球面高斯表示整个场景中的表面辐射(包括可见表面和视场外表面)，然后通过标准体三维渲染技术来渲染任何空间位置和视角的照明。但点云对于真实场景的表达过于稀疏，场景表达过于稀疏的部分容易计算遮挡错误，而球面高斯只能表达低频光照难以表达明暗变化明显的高频光照，因此两种绘制方法存在在神经辐射场中无法融合可编辑的虚拟物体进行统一渲染的问题，绘制效果不够理想。
技术实现思路
1、本专利技术的目的在于提供一种基于神经辐射场和体素化表征的虚实融合绘制方法及系统，更加准确的表示虚拟物体与真实场景之间的几何遮挡关系和光照一致性，提高了场景中真实物体与虚拟
2、实现本专利技术目的的技术方案是：一种基于神经辐射场和体素化表征的虚实融合绘制方法，包括步骤：
3、步骤1，基于神经辐射场重建出真实场景的隐式体素表达并将虚拟物体转换为显式体素表达，基于神经辐射场初始化密度占用网格，将虚拟物体转换到与真实场景同一世界坐标系后更新密度占用网格；
4、步骤2，沿着以视点为起点、视线为方向的射线，通过密度占用网格计算采样点，采样点从隐式体素表达和显式体素表达中获取密度、颜色、法线、反射率和粗糙度；
5、步骤3，从神经辐射场表达的光场中获取光照信息，将光照信息以及步骤2获取的颜色、法线、反射率和粗糙度代入基于物理的渲染方程计算采样点的颜色值；
6、步骤4，基于步骤3的采样点的颜色值，通过密度的累加计算采样点的颜色占比，获取最终像素的颜色，从而实现绘制。
7、进一步地，步骤1中基于神经辐射场重建出真实场景的隐式体素表达具体包括：
8、首先对环绕拍摄真实场景获得的图片数据预处理，获得所使用相机的内外参数和图像的位姿，即相机的焦距、像素宽度与分辨率以及采用四元数和平移向量表示的世界坐标系到相机坐标系的投影矩阵，基于预处理数据进行数据监督真实场景的几何、材质与光照的重建；
9、将场景的几何采用有向距离场表达，采用多层感知器表达位于位置x的有向距离场值，将有向距离场映射为密度σ，得到密度为：
10、
11、其中为概率密度函数，egeo为多分辨率哈希编码，mlp表示关于有向距离场的多层感知器；
12、完成对场景几何的重建后，通过多层感知器进行光照与材质的重建，得到材质与光照的表达为：
13、c,r,s＝mlpmat(x)
14、l＝mlpi(x,d)
15、其中，c表示物体材质的基础颜色，r表示粗糙度，s表示反射率，x表示三维坐标，l表示光照，d表示光照方向。
16、进一步地，步骤1中将虚拟物体转换为显式体素表达具体包括：
17、计算虚拟物体的aabb包围盒，根据包围盒大小设定体素的分辨率，计算x、y和z轴三个方向上的虚拟摄像机的观察矩阵与正交矩阵，根据体素分辨率设定缓冲大小，缓冲用于读取在片元着色器插值后的颜色、法线和反射率；
18、相机的位置为各个方向上包围盒矩阵的中心点，以包围盒外部指向内部的向量作为摄像头的朝向，选取三角形投影面积最大的那个方向的观察矩阵和正交矩阵转换至裁剪空间；
19、采用光栅化从位于裁剪空间的三角形图元中获得插值后的颜色、法线和反射率，送入片元着色器中保存进三维纹理。
20、进一步地，步骤1中基于神经辐射场初始化密度占用网格，将虚拟物体转换到与真实场景同一世界坐标系后更新密度占用网格具体包括：
21、首先遍历每一个网格单元，根据每网格的所在层级和偏移量计算出网格在场景中对应的三维坐标，使用三维坐标从网络中获取密度初始化密度占用网格；
22、使用变换矩阵将体素的坐标从空间坐标系转换到真实场景的世界坐标空间系，根据体素的坐标计算出每个层级内密度占用网格的偏移量，根据偏移量更新相应的密度占用网格。
23、进一步地，步骤2具体包括：
24、由摄像头的中心点起点，从中心点到各个像素的方向发射射线，根据预设的步长获取预采样点，根据预采样点的位置计算出占用网格的层级与偏移，根据密度占用网格判断是否为空白空间，若为空白空间则光线继续步进，若不是则将该点作为采样点；根据采样点的三维坐标分别从神经辐射场与体素中获取密度σ、颜色c、粗糙度r、反射率s和法线n。
25、进一步地，步骤3具体包括：
26、设采样点的三维坐标为x，在该位置的法线所确定的半球面上使用斐波那契网格采样法在半球内均匀的获取n个点，从位置x到第i点的方向向量表示为wi，该方向上在半球面上的面积为微分面积ds，通过神经网络查询在位置x和方向wi的光照强度li，则该点的在观察方向w0的光照强度lo为：
27、
28、
29、
30、
31、
32、
33、f(wo,h,s)＝s+(1-s)(1-(h·wo))5
34、其中，h为半程向量，k为关于粗糙度r的中间变量，出射的光照强度lo即为该视点下所观察到的采样点颜色值。
35、进一步地，步骤4中通过密度的累加计算采样点的颜色占比，具体包括：
36、设以o为起点，v为方向向量的射线上的任意一点的位置可表示为r(t)＝o+vt，通过密度在射线上的累积计算在采样点r(t)上的透明度为：
37、
38、其中，σ为采样点r(t)上的密度值，为：
39、σ＝σn+σv
40、σn和σv分别表示神经辐射场与显式体素中获取的密度，则在采样点r(t)的权重w(t)表达式为：
41、w(t)＝t(t)(1-e-σ(t))
42、采样点r(t)的颜色值c通过σn和σv占σ的权重插值获得，为：
43、c＝(cn*σn+cv*σv)/σ
44、cn和cv分别在采样点处从神经辐射场与显式体素中获得的几何、材质和光照代入渲染方程所计算出的颜色。
45、进一步地，所述最终像素的颜色为：
4本文档来自技高网...
【技术保护点】
1.一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤1中基于神经辐射场重建出真实场景的隐式体素表达具体包括：
3.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤1中将虚拟物体转换为显式体素表达具体包括：
4.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤1中基于神经辐射场初始化密度占用网格，将虚拟物体转换到与真实场景同一世界坐标系后更新密度占用网格具体包括：
5.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤2具体包括：
6.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤3具体包括：
7.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，步骤4中通过密度的累加计算采样点的颜色占比，具体包括：
8.根据权利要
9.一种基于神经辐射场和体素化表征的虚实融合绘制系统，其特征在于，包括神经辐射场重建模块、光线投射渲染模块、网格模型体素化模块和密度占用网格更新模块，其中，
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，所述可执行程序被处理器执行实现权利要求1-8任一项所述的基于神经辐射场和体素化表征的虚实融合绘制方法的步骤。
...【技术特征摘要】
1.一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤1中基于神经辐射场重建出真实场景的隐式体素表达具体包括：
3.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤1中将虚拟物体转换为显式体素表达具体包括：
4.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤1中基于神经辐射场初始化密度占用网格，将虚拟物体转换到与真实场景同一世界坐标系后更新密度占用网格具体包括：
5.根据权利要求1所述的一种基于神经辐射场和体素化表征的虚实融合绘制方法，其特征在于，步骤2具体包括：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。