基于自适应划分区域的神经体辐射场渲染加速方法及装置制造方法及图纸

本发明专利技术公开了一种基于自适应划分区域的神经体辐射场渲染加速方法及装置。本发明专利技术将目标渲染图片自适应地划分为若干区域块组合，接着遍历每个区域块，并体渲染该块对应的颜色信息，最终基于每个块的渲染结果，快速生成目标渲染图片。该渲染方法在保证高质量高保真渲染效果的同时，还能够自适应地在二维区域分配计算资源。该渲染方法的自适应块划分可在目标场景创建的时候同步完成，不会显著增加额外计算消耗，计算效率一般等同甚至优于现有神经体辐射场渲染方法，同时得益于计算效率的改进，分辨率更高的特征图可以被渲染，从而有效缓解现有方法因上采样过多导致的成像伪影问题。有方法因上采样过多导致的成像伪影问题。有方法因上采样过多导致的成像伪影问题。

【技术实现步骤摘要】
基于自适应划分区域的神经体辐射场渲染加速方法及装置


[0001]本专利技术涉及图像渲染、图形渲染以及神经渲染
，尤其涉及一种基于自适应划分区域的神经体辐射场渲染加速方法及装置。

技术介绍

[0002]近年来，以神经体辐射场为基础的神经体渲染技术广泛应用于新视角合成、场景建模以及虚拟形象创建等三维视觉和图形任务。以新视角合成任务举例，相关传统技术主要分为基于图像的渲染(image based rendering)方法和基于图像的建模(image based modeling)方法，前者为保证高质量的视角渲染可能需要稠密的视角输入以及海量的数据存储(如光场渲染技术)，后者则一般需要预先恢复或重建高质量高精度的三维几何和纹理材质信息以帮助渲染，而这一般是相当困难的。区别于上述方法，基于神经体辐射场的神经体渲染方法使用神经网络(如多层感知器)隐式地表示和建模目标场景的辐射场，相关输入只需要稀疏视角的彩色图片甚至单视角图片即可获取照片级的渲染质量，同时也具有模型存储高效等优点。但该方法渲染时，由于需要多次调用网络计算，渲染效率低效，这很大程度上阻碍了该方法在相关应用和任务的发展与推广。
[0003]当前对神经体辐射场的加速方法主要包括三种：一类方法是将目标场景或对象的所在区域进行稠密的体素划分，然后在每个体素上预先存储对应的神经体辐射场计算结果来加速渲染，尽管该方法确实能够有效加速神经体辐射场的渲染过程，但会显著增加每个模型的存储成本，不利于后续可能的模型编码和传输。另一类则是通过降低每条射线的采样点数目来节省计算消耗，从而实现加速，如额外添加深度信息来自适应调整每条射线的采样区间以及额外使用模型预测或存储每条射线的采样起始等。该类方法一般需要额外的计算或训练来提取相应的辅助信息，因此一定程度上会增加模型的创建成本。最后一种则是将神经体渲染和2D神经渲染相结合。具体地，代替直接渲染最终渲染分辨率的彩色图片，该类方法一般首先渲染一张低分辨率高通道数的特征图，接着再通过2D神经网络预测最终的渲染结果。相关方法一般能保证一定的渲染质量以及多视角一致性，同时渲染效率可以大幅度提高，但若该方法体渲染的特征图和目标彩色图的分辨率差异过大时，可能会引入由于上采样过多而导致的成像伪影以及多视角不一致问题。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术的不足，提供一种基于自适应划分区域的神经体辐射场渲染加速方法及装置，本专利技术将目标渲染图片自适应地划分为若干区域块组合，接着遍历每个区域块，并体渲染该块对应的颜色信息，最终基于每个块的渲染结果，快速生成目标渲染图片。该渲染方法在保证高质量高保真渲染效果的同时，还能够自适应地在二维区域分配计算资源。该渲染方法的自适应块划分可在目标场景创建的时候同步完成，不会显著增加额外计算消耗，计算效率一般等同甚至优于现有体渲染方法，同时得益于计算效率的改进，分辨率更高的特征图可以被渲染，从而有效缓解现有方法因上采样过多
导致的成像伪影问题。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]根据本说明书的第一方面，提供一种自适应划分渲染区域的神经体渲染加速方法，包括：
[0007]将目标渲染图片自适应地划分为若干区域块组合，将区域块进行参数化表示，并根据相机参数预测区域块划分结果，即区域块的表示参数，且要求自适应划分得到的所有有效区域能够覆盖整个目标渲染图片；
[0008]遍历每个区域块，并基于神经体辐射场体渲染所述区域块对应的颜色信息，要求体渲染过程对区域块的表示参数是可微的；
[0009]基于每个区域块的渲染结果，快速生成目标渲染图片的渲染结果。
[0010]进一步地，通过自监督约束进行自适应划分结果的调整，具体为：预先收集相关场景的图片信息，生成对应图片信息的渲染结果作为预测图片，建立损失函数，使用梯度反向传播训练相关场景对应的神经体辐射场，更新区域块的表示参数，从而实现自适应划分结果的调整。
[0011]进一步地，所述损失函数包括但不限于：约束预测图片和收集图片一致、约束自适应划分得到的所有有效区域能够覆盖整个目标渲染图片、约束划分得到的不同区域块的重叠尽量少等。
[0012]进一步地，在自适应划分过程中，要求区域块间存在斥力约束，具体为，每个区域块建立如下斥力模型：
[0013][0014]上式中，d
i
(i,
·
)表示第i个区域块对应的斥力函数，该函数由区域块的表示参数决定，d
i
(i,j)返回第i个区域块对第j个区域块的斥力影响。
[0015]进一步地，根据相机参数预测区域块划分结果，所述相机参数指相机内参和外参，且所有能转化为相机参数的其他参数也应等同看待。
[0016]进一步地，对划分的每个区域块进行体渲染来得到该区域的颜色信息，体渲染过程具体为：
[0017]对当前区域块进行反投影，得到渲染该二维区域块的三维空间区域，并对该三维空间区域进行进一步划分，每个划分的三维区域块使用如下隐式函数预测其辐射场信息；
[0018]F
θ
:(c,x,d)
→
(f,σ)
[0019]上式中，F为神经体辐射场，使用神经网络结构表示，θ为可学习的网络参数，c是可选的条件特征向量，x是三维区域块的位置信息，d为可选的目标渲染相机观察二维区域块的视角信息，f是预测的三维空间区域的特征信息，σ是预测的相应密度(density)信息；
[0020]接着使用如下计算方式生成每个二维区域块的特征信息，该过程可描述为：
[0021][0022][0023]上式中，f
p
表示体积分得到的二维区域块的特征信息，t为反投影得到的三维空间区域的积分微元，w(t)为积分微元t的不透明度，r(
·
)表示划分的三维区域块位置信息。
[0024]进一步地，当前区域块反投影到三维空间区域的方式包括但不限于射线投影、柱状投影和锥形投影等。
[0025]进一步地，所述区域块划分包括但不限于圆型区域划分，笔刷形状的条形区域划分，以及其他的不定形状区域划分等。
[0026]针对圆型区域划分，所述区域块的表示参数采用圆心和半径。
[0027]针对笔刷形状的条形区域划分，所述区域块的表示参数采用笔刷的矢量参数，所述矢量参数包括控制点、半径、透明渐变参数等。
[0028]进一步地，基于每个区域块的渲染结果，生成目标渲染图片的预测图片，该过程会根据像素到各个区域块的距离生成描述像素颜色的特征向量，然后使用神经网络并基于该特征向量预测该像素的最终颜色值。
[0029]进一步地，所述神经体辐射场为全连接型和卷积型神经网络模型，相关网络层包括：输入层、卷积层、池化层、全连接层与损失层。
[0030]根据本说明书的第二方面，提供一种基于自适应划分区域的神经体辐射场渲染加速装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应划分区域的神经体辐射场渲染加速方法，其特征在于，该方法包括：将目标渲染图片自适应地划分为若干区域块组合，将区域块进行参数化表示，并根据相机参数预测区域块划分结果，即区域块的表示参数，且要求自适应划分得到的所有有效区域能够覆盖整个目标渲染图片；遍历每个区域块，基于神经体辐射场体渲染所述区域块对应的颜色信息，要求体渲染过程对区域块的表示参数是可微的；基于每个区域块的渲染结果，快速生成目标渲染图片的渲染结果。2.根据权利要求1所述的一种基于自适应划分区域的神经体辐射场渲染加速方法，其特征在于，通过自监督约束进行自适应划分结果的调整，具体为：预先收集相关场景的图片信息，生成对应图片信息的渲染结果作为预测图片，建立损失函数，使用梯度反向传播训练相关场景对应的神经体辐射场，更新区域块的表示参数。3.根据权利要求1所述的一种基于自适应划分区域的神经体辐射场渲染加速方法，其特征在于，在自适应划分过程中，每个区域块建立如下斥力模型：其中d
i
(i,
·
)表示第i个区域块对应的斥力函数，所述斥力函数由区域块的表示参数决定，d
i
(i,j)返回第i个区域块对第j个区域块的斥力影响。4.根据权利要求1所述的一种基于自适应划分区域的神经体辐射场渲染加速方法，其特征在于，根据相机参数预测区域块划分结果，所述相机参数包括相机内参和外参，以及所有能转化为相机参数的其他参数。5.根据权利要求1所述的一种基于自适应划分区域的神经体辐射场渲染加速方法，其特征在于，对划分的每个区域块进行体渲染得到区域的颜色信息，体渲染过程具体为：对当前区域块进行反投影，得到渲染二维区域块的三维空间区域，并对所述三维空间区域进行进一步划分，每个划分的三维区域块使用如下隐式函数预测其辐射场信息；F
θ
:(c,x,d)
→
(f,σ)其中F为神经体辐射场，θ...

【专利技术属性】
技术研发人员：洪阳，郭玉东，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：