基于神经辐射场的物理光谱渲染系统及方法、计算机存储介质技术方案

本发明专利技术公开了一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质，涉及计算机视觉、计算机图形学、渲染领域，上述方法包括以下步骤：获取光线源点信息和光线方向；将光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中；将光线方向输入至神经辐射场的多层感知机的低纬度全连接层中；基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像。本发明专利技术提供的基于神经辐射场的物理光谱渲染方法将光谱渲染和神经辐射场相结合，在处理复杂场景时，不容易丢失重要的细节，并能够生成多个视角的图像，对场景的表达能力更好。景的表达能力更好。景的表达能力更好。

【技术实现步骤摘要】
基于神经辐射场的物理光谱渲染系统及方法、计算机存储介质


[0001]本专利技术属于涉及计算机视觉、计算机图形学、渲染领域，具体涉及一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质。

技术介绍

[0002]光谱渲染是一项十分重要的技术，应用在日常生活的各个方面，包括物体检测、人脸识别等。光谱渲染是计算机视觉中的一个基本问题，它可以反映物体的吸收、反射和其他相互作用，并已被用于生成真实的图像。在过去的几十年里，基于物理的光谱渲染得到了广泛的研究，其中光的传输是用多个波长来模拟的，而不仅仅是使用常规的红、绿、蓝三色分量。有一些基于物理的渲染方法通过学习光谱分布实现光谱渲染，包括在可见光范围内的随机采样、复合光谱模型和空间域中的光线采样。这些方法都是为了保证渲染照片的真实性。然而，它们只能生成当前视角的图像，对场景的表达能力有限。
[0003]最近，神经辐射场(Neural Radiance Field)被用来渲染3D场景的新视角图像。基于神经辐射场的方法通过使用多层感知机(Multi
‑
layer Perceptron)编码场景的体积密度和辐射值来实现对场景的渲染。这类方法在生成新视角图像方面表现优异，解决了光谱渲染不能表达整个场景的限制。然而，当处理复杂场景时，基于神经辐射场的方法容易丢失重要的细节。

技术实现思路

[0004]本专利技术提供一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质，用于生成多视角的光谱渲染图像。
[0005]本专利技术通过下述技术方案实现：
[0006]一方面，本专利技术提供一种基于神经辐射场的物理光谱渲染方法，包括以下步骤：获取光线源点信息和光线方向；将光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中，得到每个像素对应观察体视角的射线上指定点的不透明度信息；将光线方向输入至神经辐射场的多层感知机的低纬度全连接层中，得到每个像素对应观察体视角的射线上指定点对应的多个波长的光谱信息；基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像。
[0007]在其中一些实施例中，将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像步骤中，融合网络为：在UNet网络中引入注意力门，完善UNet网络跨连接的特征，以使得输出到下一个解码器阶段之前的高层次特征由编码器的低层次特征引导；对光谱图像进行处理时，构建后的融合网络控制融合网络中1
×
1的卷积模块获取光谱图像的特征并衡量它们的重要性，并基于通道维度的注意力机制关注光谱图像之间的特征融合。
[0008]在其中一些实施例中，基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像过程中，通过光谱图像重构损失函数进行优化；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像过程中，通过RGB图像损失函数进行优化。
[0009]在其中一些实施例中，光谱图像重构损失函数如下：
[0010][0011]其中，S代表光谱图像，带^代表预测图像，不带^代表参考图像；i∈{1,
…
,s
num
}，s
num
是光谱图像数量；λ
i
代表波长；r代表光线；R(P)是光线的集合；c代表粗模型，f代表精细模型，粗模型重构整个采样区间的场景信息，精细模型主要关注有物体存在的区间信息；w
s
是不同光谱图像的权重；其中，w
s
的计算方法如下：
[0012][0013]其中，P
max
是生成光谱图像中的最大PSNR值，P
λ
是当前波长光谱图像的PSNR值。
[0014]在其中一些实施例中，RGB图像损失函数如下：
[0015][0016]其中，C是RGB参考图像，为RGB预测图像。
[0017]在其中一些实施例中，在经融合网络处理得到RGB图像之后，还包括以下步骤：计算多个多光谱图像融合之后得到的RGB图像与渲染得到的RGB图像的最小二乘损失并进行反向传播优化融合网络。
[0018]另一方面，本申请提供一种基于神经辐射场的物理光谱渲染系统，包括处理器和存储器，存储器中存储有计算机介质，处理器执行计算机程序，以实现上述实施例中任一项的基于神经辐射场的物理光谱渲染方法。
[0019]本申请还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行上述实施例中任一项的基于神经辐射场的物理光谱渲染方法。
[0020]本专利技术与现有技术相比，具有以下优点及有益效果：
[0021]本专利技术提供的基于神经辐射场的物理光谱渲染方法将光谱渲染和神经辐射场相结合，在处理复杂场景时，不容易丢失重要的细节，并能够生成多个视角的图像，对场景的表达能力更好。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0023]图1为本专利技术实施例提供的基于神经辐射场的物理光谱渲染系统的模型结构示意图；
[0024]图2为不同波长光谱图像的PSNR值、像素距离和权重分布示意图；
[0025]图3为本专利技术实施例提供的基于神经辐射场的物理光谱渲染方法生成的图像的效
果对比图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。
[0027]在本专利技术的描述中，需要说明的是，所采用的术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0028]此外，本专利技术的描述中若出现“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0029]在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的物理光谱渲染方法，其特征在于，包括以下步骤：获取光线源点信息和光线方向；将所述光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中，得到每个像素对应观察体视角的射线上指定点的不透明度信息；将所述光线方向输入至神经辐射场的多层感知机的低纬度全连接层中，得到每个像素对应观察体视角的射线上指定点对应的多个波长的光谱信息；基于所述不透明度信息和所述多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像。2.根据权利要求1所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像步骤中，所述融合网络为：在UNet网络中引入注意力门，完善UNet网络跨连接的特征，以使得输出到下一个解码器阶段之前的高层次特征由编码器的低层次特征引导；所述对光谱图像进行处理时，构建后的融合网络控制所述融合网络中1
×
1的卷积模块获取所述光谱图像的特征并衡量它们的重要性，并基于通道维度的注意力机制关注光谱图像之间的特征融合。3.根据权利要求2所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述基于所述不透明度信息和所述多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像过程中，通过光谱图像重构损失函数进行优化；所述将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像过程中，通过RGB图像损失函数进行优化。4.根据权利要求3所述的基于神经辐射场的物理光谱渲染方法，其特征在...

【专利技术属性】
技术研发人员：刘帅成，李茹，刘嘉，刘光辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：