基于神经辐射场的物理光谱渲染系统及方法、计算机存储介质技术方案

本发明专利技术公开了一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质，涉及计算机视觉、计算机图形学、渲染领域，上述方法包括以下步骤：获取光线源点信息和光线方向；将光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中；将光线方向输入至神经辐射场的多层感知机的低纬度全连接层中；基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像。本发明专利技术提供的基于神经辐射场的物理光谱渲染方法将光谱渲染和神经辐射场相结合，在处理复杂场景时，不容易丢失重要的细节，并能够生成多个视角的图像，对场景的表达能力更好。景的表达能力更好。景的表达能力更好。

【技术实现步骤摘要】
基于神经辐射场的物理光谱渲染系统及方法、计算机存储介质


[0001]本专利技术属于涉及计算机视觉、计算机图形学、渲染领域，具体涉及一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质。

技术介绍

[0002]光谱渲染是一项十分重要的技术，应用在日常生活的各个方面，包括物体检测、人脸识别等。光谱渲染是计算机视觉中的一个基本问题，它可以反映物体的吸收、反射和其他相互作用，并已被用于生成真实的图像。在过去的几十年里，基于物理的光谱渲染得到了广泛的研究，其中光的传输是用多个波长来模拟的，而不仅仅是使用常规的红、绿、蓝三色分量。有一些基于物理的渲染方法通过学习光谱分布实现光谱渲染，包括在可见光范围内的随机采样、复合光谱模型和空间域中的光线采样。这些方法都是为了保证渲染照片的真实性。然而，它们只能生成当前视角的图像，对场景的表达能力有限。
[0003]最近，神经辐射场(Neural Radiance Field)被用来渲染3D场景的新视角图像。基于神经辐射场的方法通过使用多层感知机(Multi
‑
layer Perceptr本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的物理光谱渲染方法，其特征在于，包括以下步骤：获取光线源点信息和光线方向；将所述光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中，得到每个像素对应观察体视角的射线上指定点的不透明度信息；将所述光线方向输入至神经辐射场的多层感知机的低纬度全连接层中，得到每个像素对应观察体视角的射线上指定点对应的多个波长的光谱信息；基于所述不透明度信息和所述多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像。2.根据权利要求1所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像步骤中，所述融合网络为：在UNet网络中引入注意力门，完善UNet网络跨连接的特征，以使得输出到下一个解码器阶段之前的高层次特征由编码器的低层次特征引导；所述对光谱图像进行处理时，构建后的融合网络控制所述融合网络中1
×
1的卷积模块获取所述光谱图像的特征并衡量它们的重要性，并基于通道维度的注意力机制关注光谱图像之间的特征融合。3.根据权利要求2所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述基于所述不透明度信息和所述多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像过程中，通过光谱图像重构损失函数进行优化；所述将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像过程中，通过RGB图像损失函数进行优化。4.根据权利要求3所述的基于神经辐射场的物理光谱渲染方法，其特征在...

【专利技术属性】
技术研发人员：刘帅成，李茹，刘嘉，刘光辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：