一种基于卷积化神经辐射场的新视图合成方法技术

本发明专利技术公开了一种基于卷积化神经辐射场的新视图合成方法，其特点是利用隐性神经表示建模场景中辐射度变化，重构具有复杂光学现象的场景，消除了在优化几何信息的过程中存在的歧义性，具体包括：计算射线起点和方向

【技术实现步骤摘要】
一种基于卷积化神经辐射场的新视图合成方法


[0001]本专利技术涉及计算机视觉与计算机图形学
，具体地说是一种基于卷积化神经辐射场的新视图合成方法
。

技术介绍

[0002]最近，采用神经隐含表征的新型视图合成技术由于其在不同相机姿态下生成的高质量图像令人惊讶而迅速发展
。
基于最初的神经辐射场
(NeRF)
方法，人们探索了各种研究方向以进一步提高渲染质量
、
渲染速度等方面
。
此外，由于
NeRF
将辐射度和几何信息联系起来，许多其他的应用都利用
NeRF
作为其构建模块来完成图形学领域的任务，例如从场景中提取几何
、
语义和材料信息，以及将静态设置扩展到动态场景
。
[0003]目前，有许多基于
NeRF
进行改进的方法，但由于仍然基于
NeRF
框架，传统的体积渲染方法仍然在渲染管线中，但这种渲染方法使得
NeRF
对几何信息的优化具有多解性
。
如附图1所示，在完全不同的密度分布下，得到的是相同的积分颜色
。
如果存在几何模糊性，新视角下合成的图像可能会出现错误，这将严重影响新视图合成结果的可靠性
。
基于光场的方法能够更高质量地还原复杂光学现象，但同时也会导致几何信息模糊
。
如附图2所示，由于表面上的点
P
T
和空间中的点r/>P
F
都有相同的颜色，从两个角度看，几何信息也是模糊的
。
具体来说，不同的点
P
T
和
P
F
两个摄像机的观察点
o1和
o2收到相同的辐射度
L(P
T
，
o
i
)
＝
L(P
F
，
o
i
)
，
i∈{1
，
2}。
这意味着可能有多种位置方案能满足相同的视线依赖辐射度，这对神经网络来说是很难优化的
。
[0004]现有技术的新视图合成算法在优化几何信息过程中存在着的歧义性与模糊性，不能更好地还原出反射
、
次表面散射等现象，表征场景的能力以及新视图合成的效果差
。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足而提供的一种基于卷积化神经辐射场的新视图合成方法，采用隐式场景表征方法，通过建立在基于辐射度的导数的场景表征方法上，基于卷积的结构，以全神经渲染方案提取沿射线的局部特征，消除在优化几何信息的过程中存在的歧义性与模糊性，并用简洁的神经网络表达方式还原复杂的光学现象，高质量地合成新视图，方法简便，不需要存储相机原点到物体交点的整个空白空间区间内的信息，将辐射线建模为导数会产生沿个别光线的稀疏解决方案，将优化几何信息从回归任务变为类似分类的任务，从而降低了优化问题的难度
。
该方法从深度学习领域的发展过程中吸取经验，对神经辐射场的网络结构进行改进，用简洁的方法改进了新视图合成的质量
。
本专利技术提出的结构具有低耦合度，可以很容易地结合到绝大部分为特定场景设计的基于神经辐射场的方法中，从而进一步改善渲染结果，具有一定的实用价值
。
[0006]实现本专利技术的具体技术方案是：一种基于卷积化神经辐射场的新视图合成方法，其特点是该方法具体包括以下步骤：
[0007]1)
通过相机的内参
(
即相机的焦距
、
焦点位置镜头畸变等固有属性
)
和外参
(
即观
察位置和视角
)
计算射线起点和方向，每条射线从相机所在位置出发，穿过焦平面上对应位置像素
。
[0008]2)
在射线上进行采样，获取若干离散采样点，以增加渲染图像的质量和减少噪声，所述采用具体分为两个阶段：在粗采样阶段，将射线等分为固定数量的区间，在每个区间上进行一次采样，每个区间内的所有位置被采样到的概率相等；
[0009]在细采样阶段，根据粗阶段得到的辐射度系数，使用
softmax
函数将每个采样点的辐射度系数转换为概率，在更可能出现物体的位置赋予更高概率，使得该位置附近更容易被采样到
。
[0010]3)
采用射线特征提取器对步骤2获取的采样点提取对应射线的特征，利用步骤2的离散采样点，基于辐射度导数的场景表征理论，提取对应射线的特征，融合射线上采样点的特征，使得辐射度导数的表征方式结合了光场表示的优点
。
所述射线特征提取器基于
U
型的卷积神经网络，用于对基于辐射度导数的场景表征进行参数化，将每条射线的空间作为一个完整的场景表示，并利用射线方向的一维卷积来提取射线与物体表面交点的特征
。
通过逐层卷积，感受野逐渐增大，最后输出包含与位置相关的局部特征和与光线相关的全局特征编码
。
[0011]4)
基于辐射度导数的场景表征理论，对射线特征通过辐射度属性网络和几何属性网络进行解码，并且进行唯一表面约束，步骤3中获取的特征在高维空间，需要将其转换为具有物理含义的量，才能进行后续的渲染操作
。
所述辐射度属性网络是将射线特征转换为每个采样点上辐射度颜色的两层
MLP
，以
sigmoid
为激活函数，限制输出的值在0到1之间，匹配归一化颜色的取值范围；所述几何属性网络主要学习给定光线和物体表面交点的位置和局部入射光度
。
为了处理光线上各点之间的遮挡关系，几何属性网络中使用了门控循环单元
(GRU)
，它在序列学习中表现出很强的性能
。
在每个递归步骤中，在当前步骤之前采样的所有点都被用作先验点
。
基于
GRU
的模块通过一个三层全连接网络输出原始几何属性系数，全连接网络最后一层的激活函数为
sigmoid。
[0012]唯一表面约束用于解决拟合问题中的模糊性问题
。
由于辐射度只在第一个交点达到最大值，而在射线的其余部分可以忽略不计，这种情况很适合使用
softmax
，它能放大输入之间的差距，并且以可微分的途径选出一系列输入中最大的值
。
[0013]5)
利用基于
Epipolar
的颜色期望计算模块，结合空白区域正则化，将步骤4中获取的属性转换为像素颜色
。
唯一表面约束中使用的
softmax
限制了射线上采样点的辐射度系数之和一定为1，但如果射线没有穿过任何物体，辐射度系数之和显然应该为
1。
因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于卷积化神经辐射场的新视图合成方法，其特征在于，采用隐性神经表示场景中辐射度变化并建模了辐射度导数的方法，消除了在优化几何信息的过程中存在的歧义性，并用简洁的表征方式还原复杂的光学现象，使用一个完全神经化的过程来拟合渲染方程提高渲染质量，新视图合成方法具体包括以下步骤：步骤1：射线起点和方向的计算通过相机的内外参计算射线起点和方向，每条射线从相机所在位置出发，穿过焦平面上对应位置像素，所述内参为相机的焦距
、
焦点位置镜头畸变的固有属性；所述外参为观察位置和视角；步骤2：重要性采样选择若干离散采样点为重要性采样点，在射线上进行粗采样和细采样，粗采样阶段，将射线等分为固定数量的区间，在每个区间上进行一次采样，每个区间内的所有位置被采样到的概率相等；在细采样阶段，根据粗采样阶段得到的辐射度系数，使用
softmax
函数将每个采样点的辐射度系数转换为概率；步骤3：提取射线特征采用射线特征提取器对步骤2获取的采样点提取对应射线的特征，所述射线特征提取器基于
U
型卷积神经网络，用于对基于辐射度导数的场景表征进行参数化，最后输出包含与位置相关的局部特征和与光线相关的全局特征编码；步骤4：辐射度属性网络的解码使用基于
MLP
结构的辐射度属性网络，利用射线特征序列，解码出每个采样点的归一化颜色；步骤5：几何属性网络的解码利用射线特征序列，使用基于
GRU
结构的几何属性网络，学习给定光线和物体表面交点的位置和局部入射光度；步骤6：唯一表面约束利用射线上的辐射度只在第一个交点达到最大值的特性，采用唯一表面约束，选出射线与物体表面的交点；步骤7：颜色期望计算利用基于
Epipolar
的颜色期望计算模块，结合空白区域正则化，通过解码得到的辐射度颜色和辐射度系数，计算射线的最终颜色，得到新视角下的观察图片
...

【专利技术属性】
技术研发人员：陆定波，杨晓妍，李洋，王长波，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：