基于神经渲染的新视图合成的方法技术

本申请公开了一种基于神经渲染的新视图合成的方法

【技术实现步骤摘要】
基于神经渲染的新视图合成的方法、设备和存储介质


[0001]本申请一般涉及新视图合成

。
更具体地，本申请涉及一种基于神经渲染的新视图合成的方法
、
设备和计算机可读存储介质
。

技术介绍

[0002]新视图合成任务指的是给定源图像
、
源姿态和目标姿态，渲染生成目标姿态对应的图片，其在
3D
重建
、AR
以及
VR
等领域有着广泛的应用
。
针对新视图合成，传统方法是采用例如卷积神经网络模型来进行预测，但传统方法无法做到高保真的视图合成
。
[0003]目前，基于神经辐射场（
Neural Radiance Fields
，“NeRF”）可以获得质量较高
、
逼真度高的新视图，通过输入多个视角的图像
、
相机参数或者光线方向，输出三维场景中每个点的颜色和密度
。
然而，在使用
NeRF
方法时，不同场景需要重新训练，无法做到一次训练，其他场景直接使用，且训练速度较慢
。
此外，现有的新视图合成是在标准空间平面下进行的，这会使得深度图预测不精准，并产生倾斜表面的离散化伪影和重复纹理的冗余图层等问题
。
[0004]有鉴于此，亟需提供一种基于神经渲染的新视图合成的方案，以便确保获得更加逼真的
、
高质量的新视图，并适用于通用场景
。

技术实现思路

[0005]为了至少解决如上所提到的一个或多个技术问题，本申请在多个方面中提出了基于神经渲染的新视图合成的方案
。
[0006]在第一方面中，本申请提供一种基于神经渲染的新视图合成的方法，其中所述神经渲染基于神经网络模型实现，所述神经网络模型包括特征提取模块
、
像素解码模块和
Transformer
解码模块，并且所述方法包括：获取待进行合成的原视图；使用所述特征提取模块对所述原视图执行图像特征提取操作，以获得图像特征；使用所述像素解码模块对所述图像特征执行像素解码操作，以获得像素特征；使用所述
Transformer
解码模块对所述图像特征进行参数解码，并将所述像素特征嵌入参数解码结果中，以获得与合成新视图相关的目标参数；以及在交叉平面空间中基于所述目标参数进行新视图渲染，以合成新视图
。
[0007]在一个实施例中，其中所述特征提取模块为残差网络，所述残差网络和所述像素解码模块均包括多层，并且所述方法还包括：将所述像素解码模块每层的解码向量与所述残差网络对应层的图像特征相加后进行像素解码操作，以获得所述像素特征
。
[0008]在另一个实施例中，其中所述目标参数包括颜色
、
图像实例
、
图像类别和平面参数信息，所述
Transformer
解码模块包括解码器和多个感知层头，并且使用所述
Transformer
解码模块对所述图像特征进行参数解码，并将所述像素特征嵌入参数解码结果中，以获得与合成新视图相关的目标参数包括：使用所述解码器对所述图像特征进行参数解码，以获得与所述目标参数对应的多个参数解码结果；以及将所述像素特征分别嵌入与颜色和图像实例对应的参数解码结果中，并使用所述多个感知层头对应输出所述颜色
、
所述图像实例
、
所述图像类别和所述平面参数信息
。
[0009]在又一个实施例中，其中将所述像素特征分别嵌入与颜色和图像实例对应的参数解码结果中包括：将所述像素特征分别与颜色和图像实例对应的参数解码结果进行点积操作
。
[0010]在又一个实施例中，其中所述解码器包括自注意力层
、
交叉注意力层
、
前馈网络层，所述每个感知层头包括多层感知机和激活函数或者包括多层感知机和全连接层
。
[0011]在又一个实施例中，其中所述多个感知层头包括颜色层头
、
实例层头
、
类别层头和平面参数层头，并且所述颜色层头和所述实例层头均包括多层感知机和
Sigmoid
激活函数，以对应输出所述颜色和所述图像实例；所述类别层头包括多层感知机和
Softmax
激活函数，以对应输出所述图像类别；所述平面参数层头包括多层感知机和全连接层，以对应输出所述平面参数信息
。
[0012]在又一个实施例中，其中所述平面参数信息包括法向量和偏移距离，并且在交叉平面空间中基于所述目标参数进行新视图渲染，以合成新视图包括：根据不同类别的图像实例在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度确定新渲染顺序图片；以及基于所述新渲染顺序图片的深度计算渲染颜色，以合成所述新视图
。
[0013]在又一个实施例中，其中根据不同类别的图像实例在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度确定新渲染顺序图片包括：根据不同类别的图像实例中的像素点在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度确定像素渲染顺序；以及基于所述像素渲染顺序重新排列像素点，以获得所述新渲染顺序图片
。
[0014]在又一个实施例中，其中通过计算不同类别的图像实例中的像素点在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度，其中表示所述法向量，表示所述偏移距离，表示相机内部参数，表示不同类别的图像实例中的像素点的二维坐标位置
。
[0015]在又一个实施例中，其中基于所述新渲染顺序图片的深度计算渲染颜色包括：通过计算所述渲染颜色，其中，表示交叉平面，表示标准平面，表示所述新渲染顺序图片的深度，表示透明图，表示累计透射率
。
[0016]在又一个实施例中，所述方法还包括：将渲染后的视图由所述交叉平面空间变换至标准平面空间，以合成最终的新视图
。
[0017]在又一个实施例中，其中将渲染后的视图由所述交叉平面空间变换至标准平面空间，以合成最终的新视图包括：通过将渲染后的视图由所述交叉平面空间变换至标准平面空间，以合成最终的新视图，其中表示渲染后的视图，表示最终的新视图，表示所述法向量，表示所述偏移距离，表示相机内部参数，
R
和
t
表示经由变换矩阵处理的旋转和平移参数
。
[0018]在又一个实施例中，所述方法还包括：将多个场景下的原始图作为训练集输入至所述神经网络模型，并计算与所述颜色和所述图像实例相关的掩码损失和交叉熵损失；以及根据所述掩码损失和所述交叉熵损失形成的总损失函数训练所述神经网络模型
。
[0019]在第二方面中，本申请提供一种基于神经渲染的新视图合成的设备，包括：处理器；以及存储器，其中存储有基于神经渲染的新视图合成的程序指令，当所述程序指令本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于神经渲染的新视图合成的方法，其特征在于，其中所述神经渲染基于神经网络模型实现，所述神经网络模型包括特征提取模块
、
像素解码模块和
Transformer
解码模块，并且所述方法包括：获取待进行合成的原视图；使用所述特征提取模块对所述原视图执行图像特征提取操作，以获得图像特征；使用所述像素解码模块对所述图像特征执行像素解码操作，以获得像素特征；使用所述
Transformer
解码模块对所述图像特征进行参数解码，并将所述像素特征嵌入参数解码结果中，以获得与合成新视图相关的目标参数；以及在交叉平面空间中基于所述目标参数进行新视图渲染，以合成新视图
。2.
根据权利要求1所述的方法，其特征在于，其中所述特征提取模块为残差网络，所述残差网络和所述像素解码模块均包括多层，并且所述方法还包括：将所述像素解码模块每层的解码向量与所述残差网络对应层的图像特征相加后进行像素解码操作，以获得所述像素特征
。3. 根据权利要求1所述的方法，其特征在于，其中所述目标参数包括颜色
、
图像实例
、
图像类别和平面参数信息，所述
Transformer
解码模块包括解码器和多个感知层头，并且使用所述
Transformer
解码模块对所述图像特征进行参数解码，并将所述像素特征嵌入参数解码结果中，以获得与合成新视图相关的目标参数包括：使用所述解码器对所述图像特征进行参数解码，以获得与所述目标参数对应的多个参数解码结果；以及将所述像素特征分别嵌入与颜色和图像实例对应的参数解码结果中，并使用所述多个感知层头对应输出所述颜色
、
所述图像实例
、
所述图像类别和所述平面参数信息
。4.
根据权利要求3所述的方法，其特征在于，其中将所述像素特征分别嵌入与颜色和图像实例对应的参数解码结果中包括：将所述像素特征分别与颜色和图像实例对应的参数解码结果进行点积操作
。5.
根据权利要求3所述的方法，其特征在于，其中所述解码器包括自注意力层
、
交叉注意力层
、
前馈网络层，所述每个感知层头包括多层感知机和激活函数或者包括多层感知机和全连接层
。6.
根据权利要求5所述的方法，其特征在于，其中所述多个感知层头包括颜色层头
、
实例层头
、
类别层头和平面参数层头，并且所述颜色层头和所述实例层头均包括多层感知机和
Sigmoid
激活函数，以对应输出所述颜色和所述图像实例；所述类别层头包括多层感知机和
Softmax
激活函数，以对应输出所述图像类别；所述平面参数层头包括多层感知机和全连接层，以对应输出所述平面参数信息
。7. 根据权利要求3所...

【专利技术属性】
技术研发人员：方顺，崔铭，冯星，张志恒，张亚男，吕艳娜，乔磊，孙思远，汪成峰，殷杏雨，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：