一种基于深度信息的图像渲染方法及装置制造方法及图纸

一种基于深度信息的图像渲染方法及装置，涉及计算机图形学技术领域。该方法包括：获取室内场景图像序列；基于室内场景图像序列，获取室内场景中场景3D点的位置信息；基于场景3D点的位置信息，设置高斯分布的采样点；基于采样点训练全连接网络；基于全连接网络使用体渲染方法进行渲染，以得到室内场景的新视角图像。由此，使用结合深度信息的神经辐射场，优化体渲染的射线采样方法，能够大幅度减少图像的数量，并提高了三维场景的图像渲染质量。并提高了三维场景的图像渲染质量。并提高了三维场景的图像渲染质量。

【技术实现步骤摘要】
一种基于深度信息的图像渲染方法及装置


[0001]本申请涉及计算机图形学
，特别是涉及一种基于深度信息的图像渲染方法及装置。

技术介绍

[0002]新视角图像渲染技术是计算机视觉领域和计算机图形学
的一个重要研究课题，有助于虚拟体验真实场景、实现沉浸式通信、改善游戏和娱乐体验等。
[0003]目前，可以基于一组图像序列及拍摄该图像序列的相机参数，训练全连接网络(Multilayer Perceptron,MLP)，并学习图像的场景中的某一静态点的体积密度和颜色后，通过体渲染的图形学方法，渲染出一张新视角图像。
[0004]然而，针对室内场景中的物体或场景的新视角图像渲染技术仍然充满挑战。一方面，室内场景的渲染计算量很大，需要对数量足够多的图像确定整个场景的隐式表征，否则会导致图像质量大大下降；另一方面，室内场景通常具有较大面积的弱纹理或镜面区域，例如墙面、地面、桌面等，这些区域可能在不同位置的图像中呈现不一样的颜色值，从而导致无法精确拟合场景，甚至产生严重的伪影。

技术实现思路

[0005]本申请提供了一种基于深度信息的图像渲染方法及装置，能够减少输入图像的数量，并提高了室内场景的图像渲染质量。
[0006]本申请公开了如下技术方案：
[0007]第一方面，本申请公开了一种基于深度信息的图像渲染方法，所述方法包括：
[0008]获取室内场景图像序列；
[0009]基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息；
[0010]基于所述场景3D点的位置信息，设置高斯分布的采样点；
[0011]基于所述采样点，训练全连接网络；
[0012]基于所述全连接网络使用体渲染方法进行渲染，以得到所述室内场景的新视角图像。
[0013]优选地，所述基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息，包括：
[0014]基于所述室内场景图像序列，通过运动结构恢复方法生成稀疏深度图序列；
[0015]将所述室内场景图像序列和所述稀疏深度图序列输入至深度图生成网络，以生成稠密深度图，所述稠密深度图中包含室内场景中场景3D点的位置信息。
[0016]优选地，所述高斯分布的公式具体如下：
[0017][0018]其中，t
i
为所述采样点，μ为所述场景3D点的深度值，σ2为经验值。
[0019]优选地，在基于所述采样点，训练全连接网络之后，所述方法还包括：
[0020]获取任一场景3D点对应的采样点和整体采样点的深度比例偏差值，所述整体采样点是所述任一场景3D点和所述任一场景3D点的临近场景3D点整体对应的采样点；
[0021]若所述深度比例偏差值大于预设阈值，则去除所述任一场景3D点对应的采样点。
[0022]优选地，在所述基于所述采样点，训练全连接网络之后，所述方法还包括：
[0023]基于平方误差公式，优化所述全连接网络，所述平方误差方法的公式具体如下：
[0024][0025]其中，R为射线的集合，为渲染像素颜色。C(r)为真实像素颜色。
[0026]第二方面，本申请公开了一种基于深度信息的图像渲染装置，所述装置包括：序列模块、位置模块、设置模块、训练模块、渲染模块；
[0027]所述序列模块，用于获取室内场景图像序列；
[0028]所述位置模块，用于基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息；
[0029]所述设置模块，用于基于所述场景3D点的位置信息，设置高斯分布的采样点；
[0030]所述训练模块，用于基于所述采样点，训练全连接网络；
[0031]所述渲染模块，用于基于所述全连接网络使用体渲染方法进行渲染，以得到所述室内场景的新视角图像。
[0032]优选地，所述位置模块，具体包括：第一生成模块、第二生成模块；
[0033]所述第一生成模块，用于基于所述室内场景图像序列，通过运动结构恢复方法生成稀疏深度图序列；
[0034]所述第二生成模块，用于将所述室内场景图像序列和所述稀疏深度图序列输入至深度图生成网络，以生成稠密深度图，所述稠密深度图中包含室内场景中场景3D点的位置信息。
[0035]优选地，所述高斯分布的公式具体如下：
[0036][0037]其中，t i
为所述采样点，μ为所述场景3D点的深度值，σ2为经验值。
[0038]优选地，所述装置还包括：偏差值模块、去除模块；
[0039]所述偏差值模块，用于获取任一场景3D点对应的采样点和整体采样点的深度比例偏差值，所述整体采样点是所述任一场景3D点和所述任一场景3D点的临近场景3D点整体对应的采样点；
[0040]所述去除模块，用于若所述深度比例偏差值大于预设阈值，则去除所述任一场景3D点对应的采样点。
[0041]优选地，所述装置还包括：优化模块；
[0042]所述优化模块，用于基于平方误差公式，优化所述全连接网络，所述平方误差方法的公式具体如下：
[0043][0044]其中，R为射线的集合，为渲染像素颜色。C(r)为真实像素颜色。
[0045]相较于现有技术，本申请具有以下有益效果：
[0046]本申请提供一种基于深度信息的图像渲染方法及装置，首先针对室内场景拍摄的室内场景图像序列获取场景3D点的位置信息，然后在基于场景3D点的位置信息设置高斯分布的采样点后，基于采样点训练神经辐射场的全连接网络。最后，基于全连接网络使用体渲染方法进行图像渲染，以得到新视角图像。由此，使用结合深度信息的神经辐射场，优化体渲染的射线采样方法，能够大幅度减少图像的数量，并提高了三维场景的图像渲染质量。
附图说明
[0047]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0048]图1为本申请实施例提供的一种基于深度信息的图像渲染方法的流程图；
[0049]图2为本申请实施例提供的一种基于深度信息的图像渲染装置的示意图。
具体实施方式
[0050]下面先对本申请所涉及的技术术语进行介绍。
[0051]运动结构恢复(Structure from motion，SFM)，即给出多幅图像及其图像特征的一个稀疏对应集合，从而估计图像中的3D点的位置，这个求解过程通常涉及3D几何(结构)和摄像机姿态(运动)的同时估计。
[0052]新视角图像渲染技术是计算机视觉领域和计算机图形学
的一个重要研究课题，有助于虚拟体验真实场景、实现沉浸式通信、改善游戏和娱乐体验等。
[0053]目前的新视角图像渲染，可以通过给定的多个相机或者单个可以移动的相机拍摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度信息的图像渲染方法，其特征在于，所述方法包括：获取室内场景图像序列；基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息；基于所述场景3D点的位置信息，设置高斯分布的采样点；基于所述采样点，训练全连接网络；基于所述全连接网络使用体渲染方法进行渲染，以得到所述室内场景的新视角图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述室内场景图像序列，获取室内场景中场景3D点的位置信息，包括：基于所述室内场景图像序列，通过运动结构恢复方法生成稀疏深度图序列；将所述室内场景图像序列和所述稀疏深度图序列输入至深度图生成网络，以生成稠密深度图，所述稠密深度图中包含室内场景中场景3D点的位置信息。3.根据权利要求1所述的方法，其特征在于，所述高斯分布的公式具体如下：其中，t
i
为所述采样点，μ为所述场景3D点的深度值，σ2为经验值。4.根据权利要求1所述的方法，其特征在于，在基于所述采样点，训练全连接网络之后，所述方法还包括：获取任一场景3D点对应的采样点和整体采样点的深度比例偏差值，所述整体采样点是所述任一场景3D点和所述任一场景3D点的临近场景3D点整体对应的采样点；若所述深度比例偏差值大于预设阈值，则去除所述任一场景3D点对应的采样点。5.根据权利要求1所述的方法，其特征在于，在所述基于所述采样点，训练全连接网络之后，所述方法还包括：基于平方误差公式，优化所述全连接网络，所述平方误差方法的公式具体如下：其中，R为射线的集合，为渲染像素颜色，C(r)为真实像素颜色。6.一种基于深度信息的图像渲染装置，其特征在于，所述装置包括：序列模块、位置模块、设置模块、训练模块...

【专利技术属性】
技术研发人员：于金波，刘祥德，赵飞飞，周嵘，年晓玲，
申请(专利权)人：北京数原数字化城市研究中心，
类型：发明
国别省市：