虚拟视点图像的生成方法及装置制造方法及图纸

本发明专利技术提供一种虚拟视点图像的生成方法及装置，该方法包括：基于输入视点的相机参数和第一图像，提取当前场景的三维模型；基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像；将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像。本发明专利技术提供的虚拟视点图像的生成方法及装置，通过第一目标图像恢复对应三维场景的几何信息，以及第二目标图像恢复对应三维场景的光照和色彩信息，获取目标虚拟视点图像，能提高3D光场信息重建的准确性和效率。能提高3D光场信息重建的准确性和效率。能提高3D光场信息重建的准确性和效率。

【技术实现步骤摘要】
虚拟视点图像的生成方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种虚拟视点图像的生成方法及装置。

技术介绍

[0002]传统的二维图像的获取和显示技术难以满足观看者日益增长的观赏需求。随着显示技术的革新和算力的提升，对三维光场信息进行准确高效重现的方法受到大量的关注。为了将真实场景的光场信息在真三维光场显示器中进行重现，需要通过搭建摄影机阵列对真实场景进行采集，通过密集视点的方式，恢复三维光场信息。在此过程中，受限于摄影机物理限制，难以进行密集视点采集，只能满足稀疏视点采集。为了生成密集视点内容，研究人员提出很多以稀疏视点作为输入，生成密集视点的虚拟视点生成方法。
[0003]一种是基于多平面图像(Multi
‑
Plane Image，MPI)方法，该方法包含了多个平面的RGB
‑
alpha图片，其中每个平面表达场景在某个深度中的内容。但各个平面的深度是固定且离散的，在输入视点水平排列时效果较好，当输入视点位置存在旋转时，限制三维空间的表达能力，导致重建的3D光场信息精度较差。另一种是基于3D Mesh Scaffold的方法需要预先输入大量的场景图像(50张以上)，且极为耗时(小时量级)，导致重建的3D光场信息效率较低。可见，现有技术中在重建3D光场信息的过程中，无法同时兼顾精度和效率。

技术实现思路

[0004]本专利技术提供一种虚拟视点图像的生成方法及装置，用以解决现有技术中无法同时兼顾生成虚拟视点图像的精度和效率的缺陷，实现设置较少的输入视点，可以得到场景内自由虚拟视点的图像。
[0005]本专利技术提供一种虚拟视点图像的生成方法，包括：
[0006]基于输入视点的相机参数和第一图像，提取当前场景的三维模型；
[0007]基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；
[0008]将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；
[0009]其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。
[0010]根据本专利技术提供的一种虚拟视点图像的生成方法，所述将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像，包括：
[0011]将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像；
[0012]将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像；
[0013]将所述第二编码图像输入至所述图像处理模型的深度解码层，获取所述目标虚拟视点的第二目标图像。
[0014]根据本专利技术提供的一种虚拟视点图像的生成方法，所述将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像，包括：
[0015]基于所述第二图像，进行特征提取，获取目标深度特征图；
[0016]基于所述目标深度特征图，进行特征融合，获取所述第一编码图像；
[0017]其中，所述目标深度特征图至少包括两个分辨率不同的深度特征图。
[0018]根据本专利技术提供的一种虚拟视点图像的生成方法，所述将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像，包括：
[0019]基于所述第一编码图像和所述第一目标图像，采用DIBR算法，将坐标投影到所述目标虚拟视点的坐标系，获取目标投影图像；
[0020]基于所述目标投影图像，进行图像融合，获取所述第二编码图像。
[0021]根据本专利技术提供的一种虚拟视点图像的生成方法，在所述基于输入视点的相机参数和第一图像之前，还包括：基于所述输入视点，采用相机标定方法，获取所述输入视点的相机参数；
[0022]其中，所述相机参数包括相机内部参数和相机外部参数。
[0023]根据本专利技术提供的一种虚拟视点图像的生成方法，所述基于输入视点的相机参数和第一图像，提取当前场景的三维模型，包括：
[0024]基于所述输入视点的相机参数和所述第一图像，采用TSDF算法，获取深度融合信息；
[0025]基于所述深度融合信息，采用Marching Cube算法，获取所述当前场景的三维模型。
[0026]本专利技术还提供一种虚拟视点图像的生成装置，包括：
[0027]三维模型获取模块，用于基于输入视点的相机参数和第一图像，提取当前场景的三维模型；
[0028]第一获取模块，用于基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；
[0029]第二获取模块，用于将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；
[0030]其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟视点图像的生成方法的步骤。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟视点图像的生成方法的步骤。
[0033]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述虚拟视点图像的生成方法的步骤。
[0034]本专利技术提供的虚拟视点图像的生成方法及装置，通过本专利技术实施例基于输入视点的相机参数和第一图像获取场景的三维模型，通过目标虚拟视点的相机参数获取第一目标图像，通过第二图像输入值图像处理模型，获取第二目标图像，通过第一目标图像恢复对应三维场景的几何信息，以及第二目标图像恢复对应三维场景的光照和色彩信息，获取目标虚拟视点图像。能提高3D光场信息重建的准确性和效率。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术提供的虚拟视点图像的生成方法的流程示意图；
[0037]图2是本专利技术提供的虚拟视点图像的生成方法的子流程示意图之一；
[0038]图3是本专利技术提供的虚拟视点图像的生成方法的子流程示意图之二；
[0039]图4是本专利技术提供的虚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟视点图像的生成方法，其特征在于，包括：基于输入视点的相机参数和第一图像，提取当前场景的三维模型；基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。2.根据权利要求1所述的虚拟视点图像的生成方法，其特征在于，所述将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像，包括：将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像；将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像；将所述第二编码图像输入至所述图像处理模型的深度解码层，获取所述目标虚拟视点的第二目标图像。3.根据权利要求2所述的虚拟视点图像的生成方法，其特征在于，所述将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像，包括：基于所述第二图像，进行特征提取，获取目标深度特征图；基于所述目标深度特征图，进行特征融合，获取所述第一编码图像；其中，所述目标深度特征图至少包括两个分辨率不同的深度特征图。4.根据权利要求2所述的虚拟视点图像的生成方法，其特征在于，所述将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像，包括：基于所述第一编码图像和所述第一目标图像，采用DIBR算法，将坐标投影到所述目标虚拟视点的坐标系，获取目标投影图像；基于所述目标投影图像，进行图像融合，获取所述第二编码图像。5...

【专利技术属性】
技术研发人员：桑新柱，齐帅，颜玢玢，王华春，叶晓倩，徐炜，张子强，
申请(专利权)人：班度科技深圳有限公司，
类型：发明
国别省市：