虚拟视点生成方法及装置制造方法及图纸

本申请提供一种虚拟视点生成方法及装置。所述方法包括：根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；将水平多视点图像输入训练好的视差估计模型中，获取视差图像；根据不同位置对应的控制因子对视差图像进行加权，以根据加权后的视差图像和水平多视点图像进行前向映射，生成虚拟视点图像；其中，视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。本申请实施例提供的虚拟视点生成方法可以提高虚拟视点的生成效率。法可以提高虚拟视点的生成效率。法可以提高虚拟视点的生成效率。

【技术实现步骤摘要】
虚拟视点生成方法及装置


[0001]本申请涉及图像处理
，具体涉及一种虚拟视点生成方法及装置。

技术介绍

[0002]真实世界是三维的，但目前主流显示设备依然是二维的。三维显示，特别是裸眼三维显示，收到越来越多的关注。裸眼三维显示需要密集视点图像，而采用双目相机阵列进行密集视点采集存在许多困难，如双目相机阵列间的同步调整，双目相机标定和姿态求解，以及数据存储和传输等。因此，在实际应用中，通常使用少量真实双目相机采集稀疏视点，并通过虚拟视点生成方法生成密集视点。
[0003]虚拟视点生成是推动三维显示内容发展的关键。相关技术中，可采用DIBR(Depth Image Based Rendering，基于深度图像的虚拟视点渲染)来生成虚拟视点，从而形成密集视点。
[0004]然而，由于在生成真实场景的虚拟视点时，需先通过双目相机阵列采集多视点图像，以及获得视差图像，而DIBR在采集多视点图像时，需要对双目相机进行费时的标定和姿态求解来对多视点图像进行极线校正，且DIBR获得视差图像的速度较慢，无法保证实时性，从而导致虚拟视点的生成效率低。

技术实现思路

[0005]本申请实施例提供一种虚拟视点生成方法及装置，提高虚拟视点的生成效率。
[0006]第一方面，本申请实施例提供一虚拟视点生成方法，包括：
[0007]根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
[0008]将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
[0009]根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
[0010]其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
[0011]在一个实施例中，在根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像之前，还包括：
[0012]对各双目相机拍摄的各所述棋盘格图像进行角点检测，获取各初始角点像素坐标；
[0013]根据各所述初始角点像素坐标中各纵坐标的平均值，对各所述双目相机进行水平校正后，从各所述棋盘格图像中获取水平校正后的各双目相机对应的各矫正角点像素坐标；
[0014]根据各所述初始角点像素坐标以及各所述矫正角点像素坐标，确定单应矩阵。
[0015]在一个实施例中，所述多视点目标图像由各所述双目相机采集到的各初始视点图
像根据各双目相机的畸变参数进行畸变校正后得到。
[0016]在一实施例中，所述视差估计模型由各虚拟训练图像以及密集的真实视差输入全卷积网络进行预训练，获取初始视差估计模型后，将带有稀疏视差标注的各真实图像输入初始视差估计模型进行二次训练后确定。
[0017]在一实施例中，根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像，包括：
[0018]根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像进行前向映射，获取初始虚拟视点图像；
[0019]对所述初始虚拟视点图像进行空洞填充，生成虚拟视点图像。
[0020]在一实施例中，所述对所述初始虚拟视点图像进行空洞填充，生成虚拟视点图像，包括：
[0021]获取所述初始虚拟视点图像的左图和右图中空洞面积大于预设面积的第一空洞位置；
[0022]根据左图的第一空洞位置，从所述右图中获取与所述左图的空洞位置对应的像素填充至所述左图的第一空洞位置，生成所述虚拟视点图像。
[0023]在一实施例中，还包括：
[0024]对所述初始虚拟视点图像中面积小于或等于所述预设面积的第二空洞位置通过闭操作进行空洞填充。
[0025]第二方面，本申请实施例提供一种虚拟视点生成装置，包括：
[0026]多视点图像获取模块，用于根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
[0027]视差图像获取模块，用于将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
[0028]虚拟视点图像生成模块，用于根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
[0029]其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
[0030]第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的虚拟视点生成方法的步骤。
[0031]第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的虚拟视点生成方法的步骤。
[0032]本申请实施例提供的虚拟视点生成方法及装置，通过各双目相机拍摄的各棋盘格图像确定的单应矩阵，对多视点目标图像进行单应变换，并将水平多视点图像输入训练好的视差估计模型中，获取视差图像后，基于不同位置的控制因子对视差图像进行加权后，将视差图像进行前向映射以生成虚拟视点图像，从而可借助由棋盘格图像确定的单应矩阵来进行多视点图像的水平校正，无需通过复杂的双目相机标定和姿态求解来进行极线校正以实现多视点图像的水平校正，且可通过训练好的视差估计模型快速准确地获取视差图像，从而根据获取到的视差图像生成虚拟视点图像，从而提高虚拟视点生成的实时性和质量，
进而提高虚拟视点的生成效率。
附图说明
[0033]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本申请实施例提供的虚拟视点生成方法的流程示意图；
[0035]图2是本申请实施例提供的棋盘格示意图；
[0036]图3是本申请实施例提供的虚拟视点生成装置的结构示意图；
[0037]图4是本申请实施例提供的电子设备的结构示意图；
具体实施方式
[0038]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0039]为了更好地理解方案，对本专利技术实施例涉及的专业术语进行解释。
[0040]视差，是场景中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟视点生成方法，其特征在于，包括：根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。2.根据权利要求1所述的虚拟视点生成方法，其特征在于，在根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像之前，还包括：对各双目相机拍摄的各所述棋盘格图像进行角点检测，获取各初始角点像素坐标；根据各所述初始角点像素坐标中各纵坐标的平均值，对各所述双目相机进行水平校正后，从各所述棋盘格图像中获取水平校正后的各双目相机对应的各矫正角点像素坐标；根据各所述初始角点像素坐标以及各所述矫正角点像素坐标，确定单应矩阵。3.根据权利要求1所述的虚拟视点生成方法，其特征在于，所述多视点目标图像由各所述双目相机采集到的各初始视点图像根据各双目相机的畸变参数进行畸变校正后得到。4.根据权利要求1所述的虚拟视点生成方法，其特征在于，所述视差估计模型由各虚拟训练图像以及密集的真实视差输入全卷积网络进行预训练，获取初始视差估计模型后，将带有稀疏视差标注的各真实图像输入初始视差估计模型进行二次训练后确定。5.根据权利要求1
‑
4任意一项所述的虚拟视点生成方法，其特征在于，根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行...

【专利技术属性】
技术研发人员：桑新柱，叶晓倩，王华春，齐帅，郭潇，徐炜，张子强，王葵如，颜玢玢，
申请(专利权)人：班度科技深圳有限公司，
类型：发明
国别省市：