双目立体全景图像的生成方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种双目立体全景图像的生成方法、装置、设备和存储介质，方法包括：将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像；然后，根据深度图像以及预设瞳距，将全景图像映射成左眼全景画面和右眼全景画面；根据左眼全景画面和右眼全景画面生成双目立体全景图像；其中，上述深度图像中包括全景图像中各个像素点对应的深度信息。采用上述方法可以将全景图像映射成双目立体全景图像，降低电子设备的成本。降低电子设备的成本。降低电子设备的成本。

Generation method, device, device and storage medium of binocular stereoscopic panoramic image

【技术实现步骤摘要】
双目立体全景图像的生成方法、装置、设备和存储介质


[0001]本申请涉及图像处理
，特别是涉及一种双目立体全景图像的生成方法、装置、设备和存储介质。

技术介绍

[0002]随着虚拟现实(Virtual Reality，VR)等技术的发展，用户对图像的要求越来越高。在VR眼镜等电子设备中，可以向用户展示双目立体全景图像或者视频，在左右眼屏幕分别显示左右眼的图像，用户获取这种带有差异的信息后在脑海中产生立体感。
[0003]传统方法中，电子设备可以通过多个镜头同时拍摄同一物体，将多个镜头采集到的图像拼接成左眼全景画面和右眼全景画面，组合得到双目立体全景图像。但是，采用上述方法一般需要专业级多镜头的全景拍摄设备，操作复杂且成本昂贵。
[0004]目前普通非立体全景图像/视频的拍摄设备已经非常普遍，且操作简单成本低，亟需一种简单快速的方法，直接通过普通非立体全景图像/视频生成立体全景图像/视频。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种双目立体全景图像的生成方法、装置、设备和存储介质，可以直接通过普通非立体全景图像/视频生成双目立体全景图像/视频。
[0006]第一方面，提供一种双目立体全景图像的生成方法，上述方法包括：
[0007]将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像，深度图像中包括全景图像中各个像素点对应的深度信息；
[0008]根据预设瞳距以及深度图像，将全景图像映射成左眼全景画面和右眼全景画面；
[0009]根据左眼全景画面和右眼全景画面，生成双目立体全景图像。
[0010]在其中一个实施例中，根据预设瞳距以及深度图像，将全景图像映射为左眼全景画面和右眼全景画面，包括：
[0011]根据预设瞳距以及深度图像，获得左眼映射关系和右眼映射关系；左眼映射关系包括全景图像中像素点的第一坐标与像素点在左眼全景画面中的第二坐标之间的对应关系；右眼映射关系包括第一坐标与像素点在右眼全景画面中的第三坐标之间的对应关系；
[0012]根据左眼映射关系和右眼映射关系，将全景图像分别映射投影，生成左眼全景画面和右眼全景画面。
[0013]在其中一个实施例中，根据预设瞳距以及深度图像，获得左眼映射关系和右眼映射关系，包括：
[0014]根据深度信息、预设瞳距以及第一坐标，获取第二坐标以及第三坐标；
[0015]将第一坐标与第二坐标之间的对应关系确定为左眼映射关系；以及，将第一坐标与第三坐标之间的对应关系确定为右眼映射关系。
[0016]在其中一个实施例中，根据深度信息、预设瞳距以及第一坐标，获取第二坐标，包
括：
[0017]根据公式计算第二坐标中的经度坐标；
[0018]将第一坐标中的纬度坐标确定为第二坐标中的纬度坐标；
[0019]其中，φ为第一坐标中的经度坐标；θ为第一坐标中的纬度坐标，D(φ,θ)为深度图像中第一坐标对应的深度信息，L
φ
(φ,θ)为第一坐标对应的第二坐标中的经度坐标，p为预设瞳距。
[0020]在其中一个实施例中，根据深度信息、预设瞳距以及第一坐标中的经度坐标，获取第三坐标，包括：
[0021]根据公式计算第三坐标中的经度坐标；
[0022]将第一坐标中的纬度坐标确定为第三坐标中的纬度坐标；
[0023]其中，φ为第一坐标中的经度坐标；θ为第一坐标中的纬度坐标，D(φ,θ)为深度图像中第一坐标对应的深度信息，R
φ
(φ,θ)为第一坐标对应的第三坐标中的经度坐标，p为预设瞳距。
[0024]在其中一个实施例中，上述方法还包括：
[0025]获取训练样本；训练样本包括全景样本图像，以及全景样本图像对应的样本深度图像；
[0026]将全景样本图像作为初始深度估计模型的参考输入，将样本深度图像作为初始深度估计模型的参考输出，根据预设的损失函数对初始深度估计模型进行训练，获得深度估计模型。
[0027]第二方面，提供一种双目立体全景视频的生成方法，上述方法包括：
[0028]采用第一方面中所述的双目立体全景图像的生成方法，将全景视频中的各个全景图像分别映射成双目立体全景图像；
[0029]基于各双目立体全景图像，生成双目立体全景视频。
[0030]第三方面，提供一种双目立体全景图像的生成装置，上述装置包括：
[0031]获取模块，用于将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像；深度图像中包括全景图像中各个像素点对应的深度信息；
[0032]映射模块，用于根据预设瞳距以及深度图像，将全景图像映射成左眼全景画面和右眼全景画面；
[0033]生成模块，用于根据左眼全景画面和右眼全景画面，生成双目立体全景图像。
[0034]第四方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0035]将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像，深度图像中包括全景图像中各个像素点对应的深度信息；
[0036]根据预设瞳距以及深度图像，将全景图像映射成左眼全景画面和右眼全景画面；
[0037]根据左眼全景画面和右眼全景画面，生成双目立体全景图像。
[0038]第五方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0039]将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像，深度图像中包括全景图像中各个像素点对应的深度信息；
[0040]根据预设瞳距以及深度图像，将全景图像映射成左眼全景画面和右眼全景画面；
[0041]根据左眼全景画面和右眼全景画面，生成双目立体全景图像。
[0042]第六方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0043]将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像，深度图像中包括全景图像中各个像素点对应的深度信息；
[0044]根据预设瞳距以及深度图像，将全景图像映射成左眼全景画面和右眼全景画面；
[0045]根据左眼全景画面和右眼全景画面，生成双目立体全景图像。
[0046]上述双目立体全景图像的生成方法、装置、设备和存储介质，电子设备将全景图像输入预设的深度估计模型，获得全景图像对应的深度图像；然后，根据深度图像以及预设瞳距，将全景图像映射成左眼全景画面和右眼全景画面；根据所述左眼全景画面和所述右眼全景画面生成双目立体全景图像；其中，上述深度图像中包括全景图像中各个像素点对应的深度信息。由于电子设备可以获取全景图像的深度图像，从而可以根据深度图像及预设瞳距将上述全景图像分别映射成左眼全景画面和右眼全景画面，获得双目立体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体全景图像的生成方法，其特征在于，所述方法包括：将全景图像输入预设的深度估计模型，获得所述全景图像对应的深度图像，所述深度图像中包括所述全景图像中各个像素点对应的深度信息；根据预设瞳距以及所述深度图像，将所述全景图像映射成左眼全景画面和右眼全景画面；根据所述左眼全景画面和所述右眼全景画面，生成双目立体全景图像。2.根据权利要求1所述的方法，其特征在于，所述根据预设瞳距以及所述深度图像，将所述全景图像映射为左眼全景画面和右眼全景画面，包括：根据预设瞳距以及所述深度图像，获得左眼映射关系和右眼映射关系；所述左眼映射关系包括所述全景图像中像素点的第一坐标与所述像素点在所述左眼全景画面中的第二坐标之间的对应关系；所述右眼映射关系包括所述第一坐标与所述像素点在所述右眼全景画面中的第三坐标之间的对应关系；根据所述左眼映射关系和所述右眼映射关系，将所述全景图像分别映射投影，生成所述左眼全景画面和所述右眼全景画面。3.根据权利要求2所述的方法，其特征在于，所述根据预设瞳距以及所述深度图像，获得左眼映射关系和右眼映射关系，包括：根据所述深度信息、所述预设瞳距以及所述第一坐标，获取所述第二坐标以及所述第三坐标；将所述第一坐标与所述第二坐标之间的对应关系确定为所述左眼映射关系；以及，将所述第一坐标与所述第三坐标之间的对应关系确定为所述右眼映射关系。4.根据权利要求3所述的方法，其特征在于，根据所述深度信息、所述预设瞳距以及所述第一坐标，获取所述第二坐标，包括：根据公式计算所述第二坐标中的经度坐标；将所述第一坐标中的纬度坐标确定为所述第二坐标中的纬度坐标；其中，φ为所述第一坐标中的经度坐标；θ为所述第一坐标中的纬度坐标，D(φ,θ)为所述深度图像中所述第一坐标对应的深度信息，L
φ
(φ,θ)为所述第一坐标对应的第二坐标中的经度坐标，p为所述预设瞳距。5.根据权利要求3所述的方法，其特征在于，根据所述深度信息、所述预设瞳距以及所述第一坐标中的经度坐标，获取所述第三坐标，包括：根据公式...

【专利技术属性】
技术研发人员：苏坦，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：