深度图像的生成及显示方法、装置、系统、可读介质制造方法及图纸

一种深度图像的生成及显示方法、装置、系统、可读介质，所述深度图像的生成方法包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。应用上述方法，在立体全景视频的基础上，加入深度信息，可以在后续显示时，形成真实的运动视差，增加用户的沉浸感。增加用户的沉浸感。增加用户的沉浸感。

【技术实现步骤摘要】
深度图像的生成及显示方法、装置、系统、可读介质
[0001]本申请是申请日为2017年12月22日、申请号为201711414436.5、专利技术名称为“深度图像的生成及显示方法、装置、系统、可读介质”专利的分案申请。


[0002]本专利技术实施例涉及图像处理领域，尤其涉及一种深度图像的生成及显示方法、装置、系统、可读介质。

技术介绍

[0003]虚拟现实(Virtual Reality，VR)技术利用头戴式显示设备(Head
‑
Mounted Displays)，给人带来沉浸感，让人感觉身在其中。目前的VR系统都提供高分辨率，低延时的体验，并且能实时跟踪用户的头部位置和角度。
[0004]对于使用相机拍摄的VR场景，可以通过多个相机，指向场景中的不同部分，然后将同一时刻的各个相机拍摄的图像拼接成这一时刻的全景图片，最终将不同时刻的全景图片合在一起形成全景视频，该全景视频为“伪3D”全景视频，即在一个时刻，只有一张球面投影(Equirectangular Projection)全景图片。在用户观看时，通过一定算法将图像进行处理(如最简单的左右平移一段位移)，以产生“伪3D”全景视频的效果。由于“伪3D”全景视频用户体验差，容易产生眩晕感等不适，Facebook提出了Surround360技术，用来拍摄“真3D”全景视频。Surround360技术通过模拟左眼和右眼，利用左眼相机和右眼相机，在圆环每一个点均生成一个虚拟相机所拍摄的内容，从而生成环绕一周360度的全景图像。在用户观看时，只需将左眼相机和右眼相机拍摄的图像分别显示在对应的显示区域即可。
[0005]对于相机拍摄合成的“伪3D”全景视频，无任何视差、遮挡等深度效果，故用户体验差，容易产生眩晕感等不适。而Surround360拍摄的“真3D”全景视频，由于在拍摄时模拟人眼进行拍摄，可以产生一定的遮挡、左右眼视差效果，用户体验较好，但是，由于默认人眼一直处于拍摄中心，观看只能允许用户头部旋转来选择观看区域，不能移动来调整视点。

技术实现思路

[0006]本专利技术实施例解决的技术问题是对于拍摄的图像，如何基于不同视点，形成真实的运动视差，增加用户的沉浸感。
[0007]为解决上述技术问题，本专利技术实施例提供一种深度图像的生成方法，所述方法包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
[0008]可选地，所述基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像包括：将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；基于转换后的相机坐标和所述光流值，计算立体全景图像中
的像素对应的深度值；基于所计算的深度值，生成所述立体全景图像对应的深度图像。
[0009]可选地，所述基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值包括：获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；计算t1与t2之和为像素对应的深度值d。
[0010]可选地，所述基于所获取的拍摄的图像，生成立体全景图像包括：将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；对于重叠区域的每一列像素，基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
[0011]可选地，基于以下任意一种算法计算计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas
‑
Kanade算法。
[0012]本专利技术实施例提供一种深度图像的显示方法，包括：采用上述任一种深度图像的生成方法，生成立体全景图像及其对应的深度图像；基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；将所述点云图投影至视平面，并扭曲其对应的深度图像；将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；输出显示对应深度值较小的视平面图像。
[0013]可选地，所述视平面为：与眼睛视线注意方向垂直的平面。
[0014]可选地，所述深度图像的显示方法还包括：压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。
[0015]本专利技术实施例提供一种深度图像的生成装置，包括：获取单元，适于获取左眼相机和右眼相机拍摄的图像；第一生成单元，适于基于所获取的拍摄的图像，生成立体全景图像；第二生成单元，适于基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。
[0016]可选地，所述第二生成单元包括：第一转换子单元，适于将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；第二计算子单元，适于基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；第一生成子单元，适于基于所计算的深度值，生成所述立体全景图像对应的深度图像。
[0017]可选地，所述第二计算子单元包括：第一计算模块、第二计算模块和第三计算模块，其中：所述第一计算模块，适于获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；所述第二计算模块，适于获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；所
述第三计算模块，适于计算t1与t2之和为像素对应的深度值d。
[0018]可选地，所述第一生成单元包括：第二转换子单元，适于将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；第一计算子单元，适于计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；第二生成子单元，适于对于重叠区域的每一列像素，分别基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；第三生成子单元，适于基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。
[0019]可选地，所述第一计算子单元，适于基于以下任意一种算法计算左眼相机和右眼相机拍摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像的显示方法，其特征在于，包括：采用深度图像的生成方法，生成立体全景图像及其对应的深度图像；基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；将所述点云图投影至视平面，并扭曲其对应的深度图像；将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；输出显示对应深度值较小的视平面图像；所述深度图像的生成方法，包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。2.根据权利要求1所述的深度图像的显示方法，其特征在于，所述视平面为：与眼睛视线注意方向垂直的平面。3.根据权利要求1所述的深度图像的显示方法，其特征在于，还包括：压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。4.根据权利要求1所述的深度图像的显示方法，其特征在于，所述基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像包括：将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；基于所计算的深度值，生成所述立体全景图像对应的深度图像。5.根据权利要求1所述的深度图像的显示方法，其特征在于，所述基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值包括：获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；计算t1与t2之和为像素对应的深度值d。6.根据权利要求1所述的深度图像的显示方法，其特征在于，所述基于所获取的拍摄的图像，生成立体全景图像包括：将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；
对于重叠区域的每一列像素，基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。7.权利要求4或6所述的深度图像的显示方法，其特征在于，基于以下任意一种算法计算计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas
‑
Kanade算法。8.一种深度图像的显示装置，其特征在于，包括：第三生成单元，适于采用深度图像的生成方法，生成立体全景图像及其对应的深度图像；重建单元，适于基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；扭曲单元，适于将所述点云图投影至视平面，并扭曲其对应的深度图像；第四生...

【专利技术属性】
技术研发人员：王森，刘阳，罗小伟，林福辉，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：