深度图像的生成及显示方法、装置、系统、可读介质制造方法及图纸

一种深度图像的生成及显示方法、装置、系统、可读介质，所述深度图像的生成方法包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。应用上述方法，在立体全景视频的基础上，加入深度信息，可以在后续显示时，形成真实的运动视差，增加用户的沉浸感。

Method, device, system and readable medium for generating and displaying depth image

【技术实现步骤摘要】
深度图像的生成及显示方法、装置、系统、可读介质
本专利技术实施例涉及图像处理领域，尤其涉及一种深度图像的生成及显示方法、装置、系统、可读介质。
技术介绍
虚拟现实(VirtualReality，VR)技术利用头戴式显示设备(Head-MountedDisplays)，给人带来沉浸感，让人感觉身在其中。目前的VR系统都提供高分辨率，低延时的体验，并且能实时跟踪用户的头部位置和角度。对于使用相机拍摄的VR场景，可以通过多个相机，指向场景中的不同部分，然后将同一时刻的各个相机拍摄的图像拼接成这一时刻的全景图片，最终将不同时刻的全景图片合在一起形成全景视频，该全景视频为“伪3D”全景视频，即在一个时刻，只有一张球面投影(EquirectangularProjection)全景图片。在用户观看时，通过一定算法将图像进行处理(如最简单的左右平移一段位移)，以产生“伪3D”全景视频的效果。由于“伪3D”全景视频用户体验差，容易产生眩晕感等不适，Facebook提出了Surround360技术，用来拍摄“真3D”全景视频。Surround360技术通过模拟左眼和右眼，利用左眼相机和右眼相机，在圆环每本文档来自技高网...

【技术保护点】
1.一种深度图像的生成方法，其特征在于，包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。

【技术特征摘要】
1.一种深度图像的生成方法，其特征在于，包括：获取左眼相机和右眼相机拍摄的图像；基于所获取的拍摄的图像，生成立体全景图像；基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。2.根据权利要求1所述的深度图像的生成方法，其特征在于，所述基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像包括：将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值；基于所计算的深度值，生成所述立体全景图像对应的深度图像。3.根据权利要求2所述的深度图像的生成方法，其特征在于，所述基于转换后的相机坐标和所述光流值，计算立体全景图像中的像素对应的深度值包括：获取左眼相机和右眼相机形成的圆环相对圆心的半径为R，相机坐标系的z轴相对于世界坐标系的x轴的夹角为δ，计算为t1；获取全景图像的宽度为W，计算为t2，其中ψ为所述光流值；计算t1与t2之和为像素对应的深度值d。4.根据权利要求1所述的深度图像的生成方法，其特征在于，所述基于所获取的拍摄的图像，生成立体全景图像包括：将所获取的拍摄的图像进行球面或者柱面投影，即将所获取的拍摄的图像中的像素对应的像素坐标转换至球面坐标或者柱面坐标；计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值；对于重叠区域的每一列像素，基于左眼相机及其对应的光流值生成左眼相机全景图像，基于右眼相机及其对应的光流值生成右眼相机全景图像；基于融合算法合成左眼相机全景图像和右眼相机全景图像，生成立体全景图像。5.根据权利要求2或4所述的深度图像的生成方法，其特征在于，基于以下任意一种算法计算计算左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值：相位相关算法、位相关算法和Lucas-Kanade算法。6.一种深度图像的显示方法，其特征在于，包括：采用如权利要求1至5任一项所述的方法，生成立体全景图像及其对应的深度图像；基于所述立体全景图像及其对应的深度图像，重建点云图，获取左眼相机全景图像对应的点云图和右眼相机全景图像对应的点云图；将所述点云图投影至视平面，并扭曲其对应的深度图像；将被扭曲后的深度图像对应的全景图像中的像素，扭曲到视平面，生成左眼相机视平面图像和右眼相机视平面图像；输出显示对应深度值较小的视平面图像。7.根据权利要求6所述的深度图像的显示方法，其特征在于，所述视平面为：与眼睛视线注意方向垂直的平面。8.根据权利要求6所述的深度图像的显示方法，其特征在于，还包括：压缩所述立体全景图像及其对应的深度图像，生成所述立体全景图像及其对应的深度图像的压缩数据；解压所述立体全景图像及其对应的深度图像的压缩数据，获取所述立体全景图像及其对应的深度图像。9.一种深度图像的生成装置，其特征在于，包括：获取单元，适于获取左眼相机和右眼相机拍摄的图像；第一生成单元，适于基于所获取的拍摄的图像，生成立体全景图像；第二生成单元，适于基于左眼相机和右眼相机拍摄的相邻图像之间重叠区域的光流值，生成所述立体全景图像对应的深度图像。10.根据权利要求9所述的深度图像的生成装置，其特征在于，所述第二生成单元包括：第一转换子单元，适于将所述立体全景图像中的像素对应的世界坐标分别转换至左眼相机和右眼相机对应的相机坐标；第一计算子单元，适于...

【专利技术属性】
技术研发人员：王森，刘阳，罗小伟，林福辉，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：上海,31