深度图及视频处理、重建方法、装置、设备及存储介质制造方法及图纸

技术编号:31992627 阅读:26 留言:0更新日期:2022-01-22 18:04
深度图及视频处理、重建方法、装置、设备及存储介质,其中,深度图处理方法包括:获取基于多个帧同步的纹理图生成的估计深度图,所述多个纹理图的视角不同;获取所述估计深度图中像素的深度值;获取并基于与所述估计深度图视角对应的量化参数数据,对所述估计深度图中像素的深度值进行量化处理,得到量化深度图中对应像素的量化深度值。采用本说明书实施例方案可以提高重建得到的自由视点视频的图像质量。以提高重建得到的自由视点视频的图像质量。以提高重建得到的自由视点视频的图像质量。

【技术实现步骤摘要】
深度图及视频处理、重建方法、装置、设备及存储介质


[0001]本说明书实施例涉及视频处理
,尤其涉及深度图及视频处理、重建方法、装置、设备及存储介质。

技术介绍

[0002]自由视点视频是一种能够提供高自由度观看体验的技术,用户可以在观看过程中通过交互操作,调整观看视角,从想观看的自由视点角度进行观看,从而可以大幅提升观看体验。
[0003]在大范围的场景中,比如体育比赛,通过基于深度图的图像绘制(Depth Image Based Rendering,DIBR)技术来实现高自由度的观看是一种具有很大潜力和可行性的方案。自由视点视频的表达一般为多相机采集到的纹理图与相应深度图进行拼接,形成拼接图像。
[0004]目前,在服务端基于纹理图估计出场景和物体的深度图之后,通过对深度值进行8比特二进制数据的量化,表达为一个深度图。将同步的多个视角的纹理图和所得到的对应视角的深度图进行拼接,得到拼接图像,进而按照帧时序将拼接图像及对应的参数数据进行压缩,可以得到自由视点视频,传输,使得终端设备基于获取得到的自由视点视频流进行自由视点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图处理方法,其中,包括:获取基于多个帧同步的纹理图生成的估计深度图,所述多个纹理图的视角不同;获取所述估计深度图中像素的深度值;获取并基于与所述估计深度图视角对应的量化参数数据,对所述估计深度图中像素的深度值进行量化处理,得到量化深度图中对应像素的量化深度值。2.根据权利要求1所述的方法,其中,所述获取并基于与所述估计深度图视角对应的量化参数数据,对所述估计深度图中的对应像素的深度值进行量化处理,得到量化深度图中对应像素的量化深度值,包括:获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值;基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值,采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理,得到量化深度图中对应像素的量化深度值。3.根据权利要求2所述的方法,其中,所述基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值,采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理,得到量化深度图中对应像素的量化深度值,包括:采用如下量化公式对估计深度图中的对应像素的深度值进行量化处理:其中,M为所述估计深度图对应像素的量化比特位,range为所述估计深度图中对应像素的深度值,Depth为所述估计深度图中对应像素的量化深度值,N为所述估计深度图对应视角,depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值,depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值。4.根据权利要求1所述的方法,其中,还包括:对所述量化深度图进行降采样处理,得到第一深度图;将所述帧同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接,得到拼接图像。5.一种自由视点视频重建方法,其中,包括:获取自由视点视频,所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据,所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图,所述拼接图像对应的参数数据包括:对应视角的估计深度图的量化参数数据和摄像机参数数据;获取所述量化深度图中像素的量化深度值;获取并基于所述量化深度图对应视角的估计深度图的量化参数数据,对所述量化深度图中像素的量化深度值进行反量化处理,得到对应的估计深度图;基于同步的多个视角的纹理图以及对应视角的估计深度图,根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据,重建得到所述虚拟视点的图像。
6.根据权利要求5所述的方法,其中,所述获取并基于所述量化深度图对应视角的估计深度图的量化参数数据,对所述量化深度图中的量化深度值进行反量化处理,得到对应视角的估计深度图,包括:获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值;基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值,采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理,得到对应视角的估计深度图对应像素的深度值。7.根据权利要求6所述的方法,其中,所述基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值,采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理,得到对应视角的估计深度图对应像素的深度值,包括:采用如下反量化公式对所述量化深度图中的量化深度值进行反量化处理,得到估计深度图中的对应像素值:度图中的对应像素值:度图中的对应像素值:其中,M为所述量化深度图对应像素的量化比特位,range为所述估计深度图中对应像素的深度值,Depth为所述量化深度图中对应像素的量化深度值,N为所述估计深度图对应视角,depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值,depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值,maxdisp为视角N对应的量化深度距离最大值,mindisp为视角N对应的量化深度距离最小值。8.根据权利要求5至7任一项所述的方法,其中,所述量化深度图的分辨率小于对应视角的纹理图的分辨率;在重建得到所述虚拟视点的图像之前,还包括:对所述对应视角的估计深度图进行升采样,得到用于重建所述虚拟视点的图像的第二深度图。9.根据权利要求8所述的方法,其中,所述对所述对应视角的估计深度图进行升采样,得到用于重建所述虚拟视点图像的第二深度图,包括:获取所述估计深度图中像素的深度值,作为所述第二深度图中对应的偶数行及偶数列的像素值;对于所述第二深度图中偶数行奇数列的像素的深度值,确定对应纹理图中对应像素作为中间像素,基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定;对于所述第二深度图中奇数行像素的深度值,确定对应纹理图中的对应像素作为中间像素,基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。10.根据权利要求5至7任一项所述的方法,其中,所述基于同步的多个视角的纹理图以
及对应视角的估计深度图,根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据,重建得到所述虚拟视点的图像,包括:根据所述虚拟视点的位置信息,以及所述拼接图像对应的摄像机参数数据,在所述同步的多个视角的纹理图和对应视角的估计深度图中,选择多个目标纹理图和目标深度图;对所述目标纹理图和目标...

【专利技术属性】
技术研发人员:盛骁杰
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1