一种基于不同采样块的深度图编解码方法技术

本发明专利技术涉及一种基于不同采样块的深度图编解码方法，属于三维立体视频编码标准中的深度图编码技术领域。包括边缘检测、宏块分割、帧内预测模式选择、帧内多分辨率宏块模式编码和解码端，将解码出来的码流进行块重构，根据编码规则将重构块进行上采样处理。优点是针对深度图仅包含物体轮廓信息这一特征，提出一种基于不同采样块的深度图编码方法，通过对包含不连续运动场的深度宏块进行自适应几何划分，获得了较好的预测结果，从而提高深度图编码的效率，同时降低深度图编码的复杂度。

【技术实现步骤摘要】
一种基于不同采样块的深度图编解码方法
本专利技术属于三维立体视频编码标准中的深度图编码
，涉及一种提高深度图编码效率的编解码方法。
技术介绍
三维立体视频作为未来主要的视频应用技术，是指用户通过三维立体视频显示设备可以享受到真实的三维立体视频内容。三维视频的相关技术，比如，三维立体视频采集、三维立体视频编码、三维立体视频的显示等技术已经得到广泛的关注。其中，深度信息由彩色图像中像素位置的深度值组成，因此深度序列压缩通常将其视为是灰度视频来进行压缩。在3D视频系统和自由视点视频系统应用中，数据的传输是由一系列的彩色纹理视频和几何信息构成的，而视频的几何信息是由深度图反映出来的，在3D视频系统中，深度图是被应用于绘制虚拟视点的，因此深度序列编码的问题研究是不同于传统的2D彩色视频编码的。在立体视频中，为了通过虚拟视点绘制获得用户期望观看的视点所对应的视频信息，我们需要获得每一个视频帧所对应的深度图。为了有效的存储和传输海量的立体视频数据，立体视频系统通常采用多视点视频编码方法对多视点视频和深度图序列分别进行压缩。通过视点内和视点间预测编码，多视点视频编码方法能够有效地压缩多路深度图之间的冗余。深度信息之所以重要，因为深度信息压缩编码的效率不仅直接影响到整个系统的压缩效率，而且解码后的深度图的质量也直接影响到整个系统终端视频画面的主客观质量。传统的多视点视频编码方法是基于H.264/MVC编码标准上的一种多视点视频编码拓展方案。在传统的多视点视频编码中，编码器以宏块为单元对每一帧图像进行编码。每一个16×16小的宏块可以被进一步划分成16×8、8×16和8×8子块以及8×4、4×8和4×4的亚块。不同的子块和亚块被称为预测单元。在编码过程中，编码器对每一个预测单元进行运动估计，获得运动补偿预测的率失真代价。然后进行基于率失真优化的模式选择，获得每个块最优的编码模式和预测残差，并对残差进行变换编码。区别于传统的彩色视频，深度图仅包含每个像素点的距离信息，不包含任何视频纹理信息。因此，深度图中处于物体内部的编码宏块仅包含均一的深度纹理，处在物体边缘的编码宏块则包含两个或多个不连续的深度区域。传统的宏块划分无法有效地表示物体边缘。尤其是在低编码码率的条件下，通过划分得到的子块和亚块模式较少被选用。然而，采用传统的多视点视频编码方法对深度图编码时，编码器仍然需要对所有的宏块模式进行运动估计和模式决策。该过程需要消耗大量的计算资源，增大了编码端的复杂度。但深度序列的组成特性却不同于彩色纹理视频，深度图具有结构单一，目标层次鲜明，以及目标不同层次之间边缘锐利等特点，其平滑区域与明显的目标边缘相互交错出现，根据相机距离场景目标的距离来定义目标物体的表面，而边缘则代表着目标的边界，可以明显区分目标与背景。事实上，这些不连续区域的存在使传统的视频编码方案不再那么高效，因为传统的视频编码方案通常是用来处理低通视频信号的，若使用传统的视频编码方案对深度序列进行编码，则会在深度序列中的深度图图像不连续区和平滑区产生明显的块状人工效应，这样会导致解码后的深度序列的质量下降，另外由于解码后深度序列并不是直接用于显示，而是用来进行虚拟视点的绘制，因此质量下降的深度图会导致合成出的视点的位置发生畸变，影响虚拟视点的主客观效果，因此深度序列的压缩成为学术界研究的主要问题之一。
技术实现思路
本专利技术提供一种基于不同采样块的深度图编解码方法，目的是为了获得较高的深度图压缩效率，需要针对深度图的特点设计更加高效的编码方法。本专利技术采取的技术方案是，包括下列步骤：1)宏块分割：对当前H.264/MVC编码标准，读入待编码深度图，首先使用Sobel算子进行边缘检测得到边缘图像；其次对分割块进行16×16分割，如果16×16块内无纹理边缘，降采样为4×4块，如16×16块有纹理边缘，进一步分割为4个8×8块；如8×8块内无纹理边缘，降采样为4×4块，如有纹理边缘，进一步分割为4个4×4块；2)帧内预测模式选择：(1)计算当前4×4块和重建4×4块之间的差值平方和(SSD，SumofSuqaredDifference)以及编码的比特率；(2)如果4×4块为无纹理块，采用DC预测方式；(3)如果4×4块为含纹理块，采用原H.264/MVC中公式(1)计算9种帧内预测模式的率失真值进行计算；J(s,c,m|QP,λm)＝SSD(s,c,m|QP)+λmR(s,c,m|QP)(1)式中，QP是宏块的量化参数，λm是拉格朗日乘数，与QP有关，SSD(.)是原始亮度块s与重建块c之间的差值平方和，R(.)是利用模式m进行编码的比特数；(4)选择具有最小的率失真值的模式作为最佳4×4帧内预测模式；3)帧内宏块模式编码：16×16直接降采样为4×4标志记为01；8×8直接降采样为4×4标志记为10；8×8分割为4个4×4标志记为11；将当前块像素的灰度值与预测值进行相减，得到当前编码块的差值，对差值进行离散余弦变换、量化和熵编码；4)解码端，将解码出来的码流进行块重构，并进行上采样处理。本专利技术优点是针对深度图仅包含物体轮廓信息这一特征，提出一种基于不同采样块的深度图编码方法，通过对包含不连续运动场的深度宏块进行自适应几何划分，获得了较好的预测结果，从而提高深度图编码的效率，同时降低深度图编码的复杂度。附图说明图1是本专利技术使用于深度图编码的流程图。具体实施方式包括下列步骤：1)边缘检测：对当前H.264/MVC编码标准，读入待编码深度图，首先使用Sobel算子进行边缘检测得到边缘图像；2)宏块分割：针对边缘图像分割块中是否含有边缘进行对深度图像进行分割，首先进行16×16分割，如果16×16边缘图像块内无纹理边缘，对16×16深度图像块降采样为4×4块，如有纹理边缘，将16×16深度图像块进一步分割为4个8×8块；如8×8边缘图像块内无纹理边缘，将8×8深度图像块降采样为4×4块，如有纹理边缘，进一步8×8深度图像块分割为4个4×4块；3)帧内预测模式选择：(1)计算当前4×4块和重建4×4块之间的差值平方和(SSD，SumofSuqaredDifference)以及编码的比特率；(2)如果4×4块为无纹理块，采用DC预测方式；(3)分别按照公式(1)计算9种帧内预测模式的率失真值J(s,c,m|QP,λm)＝SSD(s,c,m|QP)+λmR(s,c,m|QP)(1)式中，QP是宏块的量化参数，λm是拉格朗日乘数，与QP有关，SSD(.)是原始亮度块s与重建块c之间的差值平方和，R(.)是利用模式m进行编码的比特数；(4)选择具有最小的率失真值的模式作为最佳4×4帧内预测模式；4)帧内多分辨率宏块模式编码：16×16直接降采样为4×4标志记为01；8×8直接降采样为4×4标志记为10；8×8分割为4个4×4标志记为11；将当前块像素的灰度值与预测值进行相减，得到当前编码块的差值，对差值进行离散余弦变换、量化和熵编码；5)解码端，将解码出来的码流进行块重构，根据编码规则将重构块进行上采样处理。本文档来自技高网...

【技术保护点】
1.一种基于不同采样块的深度图编解码方法，其特征在于，包括下列步骤：1)边缘检测；2)宏块分割；3)帧内预测模式选择；4)帧内多分辨率宏块模式编码；5)解码端，将解码出来的码流进行块重构，根据编码规则将重构块进行上采样处理。

【技术特征摘要】
1.一种基于不同采样块的深度图编解码方法，其特征在于，包括下列步骤：1)边缘检测；2)宏块分割；3)帧内预测模式选择；4)帧内多分辨率宏块模式编码；5)解码端，将解码出来的码流进行块重构，根据编码规则将重构块进行上采样处理。2.根据权利要求1所述的一种基于不同采样块的深度图编解码方法，其特征在于：步骤1)中，对当前H.264/MVC编码标准，读入待编码深度图，首先使用Sobel算子进行边缘检测得到边缘图像。3.根据权利要求2所述的一种基于不同采样块的深度图编解码方法，其特征在于：步骤2)中，针对边缘图像分割块中是否含有边缘进行对深度图像进行分割，首先进行16×16分割，如果16×16边缘图像块内无纹理边缘，对16×16深度图像块降采样为4×4块，如有纹理边缘，将16×16深度图像块进一步分割为4个8×8块；如8×8边缘图像块内无纹理边缘，将8×8深度图像块降采样为4×4块，如有纹理边缘，进一步8×8深度图像块分割为4个4×4块。4.根据权利要求2所述的一种基于不同采样块的深度图编...

【专利技术属性】
技术研发人员：高凯，朴燕，孙荣春，王宇，臧景峰，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林,22