一种基于Ｈ．２６４压缩域图像深度图生成方法技术

本发明专利技术公开了一种基于Ｈ．２６４压缩域图像深度图生成方法，包括以下步骤：输入原图像的Ｈ．２６４压缩域码流；可变长熵解码并提取码流中编码块的相关特征并计算编码块的预测残差能量；据此计算各编码块的标记值并进行归一化处理后，对图像进行区域划分；分别计算每个区域的平均深度值并作为该区域所有编码块的深度值，得到整幅图像中所有编码块的深度值，得到整幅图像的编码块深度图；对得到的编码块深度图进行高斯滤波和上采样，最终得到与原图像大小一致的深度图。本发明专利技术方法使用Ｈ．２６４压缩码流内部信息提取图像深度图，在编码块的级别上对图像深度进行分析，具有很高的运算效率，得到的深度图接近真实的物体深度。

【技术实现步骤摘要】

本专利技术涉及数字视频信号处理领域，具体涉及二维图像转换三维图像时深度图生 成方法。
技术介绍
深度图生成是二维图像转换为三维图像过程中最为关键的步骤。在二维图像到 三维图像转换过程中，如果能够较好的获得场景的深度信息，对于转换后的三维图像质量 起着非常重要的作用。在已知二维图像和深度信息的情况下，可以采用DIBR(D印th Image Based Rendering，基于深度图的图像绘制)技术来合成所需要的三维视点。目前，通常是在像素域进行单目图像深度信息自动生成，其普遍的方法是首先根 据图像的色彩信息或边缘信息进行图像分割，然后对分割后的区域进行深度赋值。在像素 域进行图像分割与深度图生成，需要处理大量的数据。申请号为200910091469. X的中国专 利申请公开了一种实现平面视频转立体视频的方法和装置，其中，对关键帧的深度图生成 主要是在像素域完成，首先对像素域的图像进行颜色空间转换，并将每一个像素的颜色空 间变量和空间坐标组合成一个五维向量，对五维向量进行滤波，然后采用洪泛算法对滤波 后的图像进行区域分割，最后对分割后的图像进行深度赋值。基于像素域的方法需要处理 的数据量较大，并且进行区域分割方法也比较复杂，不利于快速计算得到图像的深度图。
技术实现思路
本专利技术提供了一种基于H. 264压缩域图像深度图生成的方法，解决了二维图像到 三维图像转换过程中的深度图生成问题。一种基于H. 264压缩域图像深度图生成方法，包括以下步骤(1)输入原图像的H. 264压缩域码流；(2)将H. 264压缩域码流进行可变长熵解码并提取所述的H. 264压缩域码流中 编码块的相关特征；所述的编码块的相关特征包括编码块的预测方式特征和编码块整型 DCT变换(Discrete Cosine Transform变换，离散余弦变换)的系数特征；所述的编码块 为4 X 4块，相应地，每个4 X 4块具有各自的预测方式特征。本专利技术将每个4X4块的预测(即帧内预测)方式特征分为9种，分别为垂直预 测、水平预测、直流预测、对角线左下预测，对角线右下预测、垂直右预测、水平下预测、垂直 左预测和水平上预测，分别对应于H. 264帧内预测模式中Intra4X4模式的9种预测方式， H. 264帧内预测模式中的IntraieX 16模式的4种预测方式也可以归纳到这9种预测方式 之中。帧内预测之后，H. 264标准通过原始图像与预测值相减得到预测残差，并对预测残 差采用基于4X4块的整型DCT变换编码，得到4X4块的整型DCT变换系数。以上所述的帧内预测方式和整型DCT变换系数都可以通过可变长熵解码直接从 H. 264码流中提取出来，从而得到所述的编码块的预测方式特征和编码块整型DCT变换的系数特征。由于可变长熵解码属于部分解码，因此，相对于全部解压而言，这一过程只占到对 H. 264压缩域码流全部解压的10%的计算量，从而避免了由对H. 264压缩码流进行全部解 压所带来的额外计算量，降低了整个深度图提取过程的计算复杂度。(3)根据步骤(2)提取得到的编码块整型DCT变换的系数特征，计算编码块的预测 残差能量En(i，j)，如式(I)所示En(i, j) = |DC(i，j) +|AC01(i, j) | + |AC1(1(i，j) | + |ACn(i，j) | (I)式(I)中，DC(i，j),AC01(i, j), AC10(i, j)，ACn(i，j)分别为第(i，j)个 4X4 土夬 的整型DCT变换系数z字扫描的第1、2、3、5个系数。(4)根据由步骤(2)和(3)获得的编码块的预测方式特征和编码块的预测残差能 量计算各编码块的标记值并进行归一化处理，再根据各编码块的归一化标记值对图像进行 区域划分；其过程具体如下(4. 1)首先初始化所有编码块的标记值为1，并初始化全局标记(GlobalLabel)为 1 ；(4. 2)根据每个编码块的预测残差能量和预测方式特征，对第一排的每个编码块 进行水平方向的块标记；可选地，所述的水平方向的块标记采取以下方式进行当编码块的预测残差能量小于或等于阈值时，该编码块的标记值等于其左边编码 块的标记值；当编码块的预测残差能量大于阈值，并且该编码块的预测方式特征为水平预测或 直流预测时，该编码块的标记值等于其左边编码块的标记值；否则，将全局标记自加1，并 设定该编码块标记为全局标记；(4. 3)根据每个编码块的预测残差能量和预测方式特征，对第一列的每个编码块 进行垂直方向的块标记；可选地，所述的垂直方向的块标记采取以下方式进行当编码块的预测残差能量小于或等于阈值时，该编码块的标记值等于其上边编码 块的标记值；当编码块的预测残差能量大于阈值，并且该编码块的预测方式特征为垂直预测或 直流预测时，该编码块的标记值等于其上边编码块的标记值加1 ；否则，该编码块的标记值 等于其上边编码块的标记值加2 ；(4. 4)根据每个编码块的预测残差能量和预测方式特征，计算除第一排和第一列 之外的每个编码块的标记值；可选地，所述的除第一排和第一列之外的每个编码块的标记值的计算采取以下方 式进行首先，比较每个编码块的预测残差能量与阈值的大小，将编码块分为两类(①) 预测残差能量小于或等于阈值的编码块；(②)预测残差能量大于阈值的编码块；然后，对于第(①)和(②)类的编码块，采取不同的方法计算编码块的标记值， 具体为对于第(①)类编码块，当编码块预测方式特征为垂直预测时，该编码块标记值等于其上边编码块的标记 值；当编码块预测方式特征为水平预测时，该编码块标记值等于其左边编码块的标记值； 当编码块预测方式特征为对角线左下预测时，该编码块标记值等于其右上编码块的标记 值；当编码块预测方式特征为对角线右下预测时，该编码块标记值等于其左上编码块的标 记值；当编码块预测方式特征为直流预测时，分别计算该编码块的上边与左边编码块的 标记值，取较小者记为LabelMin，较大者记为LabelMax，则该编码块标记值为Label(i， j) = (LabelMin*3+LabelMax)/4 (VI)当编码块预测方式特征为垂直右预测时，分别计算该编码块的上边与左上边编 码块的标记值，取较小者记为LabelMin，较大者记为LabelMax，则该编码块标记值按照式 (VI)的方式进行计算；当编码块预测方式特征为垂直左预测时，分别计算该编码块的上边与右上边编 码块的标记值，取较小者记为LabelMin，较大者记为LabelMax，则该编码块标记值按照式 (VI)的方式进行计算；当编码块预测方式特征为水平下预测时，分别计算该编码块的左边与左上边编 码块的标记值，取较小者记为LabelMin，较大者记为LabelMax，则该编码块标记值按照式 (VI)的方式进行计算；当编码块预测方式特征为水平上预测时，分别计算该编码块的左边与右上边编 码块的标记值，取较小者记为LabelMin，较大者记为LabelMax，则该编码块标记值按照式 (VI)的方式进行计算；对于第(②)类编码块，当编码块预测方式特征为垂直预测时，如果其上边编码块的预测残差能量大于阈 值时，该编码块标记值等于其上边编码块的标记值；当编码块预测方式特征为水平预测时， 如果其本文档来自技高网...

【技术保护点】
一种基于Ｈ．２６４压缩域图像深度图生成方法，其特征在于，包括以下步骤：（１）输入原图像的Ｈ．２６４压缩域码流；（２）将Ｈ．２６４压缩域码流进行可变长熵解码并提取所述的Ｈ．２６４压缩域码流中编码块的相关特征；所述的编码块的相关特征包括：编码块的预测方式特征和编码块整型ＤＣＴ变换的系数特征；所述的编码块为４×４块；（３）根据步骤（２）提取得到的编码块整型ＤＣＴ变换的系数特征，计算编码块的预测残差能量；（４）根据由步骤（２）和（３）获得的编码块的预测方式特征和编码块的预测残差能量计算各编码块的标记值并进行归一化处理，再根据各编码块的归一化标记值对图像进行区域划分；（５）根据图像位置信息计算每个区域的平均深度值，作为该区域所有编码块的深度值；遍历图像中所有区域，得到所有区域中所有编码块的深度值，即得到整幅图像的编码块深度图；（６）对得到的整幅图像的编码块深度图进行高斯滤波和上采样，最终得到与原图像大小一致的深度图。

【技术特征摘要】
一种基于H.264压缩域图像深度图生成方法，其特征在于，包括以下步骤(1)输入原图像的H.264压缩域码流；(2)将H.264压缩域码流进行可变长熵解码并提取所述的H.264压缩域码流中编码块的相关特征；所述的编码块的相关特征包括编码块的预测方式特征和编码块整型DCT变换的系数特征；所述的编码块为4×4块；(3)根据步骤(2)提取得到的编码块整型DCT变换的系数特征，计算编码块的预测残差能量；(4)根据由步骤(2)和(3)获得的编码块的预测方式特征和编码块的预测残差能量计算各编码块的标记值并进行归一化处理，再根据各编码块的归一化标记值对图像进行区域划分；(5)根据图像位置信息计算每个区域的平均深度值，作为该区域所有编码块的深度值；遍历图像中所有区域，得到所有区域中所有编码块的深度值，即得到整幅图像的编码块深度图；(6)对得到的整幅图像的编码块深度图进行高斯滤波和上采样，最终得到与原图像大小一致的深度图。2.如权利要求1所述的基于H.264压缩域图像深度图生成方法，其特征在于，所述的步 骤⑶中，采取式⑴计算编码块的预测残差能量En (i，j)En(i, j) = |DC(i，j) ! + IACtll (i，j) | + |AC1(1(i，j) | + |ACn(i，j) I (I)式(I)中，DC(i，j)，ACtll (i，j)，AC1Q(i，j)，AC11 (i，j)分别为第(i，j)个编码块的整型 DCT变换系数ζ字扫描的第1、2、3、5个系数...

【专利技术属性】
技术研发人员：冯杰，黄海，胡洁，蒋明峰，王成群，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：86[中国|杭州]