一种深度建模模式简化搜索方法技术

一种深度建模模式简化搜索方法，包括：采用角度模式对深度预测单元进行预测；对深度预测单元进行边界检测，判断是否直接跳过深度建模模式；构建粗糙搜索图样集合；视点合成优化，是在获取粗糙搜索图样集合之后，分别选取集合中的图样进行视点合成优化，通过视点合成优化，选择失真最小的图样作为初步最佳匹配图样；构建精细搜索图样集合，是最佳图样为参考，获取最佳图样的起点和终点，分别以起点和终点为中心点向上下或左右各取2个像素点，像素点作为新的起点和终点进行组合，得到24种图样，形成精细搜索图样集合；选取最佳预测模式，并进行编码。本发明专利技术通过简化深度建模模式的搜索过程，减少了编码时间，降低了运算复杂度，提高了编码速度。

【技术实现步骤摘要】

本专利技术涉及一种3D视频编码。特别是涉及一种针对3D视频序列中深度视频编码建模的深度建模模式简化搜索方法。
技术介绍
近年来以自由视角电视为代表的新兴多媒体服务快速发展，为满足这些应用在高效压缩和传输上的需求，3D视频编码技术得到了广泛研究。基于视频表达格式，3D视频编码方法可以分为两类：一类是基于多视点视频(MultiviewVideo,MVV)格式，另一类是基于多视点加深度(MultiviewVideoplusDepth,MVD)格式。MVV视频编码方法能够提供良好的3D感知，但是其需要传输大量的彩色视频，在3D视频获取和编码效率方面存在一定的限制。而MVD视频编码方法减少了彩色视频的数目，同时引入了相应的深度视频，只需要在解码端利用基于深度图像的绘制(DepthImageBasedRendering,DIBR)可以绘制出其余视点的视频序列，大大提高了传输效率。深度视频具有和彩色视频不同的特性，深度图由大面积的平滑区域和锐利的边缘构成。同时,深度图和对应的彩色图有很强的相关性，它们分别表示同一场景的相关信息，深度图与彩色图有相似的物体边界，而且与彩色图有相似的运动。在编码深度视频时，可以根据与彩色视频的关系分为两类：独立编码和联合编码。独立编码方法对深度视频采用适合其特点的编码方法。联合编码方法则利用彩色视频与深度视频之间的相关性，考虑两者之间的冗余信息，并结合虚拟视点绘制的质量优化等方法来编码深度视频。针对深度视频的编码，3D-HEVC提出了一些新的深度视频编码工具，如深度建模模式(DepthModelingModes，DMMs)。深度建模模式将一个深度块分割成两个非规则区域，每一个区域用一个常量值表示。为了能够表示出分割信息，应该确定两个元素参数，分别是用于表示属于哪个区域的参数和该区域恒定的常数值。新增的两种帧内预测方法分别为采用直线进行分割的楔形模式(Wedgelets)和采用任意形状分割的轮廓模式(Contours)，两者的主要区别在于分割的方式不同。除了分割信息需要传送，还要求传送不同分割区域深度值(ConstantPartitionValue,CPV)。每一个分割的区域深度值是一个固定的常数，该值为该区域原始深度值的均值。总而言之，根据分割模式和传送信息不同，深度视频新增的帧内编码模式分成两种方法：1)明确的楔形法：该方法是在编码端确定最佳匹配的分割，并且在比特流中传送分割信息，利用传送的分割信息，解码端可以重建该块的信号；2)分量间轮廓法：通过重建的对应块推导得到两个任意形状的区域分割。关于DMMs的优化方法，国内外的学者也进行了一些研究。Zhang等人提出了一种针对Wedgelet模式的快速算法，该快速算法先找到满足最小绝对变换误差和(SumofAbsoluteTransformedDifference,SATD)的彩色视频的帧内预测方向，然后根据之前建立起来的Wedgelet模式的分割样式和角度预测的映射关系，找到最优的分割方法。Tsukuba等人则通过对16×16大小的预测单元(PredictionUnit,PU)进行图样放大以获得32×32尺寸PU的分割图样，这在一定程度上减少了搜索图样List的尺寸，进而减少了Wedgelet模式搜索的时间范围。
技术实现思路
本专利技术所要解决的技术问题是，提供一种深度建模模式简化搜索方法，在保证视频质量的前提下，对当前3D-HEVC编码标准中深度图编码过程进行优化，简化深度建模模式的搜索过程，从而降低所需的编码时间，提高整个编码系统的性能。本专利技术所采用的技术方案是：一种深度建模模式简化搜索方法，包括如下步骤：1)采用角度模式对深度预测单元进行预测；2)对深度预测单元进行边界检测，判断是否直接跳过深度建模模式；3)构建粗糙搜索图样集合，包括：(1)利用深度建模模式对预测单元进行预测，首先对图样查询表进行初始化，图样查询表中包含所有可能的分割情况，同时需要考虑到上采样或下采样过程；(2)通过边界检测获得四边变化最大的点，将四边变化最大的点分别做为起点或者终点连线获得图样，由所述的图样构成粗糙搜索图样集合；4)视点合成优化，是在获取粗糙搜索图样集合之后，分别选取集合中的图样进行视点合成优化，通过视点合成优化，选择失真最小的图样作为初步最佳匹配图样；5)构建精细搜索图样集合，是以步骤4)中获取的最佳图样为参考，获取最佳图样的起点和终点，分别以起点和终点为中心点，在所述中心点的向上下各取2个像素点，或在所述中心点的左右各取2个像素点，以所取的像素点作为新的起点和终点进行组合，得到24种图样，形成精细搜索图样集合；6)选取最佳预测模式，并进行编码。步骤1)包括：以帧为单位，把图像分割成多个编码树单元，每个编码树单元包含编码树块和语法元素，其中，编码树块是由亮度编码树块和与亮度编码树相对应的色度编码树块构成；一个亮度编码树块包含L×L个亮度分量的采样，每个色度编码树块包含L/2×L/2个色度分量的采样；亮度编码树块和色度编码树块直接作为编码块或进一步分割成多个编码块；然后，将编码树块分割为编码单元，其中编码单元按四叉树结构在编码树块内组织；一个亮度编码块、两个色度编码块和相关的语法元素共同形成了一个编码单元，每个编码单元又分为预测单元和变换单元；利用HEVC角度预测模式对深度预测单元进行预测，通过计算绝对变换误差和(SATD)，选取具有最小绝对变换误差和代价的预测模式加入到候选列表中，不同尺寸的深度预测块选取的预测模式数不同；所述最小绝对变换误差和代价JHAD用下述公式来计算JHAD＝SATD+λ·Rmode其中，SATD是指将残差信号进行哈达玛变换后再求各元素绝对值之和，λ表示拉格朗日乘子，Rmode表示该预测模式下编码所需比特数。步骤2)中由于深度图中存在两种类型的预测单元，一种由近乎常值或缓慢变化的深度值组成，而另一种则包含锐利的边界，为简化搜索过程，对深度预测单元进行边界检测；若检测出深度预测单元为边界块，则继续进行深度建模模式搜索过程，如果深度预测单元不含边界，则直接跳过深度建模模式。步骤3)第(2)步中，考虑到上采样和下采样的因素，对于不同尺寸预测单元，实际粗糙集合中待搜索图样总数也会相应调整：对于双精度情况，即32×32尺寸的预测单元，共有6种图样，对于全精度情况，即16×16尺寸的预测单元，共有6种图样，而对于半精度情况，即8×8和4×4尺寸的预测单元，分别各有24种图样。步骤6)包括：遍历精细搜索图样集合，通过视点合成优化技术选取最佳匹配图样，把选取的最佳匹配图样放入候选列表中；在候选列表中的最佳匹配图样、通过模式粗选过程获取的角度预测模式以及通过相邻参考预测单元获取的最可能模式需要通过率失真优化过程确定最佳帧内预测模式，率失真代价JRDO的定义如下式所示：JRDO＝D+λ·RD代表失真，用来描述重建视频质量，用均方误差和或绝对误差和表示，R表示编码所消耗的比特数，λ为拉格朗日乘子；在进行率失真优化过程中，需遍历候选列表中的所有预测模式，选取率失真代价最小的模式作为最佳预测模式并进行编码。本专利技术的一种深度建模模式简化搜索方法，通过简化深度建模模式的搜索过程，减少了编码时间，降低了运算复杂度，在保证视频质量无明显下降的情况本文档来自技高网...

【技术保护点】
一种深度建模模式简化搜索方法，其特征在于，包括如下步骤：1)采用角度模式对深度预测单元进行预测；2)对深度预测单元进行边界检测，判断是否直接跳过深度建模模式；3)构建粗糙搜索图样集合，包括：(1)利用深度建模模式对预测单元进行预测，首先对图样查询表进行初始化，图样查询表中包含所有可能的分割情况，同时需要考虑到上采样或下采样过程；(2)通过边界检测获得四边变化最大的点，将四边变化最大的点分别做为起点或者终点连线获得图样，由所述的图样构成粗糙搜索图样集合；4)视点合成优化，是在获取粗糙搜索图样集合之后，分别选取集合中的图样进行视点合成优化，通过视点合成优化，选择失真最小的图样作为初步最佳匹配图样；5)构建精细搜索图样集合，是以步骤4)中获取的最佳图样为参考，获取最佳图样的起点和终点，分别以起点和终点为中心点，在所述中心点的向上下各取2个像素点，或在所述中心点的左右各取2个像素点，以所取的像素点作为新的起点和终点进行组合，得到24种图样，形成精细搜索图样集合；6)选取最佳预测模式，并进行编码。

【技术特征摘要】
1.一种深度建模模式简化搜索方法，其特征在于，包括如下步骤：1)采用角度模式对深度预测单元进行预测；2)对深度预测单元进行边界检测，判断是否直接跳过深度建模模式；3)构建粗糙搜索图样集合，包括：(1)利用深度建模模式对预测单元进行预测，首先对图样查询表进行初始化，图样查询表中包含所有可能的分割情况，同时需要考虑到上采样或下采样过程；(2)通过边界检测获得四边变化最大的点，将四边变化最大的点分别做为起点或者终点连线获得图样，由所述的图样构成粗糙搜索图样集合；4)视点合成优化，是在获取粗糙搜索图样集合之后，分别选取集合中的图样进行视点合成优化，通过视点合成优化，选择失真最小的图样作为初步最佳匹配图样；5)构建精细搜索图样集合，是以步骤4)中获取的最佳图样为参考，获取最佳图样的起点和终点，分别以起点和终点为中心点，在所述中心点的向上下各取2个像素点，或在所述中心点的左右各取2个像素点，以所取的像素点作为新的起点和终点进行组合，得到24种图样，形成精细搜索图样集合；6)选取最佳预测模式，并进行编码。2.根据权利要求1所述的一种深度建模模式简化搜索方法，其特征在于，步骤1)包括：以帧为单位，把图像分割成多个编码树单元，每个编码树单元包含编码树块和语法元素，其中，编码树块是由亮度编码树块和与亮度编码树相对应的色度编码树块构成；一个亮度编码树块包含L×L个亮度分量的采样，每个色度编码树块包含L/2×L/2个色度分量的采样；亮度编码树块和色度编码树块直接作为编码块或进一步分割成多个编码块；然后，将编码树块分割为编码单元，其中编码单元按四叉树结构在编码树块内组织；一个亮度编码块、两个色度编码块和相关的语法元素共同形成了一个编码单元，每个编码单元又分为预测单元和变换单元；利用HEVC角度预测模式对深度预测单元进行预测，通过计算绝对变换误差和(SATD)，选取具有最小绝对变换...

【专利技术属性】
技术研发人员：雷建军，孙振燕，侯春萍，朱涛，张凝，段金辉，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12