基于层的3D-HEVC深度图帧内预测编码方法技术

本发明专利技术公开了一种基于层的3D‑HEVC深度图帧内预测编码的方法，主要解决现有的技术对深度图帧内预测编码处理复杂度较高的问题。其技术方案为：1)初始化文件和门限；2)记录测试码流每个编码周期的第一帧数据；3)通过计算编码周期第一帧的命中率得到门限；4)根据门限，选择性跳过当前预测单元的粗选阶段深度模式、细选阶段或全部粗选细选阶段，完成一帧视频视频编码；5)重复步骤2)到4)遍历每帧视频，直到编码结束。本发明专利技术具有编码复杂度低、方法多样性的优点，可用于视频编码。

【技术实现步骤摘要】

本专利技术属于高效视频压缩编码
，特别涉及一种帧内预测编码方法，可用于3D视频预测编码。
技术介绍
高效视频编码HEVC作为新一代的视频编码标准，在2013年由视频编码(JCT-VC,JointCollaborativeTeamonVideoCoding)联合制定。HEVC标准主要针对高清和超高清分辨率视频的压缩，相比于H.264/AVC标准具有优异性能，编码效率提高了一倍。预测过程在HEVC中占据着极其重要的作用。HEVC分为帧内编码和帧间编码两种。对于帧内编码，它采用的是四叉树划分结构来编码视频。最大的编码单元大小是64x64，每一个64x64的编码单元可以划分为4个32x32的编码单元，然后递归划分直至最小尺寸为8x8。对于预测单元来说，它的大小等于编码单元大小。只有当编码单元划分至8x8时，预测单元大小可以是8x8或者4x4。对于每一个预测单元，他有35种帧内模式进行预测。其中模式0是Planar，适用于均匀光滑的区域。模式1是DC，适用于渐变平滑的区域。模式2到模式34是33种角度模式。随着3D视频技术的进步，3D行业迅速兴起。基于HEVC的3D视频编码作为HEVC标准的扩展部分，其标准已于2015年2月最终确定。3D-HEVC采用的是多视点加深度图的格式来进行3D视频编码。这仅需编码2到3个视点以及相应的深度图就可以编码3D视频。深度图的特点与普通视图截然不同，它具有光滑的大片区域和锐利的边界。3D-HEVC作为HEVC的扩展版本，其帧内编码仍延续使用HEVC的四叉树划分结构。与HEVC不同的是，3D-HEVC中深度图的预测单元是NxN，其中N最大等于32，最小等于4。为了满足深度图的特点，在原有的35种帧内模式的基础上，新加入了两种深度模式DMMs。一种是楔形划分模式DMM1，它通过边界上的像素点来确定明确的起点和终点。另外一种是廓形划分模式DMM4，它将普通视图四个角的像素平均值设置为门限，大于门限的像素点划分为一块，小于门限的像素点划分为一块，形成廓形划分。3D-HEVC深度图每个预测单元的帧内预测编码过程分为两部分：粗选和细选。其中：粗选计算流程：先计算每个预测单元在35种普通帧内模式下的代价值，得到粗选代价值最小的3到8种模式，将其加入最佳模式候选列表中。若当前预测单元最佳模式候选列表中最小代价值对应的模式不是模式0或该预测单元的像素值方差大于阈值，则计算当前预测单元的两种深度模式的代价值，并将其加入最佳模式候选列表中；否则跳过深度模式的计算。细选计算流程：计算当前预测单元最佳模式候选列表中的所有模式，得到代价值最小的一种模式作为最佳模式，该代价值将作为当前预测单元的最终代价，并用以进行层级划分比较。3D-HEVC对于层级划分采用的是递归四叉树划分结构，如图1所示。最大预测单元为32x32，允许其在编码中不断的递归划分为四个等大小的子预测单元，直到划分到最小预测单元4x4为止。其具体过程可以理解为一个深度优先搜索的迭代过程。首先对NxN(N＝32)大小的预测单元进行预测编码，再确定其最佳预测模式和最终代价；其次，划分其为四个子预测单元，将N更新为N/2，并进行依次处理。在处理中，对每个子预测单元，进行预测编码和再次划分及处理，直到N等于4时停止划分。需要说明的是，每次处理完四个子模块后，需要进行比较其未划分情况下模块的最终代价和划分情况下四个子模块的最终代价，以选择最佳划分情况。由于3D-HEVC采用的是递归四叉树划分，每个预测单元遍历37种模式，这使得预测编码复杂度很大。目前已有的降低HEVC帧内预测编码复杂度的方法大致分为两类，一类是基于层的方法，另一类是基于模式的方法。而3D-HEVC深度图预测编码不能直接使用这些方法来降低预测编码复杂度。已有的基于3D-HEVC深度图帧内预测编码的方法都是从模式的角度出发，如减少DMMs模式的计算量或者直接跳过DMMs等。这类方法降低的预测编码复杂度少，不能满足实际应用的要求。
技术实现思路
本专利技术的目的在于提出一种基于层的3D-HEVC深度图帧内预测编码的方法，以减少预测编码的复杂度，提高编码速度。本专利技术的技术方案是这样实现的：在3D-HEVC现有的参考软件HTM13.0上进行修改，以实现基于层的快速编码，即根据帧内预测编码的粗选过程中，普通帧内模式计算得到的最小代价值来判断当前层的深度模式和细选过程是否执行；根据帧内预测编码的粗选过程中，普通帧内模式计算得到的最小代价值和楔形划分模式计算得到的最小代价值来判断当前层的细选过程是否执行。根据判断粗选结果得到的最佳模式候选列表中，代价值最小的模式是否为模式0，来确定细选过程是否只计算模式0。根据细选得到的最佳代价值来判断是否做后续的几层粗选和细选。根据上述思路，本专利技术的实现步骤包括如下：(1)初始化：创建六个空的txt文件；创建18个门限，即帧内模式门限TEi、深度模式门限TDi、跳过深度模式门限TSi、细选门限TRi、01模式门限T0i、其他模式门限TLi；i＝1、2、3，其中i＝1表示大小为32x32的预测单元、i＝2表示大小为16x16的预测单元、i＝3表示大小为8x8的预测单元；(2)统计测试序列的一个编码周期中第一帧视频的数据结果，该数据结果包括每个预测单元经过粗选得到的最佳模式候选列表中代价值最小的模式MI及其相应代价值JSATD，每个预测单元在楔形划分模式DMM1下的代价值JSSE，每个预测单元经过细选得到的最佳预测模式MR及其相应代价值JRD；(3)把统计得到的数据根据当前预测单元划分结果及当前预测单元的大小，分类存放在已创建的6个txt文件中；(4)根据第一帧视频中同一大小预测单元的最佳模式候选列表中最小代价值JSATD，计算第一帧视频的粗选帧内命中率HN，当HN＝75％时分别得到帧内模式门限TEi，当HN＝90％时分别得到跳过深度模式门限TSi；(5)根据第一帧视频中同一大小预测单元的楔形划分模式DMM1下的代价值JSSE，计算第一帧视频的粗选深度模式命中率HD，当HD＝85％时分别得到深度模式门限TDi；(6)根据第一帧视频中同一大小预测单元的细选最佳代价JRD值，计算出第一帧视频的细选命中率HR；当HR＝80％时得到细选门限TR1，当HR＝90％时得到细选门限TR2，当HR＝99％时得到细选门限TR3；(7)根据细选的最佳模式MR的类型，设置01模式门限T01i和其他细选门限TLi：若细选本文档来自技高网...

【技术保护点】
基于层的3D‑HEVC深度图帧内预测编码方法，是在已有的3D‑HEVC软件测试平台HTM13.0的基础上修改实现，其步骤包括如下(1)初始化：创建六个空的txt文件；创建18个门限，即帧内模式门限TEi、深度模式门限TDi、跳过深度模式门限TSi、细选门限TRi、01模式门限T0i、其他模式门限TLi；i＝1、2、3，其中i＝1表示大小为32x32的预测单元、i＝2表示大小为16x16的预测单元、i＝3表示大小为8x8的预测单元；(2)统计测试序列的一个编码周期中第一帧视频的数据结果，该数据结果包括每个预测单元经过粗选得到的最佳模式候选列表中代价值最小的模式MI及其相应代价值JSATD，每个预测单元在楔形划分模式DMM1下的代价值JSSE，每个预测单元经过细选得到的最佳预测模式MR及其相应代价值JRD；(3)把统计得到的数据根据当前预测单元划分结果及当前预测单元的大小，分类存放在已创建的6个txt文件中；(4)根据第一帧视频中同一大小预测单元的最佳模式候选列表中最小代价值JSATD，计算第一帧视频的粗选帧内命中率HN，当HN＝75％时分别得到帧内模式门限TEi，当HN＝90％时分别得到跳过深度模式门限TSi；(5)根据第一帧视频中同一大小预测单元的楔形划分模式DMM1下的代价值JSSE，计算第一帧视频的粗选深度模式命中率HD，当HD＝85％时分别得到深度模式门限TDi；(6)根据第一帧视频中同一大小预测单元的细选最佳代价JRD值，计算出第一帧视频的细选命中率HR；当HR＝80％时得到细选门限TR1，当HR＝90％时得到细选门限TR2，当HR＝99％时得到细选门限TR3；(7)根据细选的最佳模式MR的类型，设置01模式门限T01i和其他细选门限TLi：若细选的最佳模式MR为模式0或模式1时，则设01模式门限T01i为细选门限TRi，即T01i＝TRi；若细选的最佳模式MR为模式2到模式38时，则根据这些模式下的同一大小预测单元细选的最佳代价JRD计算出其他模式命中率HL；HL＝80％时得到其他模式门限TL1，HL＝90％时得到其他模式门限TL2，HL＝99％时得到其他模式门限TL3；(8)对预测单元进行粗选：(8a)计算当前预测单元35种普通帧内预测模式的代价值，找到普通帧内预测模式的最小代价值JSATD，执行步骤(8b)；(8b)当预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的跳过深度模式门限TSi时，跳出当前预测单元，进入其子预测单元，返回步骤(8a)；否则将35种普通帧内预测模式中代价值最小的3或8种模式加入最佳模式候选列表中，计算当前预测单元的深度模式的代价值，并记录深度模式中楔形划分模式DMM1的代价值JSSE，执行步骤(8c)；(8c)当楔形划分模式DMM1的代价值JSSE大于相同大小预测单元的深度模式门限TDi或深度预测模式不计算时，且预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的帧内模式门限TEi时，跳出当前预测单元，进入其子预测单元，返回步骤(8a)；否则，将两个深度模式加入最佳模式候选列表中，执行步骤(9)；(9)对预测单元进行细选：(9a)当最佳模式候选列表中代价值最小的模式MI为模式0，且没有计算当前预测单元的深度预测模式，则细选时只计算模式0作为最佳模式MR，并把其代价值作为细选最小代价JRD；否则计算最佳模式候选列表中的全部模式的代价，选出细选最小代价JRD，其对应模式为最佳模式MR，执行步骤(9b)；(9b)当细选最佳模式MR是模式0或模式1且细选最佳代价JRD小于相同大小预测单元01模式门限时，或MR>＝2且JRD小于相同大小预测单元其他模式门限时，跳过其所有子预测单元的计算过程，执行步骤(9c)；否则进入当前预测单元的子预测单元，返回步骤(8)；(9c)判断当前最大预测单元是否完成所有预测处理。若有，则进入下一个预测单元，返回步骤(8)，若无，则进入步骤(9d)；(9d)判断当前编码帧中是否还有未编码的预测单元，若有，则设N＝32并返回步骤(8a)，若无，则进入步骤(10)。(10)更新编码周期(10a)判断编码帧周期中是否存在待编码帧，若本编码帧周期中还有待编码帧，则返回步骤8，对下一帧进行预测编码，否则执行步骤(10b)；(10b)判断所有编码帧是否全部预测编码结束，若仍有待编码帧，则返回步骤(2)，进入下一个编码周期；否则结束编码。...

【技术特征摘要】
1.基于层的3D-HEVC深度图帧内预测编码方法，是在已有的3D-HEVC软件测试
平台HTM13.0的基础上修改实现，其步骤包括如下
(1)初始化：
创建六个空的txt文件；
创建18个门限，即帧内模式门限TEi、深度模式门限TDi、跳过深度模式门限
TSi、细选门限TRi、01模式门限T0i、其他模式门限TLi；i＝1、2、3，其中i＝1表示大
小为32x32的预测单元、i＝2表示大小为16x16的预测单元、i＝3表示大小为8x8的预
测单元；
(2)统计测试序列的一个编码周期中第一帧视频的数据结果，该数据结果包括
每个预测单元经过粗选得到的最佳模式候选列表中代价值最小的模式MI及其相应代
价值JSATD，每个预测单元在楔形划分模式DMM1下的代价值JSSE，每个预测单元经
过细选得到的最佳预测模式MR及其相应代价值JRD；
(3)把统计得到的数据根据当前预测单元划分结果及当前预测单元的大小，分
类存放在已创建的6个txt文件中；
(4)根据第一帧视频中同一大小预测单元的最佳模式候选列表中最小代价值
JSATD，计算第一帧视频的粗选帧内命中率HN，当HN＝75％时分别得到帧内模式门限
TEi，当HN＝90％时分别得到跳过深度模式门限TSi；
(5)根据第一帧视频中同一大小预测单元的楔形划分模式DMM1下的代价值
JSSE，计算第一帧视频的粗选深度模式命中率HD，当HD＝85％时分别得到深度模式门
限TDi；
(6)根据第一帧视频中同一大小预测单元的细选最佳代价JRD值，计算出第一
帧视频的细选命中率HR；当HR＝80％时得到细选门限TR1，当HR＝90％时得到细选门
限TR2，当HR＝99％时得到细选门限TR3；
(7)根据细选的最佳模式MR的类型，设置01模式门限T01i和其他细选门限
TLi：
若细选的最佳模式MR为模式0或模式1时，则设01模式门限T01i为细选门限

\tTRi，即T01i＝TRi；
若细选的最佳模式MR为模式2到模式38时，则根据这些模式下的同一大小预
测单元细选的最佳代价JRD计算出其他模式命中率HL；HL＝80％时得到其他模式门限
TL1，HL＝90％时得到其他模式门限TL2，HL＝99％时得到其他模式门限TL3；
(8)对预测单元进行粗选：
(8a)计算当前预测单元35种普通帧内预测模式的代价值，找到普通帧内预测
模式的最小代价值JSATD，执行步骤(8b)；
(8b)当预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的
跳过深度模式门限TSi时，跳出当前预测单元，进入其子预测单元，返回步骤(8a)；
否则将35种普通帧内预测模式中代价值最小的3或8种模式加入最佳模式候选列表
中，计算当前预测单元的深度模式的代价值，并记录深度模式中楔形划分模式DMM1
的代价值JSSE，执行步骤(8c)；
(8c)当楔形划分模式DMM1的代价值JSSE大于相同大小预测单元的深度模式
门限TDi或深度预测模式不计算时，且预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的帧内模式门限TEi时，跳出当前预测单元，进入其子预测单
元，返回步骤(8a)；否则，将两个深度模式加入最佳模式候选列表中，执行步骤(9)；
(9)对预测单元进行细选：
(9a)当最佳模式候选列表中代价值最小的模式MI为模式0，且没有计算当前预
测单元的深度预测模式，则细选时只计算模式0作为最佳模式MR，并把其代价值作
为细选最小代价JRD；否则计算最佳模式候选列表中的全部模式的代价，选出细选最
小代价JRD，其对应模式为最佳模式MR，执行步骤(9b)；
(9b)当细选最佳模式MR是模式0或模式1且细选最佳代价JRD小于相同大小
预测单元01模式门限时，或MR>＝2且JRD小于相同大小预测单元其他模式门限时，
跳过其所有子预测单元的计算过程，执行步骤(9c)；否则进入当前预测单元的子预
测单元，返回步骤(8)；
(9c)判断当前最大预测单元是否完成所有预测处理。若有，则进入下一个预测
单元，返回步骤(8)，若无，则进入步骤(9d)；
(9d)判断当前编码帧中是否还有未编码的预测单元，若有，则设N＝32并返回
步骤(8a)，若无，则进入步骤(10)。
(10)更新编码周期
(10a)判断编码帧周期中是否存在待编码帧，若本编码帧周期中还有待编码帧，
则返回步骤8，对下一帧进行预测编码，否则执行步骤(10b)；
(10b)判断所有编码帧是否全部预测编码结束，若仍有待编码帧，则返回步骤
(2)，进入下一个编码周期；否则结束编码。
2.根据权利要求1所述的基于层的3D-HEVC深度图帧内预测编码方法，其中步
骤(4)中粗选帧内命中率HN，按如下公式计算:
H N = N 1 ( J S A T D > T ) N 1 ( J S A T D > T ) + N 2 ( J S A T...

【专利技术属性】
技术研发人员：王柯俨，郭瑞雪，何刚，李云松，胡静，刘培坤，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61