基于区域方向性离差和的视频帧内快速算法制造技术

用于在高效视频编码(HEVC)中基于区域方向性离差和来对视频帧进行编码单元(CU)划分的方法和产品。

A fast intra frame algorithm based on the sum of regional directional dispersion

【技术实现步骤摘要】
基于区域方向性离差和的视频帧内快速算法
本专利技术涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法、装置和计算机程序产品。
技术介绍
虚拟现实视频是用专业摄像机捕捉整个场景的图像信息，视频由软件拼接，由专用设备播放。它还为观看者提供了各种操作图像的功能，可以放大、缩小和向各个方向移动来观看场景，从而模拟和再现场景的真实环境。在虚拟现实系统中，多个摄像机捕获360度场景并将所有场景拼接成球形视频，从而创建360度视频。当我们对360度视频进行编码时，我们必须将球形视频投影到平面视频中以适应广泛使用的编码标准，例如H.264/AVC和H.265/高效视频编码(HEVC)。多种投影格式，如等矩形投影(ERP)，调整的等面积(AEP)，立方体贴图(CMP)，等角立方图(EAC)，截断方形金字塔(TSP)，紧凑八面体(COHP)，紧凑二十面体(CISP)已被提议。在这些格式中，ERP是一种简单且广泛使用的格式。它将经线映射到恒定间距的垂直线，将纬线映射到恒定间距的水平线，进而将球形视频转换为平面视频。然而，ERP投影格式导致拉伸和失真，并且两极区域特别严重，导致冗余度增加和编码效率降低。在本研究中，我们使用ERP投影格式来说明我们提出的算法。2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(JointcollaborativeTeamonVideoCoding)，一同开发高效视频编码HEVC(Highefficiencyvideocoding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。HEVC标准的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本专利技术的
技术介绍
。HEVC提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。在帧内预测模式和帧间预测模式中，HEVC都采用编码树单元(CTU)的编码结构，CTU是HEVC编解码的基本处理单元。CTU由1个亮度CTB、2个色度CTB和相应的语法元素组成。图2显示了在一个LCU(最大编码单元)编码后的CTU结构。在HEVC中，LCU可以只包含一个编码单元(CU)，也可以使用CTU四叉树结构划分出为不同大小的CU。HEVC中有四种大小CU，大小分别为：64x64、32x32、16x16和8x8。CU块越小，其在CTU树中位置越深。当CU为64x64、32x32和16x16时称为2Nx2N模式(表示可以划分为更小的CU)，当CU为8x8时称为NxN模式(表示不可以进行进一步划分)。对于帧内预测，CU被分成两个PartMode(2Nx2N和NxN)，这取决于它是否可以被分成更小的CU。尺寸为64x64、32x32和16x16的CU属于2N×2N，尺寸为8×8的CU属于N×N。在HEVC中，PU进行帧内帧间预测的基本单元，PU的划分是以CU为基础的，具有五种规则大小64x64、32x32、16x16、8x8和4x4。更具体地，PU尺寸基于PartMode：对于2N×2N的PartModePU尺寸与CU相同，对于N×N的PartModeCU可以被划分为四个4×4子PU。对于2N*2N的CU模式，帧内预测PU的可选模式包括2N*2N和N*N，帧间预测PU的可选模式有8种，包括4种对称模式(2N*2N，N*2N，2N*N，N*N)和4种非对称模式(2N*nU，2N*nD，nL*2N，nR*2N)，其中，2N*nU和2N*nD分别以上下1∶3、3∶1的比例划分，nL*2N和nR*2N分别以左右1∶3、3∶1的比例划分。在HEVC中，仍然继续使用H.264/AVC的拉格朗日率失真优化(RDO)进行模式选择，为每一个帧内模式计算其RDO：J＝D+λR其中，J为拉格朗日代价(亦即RD-cost)，D表示当前帧内模式的失真，R表示编码当前预测模式下所有信息所需的比特数，λ为拉格朗日因子。其中D通常使用绝对哈达玛变换差之和(SATD)来实现。处理一帧视频图像需要首先将其划分成多个LCU(64x64)，然后依次编码每个LCU。每个LCU依次递归划分，其通过计算当前深度的RD-cost判定是否继续划分。一个LCU最小可划分至8x8大小的单元，如图2所示。编码器通过比较深度的RD-cost值判定是否继续划分，如果当前深度内的4个子CU的编码代价总和大于当前CU，则不继续划分；反之则继续划分，直至划分结束。本领域技术人员容易理解，由于CTU是对LCU进行CU划分的树状编码结构，CTU中的CU划分方式是以LCU开始的，因此在本领域中这两个名词经常可交换地使用。在帧内预测中，每个PU使用总共35种预测模式。使用粗略模式决策(RMD)，我们可以获得64x64、32x32和16x16块的三种候选模式以及8x8和4x4块的八种候选模式。通过合并来自相邻块的最可能模式(MPM)来获得每个PU大小的最佳候选列表。然后，通过RDO来选择当前PU的最佳帧内预测模式。当完成当前CU中包括的所有PU的帧内预测时，完成当前CU的帧内预测。通过当前CU的RD-cost与当前CU及其4个子CU的四个子CU的总RD-cost之间的比较来选择具有较小RD-cost的次优CU内部预测完成。当完成所有CU分区时，完成当前CTU帧内预测。对于HEVC，当对LCU进行编码时，应当执行85个CU(一个64×64CU，四个32×32CU，十六个16×16CU和六十四个8×8CU)的帧内预测。当CU被编码时，应当执行一个PU或四个子PU的帧内预测。大量CU和PU导致帧内预测的高复杂性。WMSE是为评价360度视频质量而提出的一种质量评估指标。360度视频是一种球形视频，是360度视频和传统视频之间的最大差异。必须将360度视频投影到平面视频中，以根据HEVC标准对360度视频进行编码。虽然投影和传统视频是平面视频，但投影视频会导致失真并延伸到球形视频。因此，传本文档来自技高网...

【技术保护点】
1.一种在高效视频编码(HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法，所述方法包括：/n基于第一区域划分阈值和第二区域划分阈值，判断当前编码树单元(CTU)的最大编码单元(LTU)区域是第一区域、第二区域和第三区域中的哪个区域，其中，当前帧被划分为所述第一区域、所述第二区域和所述第三区域；/n从当前LTU开始，通过以下方式进行CU划分：/n基于所述当前CTU，来计算当前CU的方向性离差和；/n如果所计算的当前CU的方向性离差和大于用于所述当前CTU区域的第一阈值，则进行下一深度划分；或者/n如果所计算的当前CU的方向性离差和小于用于所述当前CTU区域的第二阈值，则提前终止划分；或者/n如果所计算的当前CU的方向性离差和小于用于所述当前CTU区域的第一阈值并大于用于所述当前CTU区域的第二阈值，则计算下一划分深度的RDcost和当前CU的RDcost，并基于所计算的下一划分深度的RDcost是否大于当前CU的RDcost，来决定是否进行下一深度划分；/n其中：/n针对所述第一区域，基于水平方向离差和以及垂直方向离差和，并利用特定于所述第一区域的第一组加权系数，来计算用于所述第一区域的方向性离差和；/n针对所述第二区域，基于上水平方向离差和、下水平方向离差和以及垂直方向离差和，并利用特定于所述第二区域的第二组加权系数，来计算用于所述第二区域的方向性离差和；/n针对所述第三区域，基于水平方向离差和以及垂直方向离差和，并利用特定于所述第三区域的第三组加权系数，来计算用于所述第三区域的方向性离差和。/n...

【技术特征摘要】
1.一种在高效视频编码(HEVC)中对虚拟现实360度视频帧进行编码单元(CU)划分的方法，所述方法包括：
基于第一区域划分阈值和第二区域划分阈值，判断当前编码树单元(CTU)的最大编码单元(LTU)区域是第一区域、第二区域和第三区域中的哪个区域，其中，当前帧被划分为所述第一区域、所述第二区域和所述第三区域；
从当前LTU开始，通过以下方式进行CU划分：
基于所述当前CTU，来计算当前CU的方向性离差和；
如果所计算的当前CU的方向性离差和大于用于所述当前CTU区域的第一阈值，则进行下一深度划分；或者
如果所计算的当前CU的方向性离差和小于用于所述当前CTU区域的第二阈值，则提前终止划分；或者
如果所计算的当前CU的方向性离差和小于用于所述当前CTU区域的第一阈值并大于用于所述当前CTU区域的第二阈值，则计算下一划分深度的RDcost和当前CU的RDcost，并基于所计算的下一划分深度的RDcost是否大于当前CU的RDcost，来决定是否进行下一深度划分；
其中：
针对所述第一区域，基于水平方向离差和以及垂直方向离差和，并利用特定于所述第一区域的第一组加权系数，来计算用于所述第一区域的方向性离差和；
针对所述第二区域，基于上水平方向离差和、下水平方向离差和以及垂直方向离差和，并利用特定于所述第二区域的第二组加权系数，来计算用于所述第二区域的方向性离差和；
针对所述第三区域，基于水平方向离差和以及垂直方向离差和，并利用特定于所述第三区域的第三组加权系数，来计算用于所述第三区域的方向性离差和。


2.如权利要求1所述的方法，其中，所述第一区域是两极区域，第三区域是赤道区域，所述第二区域是夹在所述第一区域与所述第二区域之间的中纬度区域。


3.如权利要求1-2中任一项所述的方法，其中，所述第一区域、所述第二区域和所述第三区域是基于采用如下公式计算的权重w来计算的：



其中，N为CTU高度，i和j为像素坐标。


4.如权利要求1-3中任一项所述的方法，其中，基于所计算的权重w与所述第一区域阈值或所述第二区域阈值的比较来划分所述第一区域、所述第二区域和所述第三区域。


5.如权利要求1-4中任一项所述的方法，其中，所述第...

【专利技术属性】
技术研发人员：刘志，张萌萌，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京;11