一种用于基于高效视频编码(HEVC)而对视频帧进行帧内预测的方法。当当前CU的PartMode为2N×2N时，获取当前CU与其4个子CU的8×8的预测像素采样块，并计算第一指标(SIMI)，所述第一指标表示子块和母块之间的相似度，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第一指标小于第一阈值(T1)，则提前结束当前CU的帧内预测；或者当当前CU的PartMode为N×N时，获取当前CU的8×8原始像素块和预测像素块，并且计算第二指标(DIST)，所述第二指标表示当前CU的失真，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第二指标小于第二阈值(T2)，则提前结束当前CU的帧内预测。
Fast Intra Prediction of 360 Degree Video Based on WMSE
【技术实现步骤摘要】
基于WMSE的360度视频快速帧内预测算法联合研究本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。
本专利技术涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(HEVC)中对360度虚拟现实视频进行快速帧内预测的方法、装置和计算机程序产品。
技术介绍
虚拟现实视频是用专业摄像机捕捉整个场景的图像信息，视频由软件拼接，由专用设备播放。它还为观看者提供了各种操作图像的功能，可以放大、缩小和向各个方向移动来观看场景，从而模拟和再现场景的真实环境。在虚拟现实系统中，多个摄像机捕获360度场景并将所有场景拼接成球形视频，从而创建360度视频。当我们对360度视频进行编码时，我们必须将球形视频投影到平面视频中以适应广泛使用的编码标准，例如H.264/AVC和H.265/高效视频编码(HEVC)。多种投影格式，如等矩形投影(ERP)，调整的等面积(AEP)，立方体贴图(CMP)，等角立方图(EAC)，截断方形金字塔(TSP)，紧凑八面体(COHP)，紧凑二十面体(CISP)已被提议。在这些格式中，ERP是一种简单且广泛使用的格式。它将经线映射到恒定间距的垂直线，将纬线映射到恒定间距的水平线，进而将球形视频转换为平面视频。然而，ERP投影格式导致拉伸和失真，并且两极区域特别严重，导致冗余度增加和编码效率降低。在本研究中，我们使用ERP投影格式来说明我们提出的算法。2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(JointcollaborativeTeamonVideoCoding)，一同开发高效视频编码HEVC(Highefficiencyvideocoding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。HEVC标准的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本专利技术的
技术介绍
。HEVC提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。在帧内预测模式和帧间预测模式中，HEVC都采用编码树单元(CTU)的编码结构，CTU是HEVC编解码的基本处理单元。CTU由1个亮度CTB、2个色度CTB和相应的语法元素组成。图2显示了在一个LCU编码后的CTU结构。在HEVC中，LCU可以只包含一个编码单元(CU)，也可以使用CTU四叉树结构划分出为不同大小的CU。HEVC中有四种大小CU，大小分别为：64x64、32x32、16x16和8x8。CU块越小，其在CTU树中位置越深。当CU为64x64、32x32和16x16时称为2Nx2N模式(表示可以划分为更小的CU)，当CU为8x8时称为NxN模式(表示不可以进行进一步划分)。对于帧内预测，CU被分成两个PartMode(2Nx2N和NxN)，这取决于它是否可以被分成更小的CU。尺寸为64x64、32x32和16x16的CU属于2N×2N，尺寸为8×8的CU属于N×N。在HEVC中，PU进行帧内帧间预测的基本单元，PU的划分是以CU为基础的，具有五种规则大小64x64、32x32、16x16、8x8和4x4。更具体地，PU尺寸基于PartMode：对于2N×2N的PartModePU尺寸与CU相同，对于N×N的PartModeCU可以被划分为四个4×4子PU。对于2N*2N的CU模式，帧内预测PU的可选模式包括2N*2N和N*N，帧间预测PU的可选模式有8种，包括4种对称模式(2N*2N，N*2N，2N*N，N*N)和4种非对称模式(2N*nU，2N*nD，nL*2N，nR*2N)，其中，2N*nU和2N*nD分别以上下1∶3、3∶1的比例划分，nL*2N和nR*2N分别以左右1∶3、3∶1的比例划分。在HEVC中，仍然继续使用H.264/AVC的拉格朗日率失真优化(RDO)进行模式选择，为每一个帧内模式计算其RDO：J＝D+λR其中，J为拉格朗日代价(亦即RD-cost)，D表示当前帧内模式的失真，R表示编码当前预测模式下所有信息所需的比特数，λ为拉格朗日因子。其中D通常使用绝对哈达玛变换差之和(SATD)来实现。在帧内预测中，每个PU使用总共35种预测模式。使用粗略模式决策(RMD)，我们可以获得64x64、32x32和16x16块的三种候选模式以及8x8和4x4块的八种候选模式。通过合并来自相邻块的最可能模式(MPM)来获得每个PU大小的最佳候选列表。然后，通过RDO来选择当前PU的最佳帧内预测模式。当完成当前CU中包括的所有PU的帧内预测时，完成当前CU的帧内预测。通过当前CU的RD-cost与当前CU及其4个子CU的四个子CU的总RD-cost之间的比较来选择具有较小RD-cost的次优CU内部预测完成。当完成所有CU分区时，完成当前CTU帧内预测。对于HEVC，当对LCU进行编码时，应当执行85个CU(一个64×64CU，四个32×32CU，十六个16×16CU和六十四个8×8CU)的帧内预测。当CU被编码时，应当执行一个PU或四个子PU的帧内预测。大量CU和PU导致帧内预测的高复杂性。WMSE是为评价360度视频质量而提出的一种质量评估指标。360度视频是一种球形视频，是360度视频和传统视频之间的最大差异。必须将360度视频投影到平面视频中，以根据HEVC标准对360度视频进行编码。虽然投影和传统视频是平面视频，但投影视频会导致失真并延伸到球形视频。因此，传统视频的客观质量评估度量(PSNR)不适合于投影视频。加权球面(WS)-PSNR被提出作为投影视频的客观质量评估度量。WS-PSNR的好处是改进了用于360度视频的PSNR计算失真方法，用WMSE取代了MSE：WMSE＝weight(i，j)×MSE本文档来自技高网...
【技术保护点】
1.一种用于基于高效视频编码(HEVC)而对视频帧进行帧内预测的方法，所述方法包括：确定当前编码块(CU)的PartMode；当当前CU的PartMode为2N×2N时：获取当前CU与其4个子CU的8×8的预测像素采样块，并计算第一指标(SIMI)，所述第一指标表示子块和母块之间的相似度，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第一指标小于第一阈值(T1)，则提前结束当前CU的帧内预测；或者当当前CU的PartMode为N×N时：获取当前CU的8×8原始像素块和预测像素块，并且计算第二指标(DIST)，所述第二指标表示当前CU的失真，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第二指标小于第二阈值(T2)，则提前结束当前CU的帧内预测。
【技术特征摘要】
1.一种用于基于高效视频编码(HEVC)而对视频帧进行帧内预测的方法，所述方法包括：确定当前编码块(CU)的PartMode；当当前CU的PartMode为2N×2N时：获取当前CU与其4个子CU的8×8的预测像素采样块，并计算第一指标(SIMI)，所述第一指标表示子块和母块之间的相似度，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第一指标小于第一阈值(T1)，则提前结束当前CU的帧内预测；或者当当前CU的PartMode为N×N时：获取当前CU的8×8原始像素块和预测像素块，并且计算第二指标(DIST)，所述第二指标表示当前CU的失真，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第二指标小于第二阈值(T2)，则提前结束当前CU的帧内预测。2.如权利要求1所述的方法，其中，所述第一指标是基于当前CU的8×8的采样块与当前CU的四个子CU的8×8的采样块的WMSE的。3.如权利要求1所述的方法，其中，所述第二指标是基于当前CU的原始像素和预测像素的差值的。4.如权利要求1-3中任一项所述的方法，其中，所述第一指标和所述第二指标还是基于投影视频的权重的。5.如权利要求1-4中任一项所述的方法，其中，所述方法用于对360度视频的投影视频进行编码。6.如权利要求1-5中任一项...
【专利技术属性】
技术研发人员：张萌萌，刘志，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。