360度视频的快速样点自适应补偿制造技术

一种在高效视频编码(HEVC)中针对360度视频的SAO的方法，包括：对360度视频执行ERP投影，以获得ERP投影视频；对所述ERP投影视频中的当前帧的CTU执行帧内预测或帧间预测，以确定最佳RD‑cost；将所述CTU的RD‑cost与阈值进行比较以判断是否执行SAO，其中，所述阈值是至少部分地基于针对所述ERP投影视频的量化参数和ERP投影权重来确定的，并且其中，所述ERP投影权重是至少部分地基于所述ERP投影视频的高度中的CTU数量以及所述CTU在所述ERP投影视频的当前帧中的位置来确定的。

Fast Sample Adaptive Compensation for 360 Degree Video

A method of SAO for 360-degree video in efficient video coding (HEVC) includes: performing ERP projection on 360-degree video to obtain ERP projected video; performing intra-frame prediction or inter-frame prediction on the CTU of the current frame in the ERP projected video to determine the optimal RD_cost; and comparing the RD_cost of the CTU with the threshold to determine whether SAO is executed, where the threshold is to A few are determined based on quantization parameters and ERP projection weights for the ERP projected video, and the ERP projection weights are determined at least in part based on the number of CTUs in the height of the ERP projected video and the position of the CTU in the current frame of the ERP projected video.

【技术实现步骤摘要】
360度视频的快速样点自适应补偿
本专利技术涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(HEVC)中针对360度视频的快速样点自适应补偿(SAO)。
技术介绍
2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(JointcollaborativeTeamonVideoCoding)，一同开发高效视频编码HEVC(Highefficiencyvideocoding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。HEVC标准[4]的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本专利技术的
技术介绍
。在HEVC中，由于仍然使用基于块的混合编码框架，因此仍然需要处理方块效应、振铃效应等等。为了降低此类失真对视频质量的影响，HEVC采用了环路滤波技术(In-loopfiltering)，其包括去方块滤波(Deblockingfiltering)和像素样本自适应补偿(DampleAdaptiveOffset，SAO)。SAO是HEVC的许多新技术之一[5]。如图1所示，SAO位于去块滤波器之后。SAO对每个编码树单元(CTU)的每个像素进行分类和统计，计算补偿值，选择最佳SAO类型，并且将SAO类型和补偿值写入码流中。然后，将偏移值添加到重构帧的每个像素，以减少重建帧与原始帧之间的失真。SAO可以显着提高主客观视频质量[5]。SAO主要由三部分组成：统计收集，SAO类型决策和SAO过滤，如图2所示。统计收集：SAO主要有两种需要统计收集过程的偏移类型：边界补偿(EO)和边带补偿(BO)。对于EO类型，有四种EO子类型(EO0°，EO90°，EO135°和EO45°)。根据分类规则对每个EO子类型进行分类，并计算每个类别中的像素数和失真总和。对于BO类型，像素强度被等分为32个边带，并且根据分类规则对32个边带进行分类，并且计算每个类别中的像素数和失真总和。EO和BO的分类规则如图2所示。SAO类型决策：可以选择四种SAO类型：EO，BO，OFF和MERGE，其中，OFF表示不应用SAO，其在视频码流中通过一个开关参数来实现，MERGE表示对于一个块，其SAO参数直接使用上方或左侧的块的SAO，这时只需要标识采用了哪个相邻块的SAO参数即可。根据统计收集的信息，SAO类型决策通过快速率失真优化(RDO)过程[6]计算每个SAO类型的最优补偿值，并选择最优SAO类型。SAO滤波：根据获得的最佳SAO类型和偏移值对CTU的每个像素进行分类和补偿。图2显示SAO过程由三部分组成：统计收集，SAO类型决策和SAO过滤。[16]研究了各部分的计算复杂度。结果表明，统计收集约占SAO总处理时间的82％，SAO类型决策和SAO滤波分别为11％和7％。复杂的统计收集过程是制约SAO处理速度的主要因素。在虚拟现实系统中，多个摄像头用于捕捉360度场景，随后拍摄的场景被拼接成球形格式的360度视频。用户可以通过头戴式设备自由观看360度场景中的任何场景显示(HMD)并获得身临其境的体验[1]。360度视频是一种新的视频编码内容。虽然360度视频是在HEVC标准提出之后才流行的并且360度视频是球形视频，但是[2]已经提出了HEVC标准下的360度视频编码框架。在典型的360度视频压缩框架中，球形视频需要在编码前转换为平面视频，平面视频需要在编码后转换为球形视频[3]。转换方式称为投影。已经提出了多种投影格式，例如，等矩形投影(ERP)，调整的等面积投影(AEP)，立方体投影(CMP)，等角立方图投影(EAC)，截断正方形金字塔投影(TSP)，紧凑的八面体投影(COHP)，紧凑二十面体投影(CISP)等。当选择ERP作为投影格式时，360度视频的编码过程包括：将原始视频投影为ERP投影格式，并对ERP投影视频执行编解码，将ERP投影格式的重建视频重新反投影为重建的视频。投影过程对于360度视频编码是必不可少的。作为中间格式的投影格式影响360度视频的编码性能。实际上，目前尚未确定哪种投影格式具有最佳编码性能。但是，ERP被广泛使用，是360度视频的默认格式。因此，本文主要研究ERP投影格式的特点。与平面视频相比，360度视频具有不同的特征，现有的SAO快速算法的最佳参数和过程不适用于360度视频。在本申请中，基于360度视频的特点，提出了一种针对360度视频的快速SAO算法。本申请是是对现有HEVC协议的改进，为了使得本领域技术人员能够充分理解本专利技术，以下附上了本申请中提及的多种概念的引用文献，这些文献被整体上并入本文并作为本申请说明书的一部分。1.B.Luo，F.Xu，C.RichardtandJ.Yong，″Parallax360：Stereoscopic360°SceneRepresentationforHead-MotionParallax，″inIEEETransactionsonVisualizationandComputerGraphics，vol.24，no.4，pp.1545-1553，April2018.2.Y.Y，E.Alshina，J.Boyce，“Algorithmdescriptionsofprojectionformatconversionandvideoqualitymetricsin360Lib”，JointVideoExplorationTeamofITU-TSG16WP3andISO/IECJTC1/SC29/WG11，JVET-H1004，7thMeeting，July2017.3.W.Zou，F.YangandS.Wan，″Perceptualvideoqualitymetricforcompressionartefacts：fromtwo-dimensionaltoomnidirectional，″inIETInageProcessing，vol.12，no.3，pp.374-381，32018.4.Sullivan，GaryJ.，etal.″Overviewofthehighefficiencyvideocoding(HEVC)standard.″CircuitsandSystemsforVideoTechnology，IEEETransactionson22.12(2012)：1649-1668.5.C.-M.Fu，本文档来自技高网...

【技术保护点】
1.一种在高效视频编码(HEVC)中针对360度视频的样点自适应补偿(SAO)的方法，包括：对所述360度视频执行投影，以获得投影视频；对所述投影视频中的当前帧的编码树单元(CTU)执行帧内预测或帧间预测，以确定最佳RD‑cost；将所述CTU的RD‑cost与阈值进行比较以判断是否执行SAO，其中，所述阈值是至少部分地基于针对所述投影视频的量化参数和投影权重来确定的，并且其中，所述投影权重是至少部分地基于所述投影视频的高度中的CTU数量以及所述CTU在所述投影视频的当前帧中的位置来确定的。

【技术特征摘要】
1.一种在高效视频编码(HEVC)中针对360度视频的样点自适应补偿(SAO)的方法，包括：对所述360度视频执行投影，以获得投影视频；对所述投影视频中的当前帧的编码树单元(CTU)执行帧内预测或帧间预测，以确定最佳RD-cost；将所述CTU的RD-cost与阈值进行比较以判断是否执行SAO，其中，所述阈值是至少部分地基于针对所述投影视频的量化参数和投影权重来确定的，并且其中，所述投影权重是至少部分地基于所述投影视频的高度中的CTU数量以及所述CTU在所述投影视频的当前帧中的位置来确定的。2.如权利要求1所述的方法，进一步包括：如果判定不执行SAO，则至少不对所述CTU执行边界补偿(EO)和边带补偿(BO)；如果判定执行SAO，则针对对所述CTU执行OFF或MERGE操作之一。3.如权利要求1或2所述的方法，其中，所述阈值至少部分地基于以下至少一项：所述投影权重的以2为底的对数，或所述量化参数的e的幂，或其组合。4.如权利要求1-3中任一项所述的方法，其中，仅针对所述投影视频中的上方1/4和下方1/4的高度，将所述CTU的RD-cost与阈值进行比较以判断是否执行SAO。5.一种高效视频编码(HEVC)硬件编码器，其适于针对360度视频的样点自适应补偿(SAO)，所述编码器被配置为：对所述360度视频执行投影，以获得投影视频；对所述投影视频中的当前帧的编码树单元(CTU)执行帧...

【专利技术属性】
技术研发人员：张萌萌，刘志，岳文，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京,11