在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置制造方法及图纸

本发明专利技术公开了一种在图像或视频编解码器中进行帧内预测滤波的方法和装置。该方法包括：接收与当前块相关的输入数据(1110)；确定属于该当前块的可用帧内预测模式集的当前帧内预测模式(1120)；根据该当前帧内预测模式，基于当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块(1130)；根据基于该当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到该帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序(1140)；使用该已滤波帧内预测块作为当前块的预测子，将帧内预测编码或者解码应用到所述当前块(1150)。

【技术实现步骤摘要】
【国外来华专利技术】在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置优先权声明本专利技术要求在2015年11月18日提出的申请号为62/256,740号的美国临时专利申请的优先权。本专利技术也与2015年12月4日提出的PCT申请号为PCT/CN2015/096407的PCT专利申请相关，其要求在2014年12月11日提出的申请号为62/090,625美国临时专利申请的优先权。上述美国临时专利申请和PCT专利申请整体以引用方式并入本文中。
本专利技术涉及视频编解码。具体地，本专利技术涉及使用帧内预测滤波器以提高帧内预测的编解码效率的高级帧内预测。
技术介绍
数字视频编解码标准的进步已形成了十几年诸如智能手机、数字电视和数码相机的多媒体系统的成功。在H.261、MPEG-1、MPEG-2、H.263、MPEG-4以及H.264/AVC的标准活动之后，由于更大的图像分辨率、更高的帧率以及更好的视频质量的要求，提升视频压缩性能的需求仍然很强烈。因此，各种标准活动已被采用以研发可以提供比H.264/AVC更好的编解码效率的新的视频编解码技术。特别的，基于基于混合块的运动补偿变换编解码体系结构的高效视频编码(High-EfficiencyVideoCoding，HEVC)标准已被发展。高效视频编码是由视频编码联合合作小组(JointCollaborativeTeamonVideoCoding，JCT-VC)研发的新国际视频编解码标准。HEVC是基于基于混合块的运动补偿类离散余弦变换(discretecosinetransform，DCT)变换编解码架构。用于压缩的基本单元，称为编码单元(codingunit，CU)，是2N×2N的方形块。编码单元可以开始于最大编码单元(largestCU，LCU)，其也称为HEVC中的编码树单元(codedtreeunit，CTU)，并且每个编码单元可以被递归地分割成更小的四个编码单元，直到达到于定义的最小尺寸。一旦完成编码单元的层次树分割，根据预测类型和预测单元(predictionunit，PU)分割，每个编码单元被进一步分割为一个或多个预测单元。每个编码单元或者每个编码单元的残差被分割为变换单元(transformunit，TU)的树，以应用例如离散余弦变换或离散正弦变换(discretesinetransform，DST)的2D变换。通常，编码树单元包括一个亮度编码树块(codingtreeblock，C变换块)和两个对应的色度编码树块，一个编码单元包括一个亮度编码块(codingblock，CB)和两个对应的色度编码块，一个预测单元包括一个亮度预测块(predictionblock，PB)和两个对应的色度预测块，以及一个变换单元包括一个亮度变换块(transformblock，TB)和两个对应的色度变换块。然而，特例可以发生，因为用于亮度和色度的最小变换块尺寸均是4x4(即，没有4:2:0的色彩格式支持的2x2色度变换块)，并且每个帧内色度编码块总是仅具有一个帧内色度预测块，而不管对应的帧内亮度编码块中帧内亮度预测块的数量如何。对于帧内编码单元，亮度编码块可以由四个亮度预测块中的一个进行预测，并且两个色度编码块中的每个总是由一个色度预测块进行预测，其中每个亮度预测块具有一个帧内亮度预测模式，并且两个色度预测块共享一个帧内色度预测模式。此外，对于帧内编码单元，变换块尺寸不能大于预测块尺寸。在每个预测块中，帧内预测被应用以预测来自于变换块的相邻重构样本的预测块内的每个变换块的样本。对于每个预测块，除了33种方向帧内预测模式之外，DC模式和平面模式还被支持以分别预测平坦区域和渐变区域。对于每个帧间预测单元，包括帧间、跳过和合并的三种预测模式中一种可以被选择。一般来讲，运动向量竞争(motionvectorcompetition，MVC)机制被引入以自包括空间运动候选和时间运动候选的给定候选集选择一运动候选。对运动估计的多个参考允许在两个可能的重构参考图像列表(即列表0和列表1)中查找最佳参考。对于帧间模式(非正式地称为AMVP模式，其中AMVP表示高级运动矢量预测)，帧间预测标识符(列表0、列表1或者双向预测)、参考索引、运动候选索引、运动向量差(motionvectordifferences，MVD)和预测残差均被发送。至于跳过模式和合并模式，仅合并索引被发送，并且当前预测单元继承来自于由编解码合并索引参考的相邻预测单元的帧间预测标识符、参考索引和运动向量。在跳过编解码编码单元的情况下，残差信号也被忽略。量化、熵编解码和去块滤波器(deblockingfilter，DF)也在HEVC的编解码环路(loop)中。这三个模块的基础操作与在H.264/AVC中的那些操作概念上相似，但是具体细节不同。样本自适应偏移(Sampleadaptiveoffset，SAO)是在应用去块滤波器之后的新的环路滤波技术。样本自适应偏移的目标在于通过将去块样本分类成不同类别并将偏移添加到每个类别的去块样本中而降低样本失真。图1示出了包括基于HEVC的环路处理的示例性自适应帧间/帧内视频编解码系统。对于帧间预测，运动估算(MotionEstimation，ME)/运动补偿(MotionCompensation，MC)112用于基于来自其他一个或多个图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也被称作残差。随后，预测误差由变换(Transform，T)118处理，接着由量化(Quantization，Q)120处理。然后已变换且已量化残差由熵编码器122编码以被包括在对应于已压缩视频数据的视频比特流中。随后，与变换系数相关的比特流与辅助信息(sideinformation)一起打包，例如，运动、编解码模式以及与图像区域相关的其他信息。辅助信息还可以通过熵编解码进行压缩以降低所需的带宽。因此，如图1所示，与辅助信息相关的数据被提供给熵编码器122。当帧间预测模式被使用时，一个或多个参考图像也必须在编码器侧处被重构。因此，已变换且已量化残差由逆量化(InverseQuantization，IQ)124和逆变换(InverseTransformation，IT)126处理以恢复残差。随后，残差在重构(Reconstruction，REC)128处被添加回到预测数据136以重构视频数据。已重构视频数据可以被存储在参考图像缓存器134并且用于其他帧的预测。如图1所示，在编码系统中，输入视频数据经过一系列的处理。由于一系列的处理，来自重构128的已重构视频数据可能会遭受各种损伤。因此，包括去块滤波器130和样本自适应偏移132的环路滤波器已经在高效视频编码标准中使用。环路滤波器信息(例如，样本自适应偏移)必须被并入到比特流中，使得解码器可以适当地恢复所需的信息。因此，环路滤波器信息被提供给熵编码器122以用于并入到比特流中。在图1中，在已重构样本被存储到参考图像缓存器134之前，去块滤波器130和样本自适应偏移132被应用到已重构视频。帧内预测模式在HEVC中，相邻块的已解码边界样本用作帧间图像预测不被执行的区域中的空间预测的参考数本文档来自技高网...

【技术保护点】
1.一种帧内预测滤波的方法，其特征在于，在图像或视频编码器或解码器中，所述方法包括：接收与当前块相关的输入数据；确定属于所述当前块的可用帧内预测模式集的当前帧内预测模式；根据所述当前帧内预测模式，基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；根据基于所述当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，所述多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序；以及使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。

【技术特征摘要】
【国外来华专利技术】2015.11.18 US 62/256,7401.一种帧内预测滤波的方法，其特征在于，在图像或视频编码器或解码器中，所述方法包括：接收与当前块相关的输入数据；确定属于所述当前块的可用帧内预测模式集的当前帧内预测模式；根据所述当前帧内预测模式，基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；根据基于所述当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，所述多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序；以及使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。2.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述帧内预测滤波器的形状取决于所述当前扫描顺序。3.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述帧内预测滤波器根据一标志被使能或禁能。4.如权利要求3中所述的帧内预测滤波的方法，其特征在于，所述标志被显性地发信在与包括所述当前块的已压缩数据相关的比特流中，或者在解码器侧处被隐性地推导出。5.如权利要求4中所述的帧内预测滤波的方法，其特征在于，当所述标志在所述解码器侧处被隐性地推导出时，所述标志根据所述当前帧内预测模式或者先于所述当前块处理的一个或多个相邻块的一个或多个帧内预测模式被推导出。6.如权利要求5中所述的帧内预测滤波的方法，其特征在于，表示帧内预测滤波器是被使能还是被禁能的所述标志取决于所述当前帧内预测模式或者先于所述当前块处理的一个或多个相邻块的一个或多个帧内预测模式是否属于所述可用帧内预测模式集的预定子集。7.如权利要求4中所述的帧内预测滤波的方法，其特征在于，当所述标志被显性地发信在比特流中时，所述标志被发信在对应于序列、视图、图像、切片、序列参数集、视频参数集、自适应参数集、编码树单元、编码树块、最大编码单元、编码单元、预测单元、变换单元或者其组合的语法层或者头中。8.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述当前块对应于包括亮度分量和一个或多个色度分量的彩色图像或者视频数据，其中所述帧内预测滤波器被使能以用于所述亮度分量和所述一个或多个色度分量中的至少一个。9.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述当前块对应于包括绿色分量、红色分量和蓝色分量的彩色图像或者视频数据，其中所述帧内预测滤波器被使能以用于所述绿色分量、红色分量和蓝色分量中的至少一个。10.如权利要求1中所述的帧内预测滤波的方法，其特征在于，所述帧内预测滤波器是基于模式的。11.一种帧内预测滤波的装置，其特征在于，在图像或视频编码器或解码器中，所述装置包括一个或多个电子电路或处理器，用于：接收与当前块相关的输入数据；确定属于所述当前块的可用帧内预测模式集的当前帧内预测模式；根据所述当前帧内预测模式，基于所述当前块的多个相邻重构样本，确定包括多个原始帧内预测像素值的原始帧内预测块；根据基于所述当前帧内预测模式自多个扫描顺序选择的当前扫描顺序，将帧内预测滤波器应用到所述原始帧内预测块，以生成包括多个已滤波帧内预测像素值的已滤波器帧内预测块，其中到所述帧内预测滤波器的多个输入包括当前像素和一个或多个相邻像素，所述多个扫描顺序包括自垂直扫描顺序、水平扫描顺序和对角线扫描顺序中选择的至少两个扫描顺序；以及使用所述已滤波帧内预测块作为所述当前块的预测子，将帧内预测编码或者解码应用到所述当前块。12.一种帧内预测滤波的方法，其特征在于，在图像或视频编码器或解码器中，所述方法包括：接收与当前块相关的输入数据；基于所述当前块的多个相邻重构样本，确定包括多个原始帧内...

【专利技术属性】
技术研发人员：林建良，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71