用于线性分量样本预测的新样本集和新下采样方案制造技术

本发明专利技术涉及跨分量预测、以及用于推导线性模型的方法，该线性模型从同一帧中的第二分量块的第二分量样本获得第一分量块的关联的重建第一分量样本，该方法包括：基于第一分量和第二分量这两者的重建样本来确定表示通过两个点的直线的线性方程的参数，各点由第一变量和第二变量这两个变量定义，所述第一变量对应于第二分量样本值，所述第二变量对应于第一分量样本值；以及推导由直线参数定义的线性模型。

【技术实现步骤摘要】
【国外来华专利技术】用于线性分量样本预测的新样本集和新下采样方案
本专利技术涉及对给定视频分量的块进行编码或解码，特别是对这样的分量块进行帧内预测或者获得这样的块的样本。本专利技术可应用于从另一组件的样本(通常是亮度样本)获得视频数据的分量的块(通常是色度分量的块)。
技术介绍
视频数据的预测编码是基于将帧分割成像素块。对于各像素块，在可用数据中搜索预测结果块。预测结果块可以是与INTER(帧间)编码模式中的当前帧不同的参考帧中的块，或者是根据INTRA(帧内)编码模式中的当前帧中的相邻像素生成的。根据确定预测结果块的不同方式来定义不同的编码模式。编码的结果是预测结果块以及涉及要编码的块和预测结果块之间的差的残差块的信令(signaling)。对于INTRA编码模式，通常提出了诸如直流(DC)模式、平面模式和角模式等的各种模式。这些模式中的各模式均试图使用来自空间相邻块的先前解码的边界样本来预测块的样本。可以对形成视频数据的像素的各分量进行编码。尽管RGB(红色-绿色-蓝色的缩写)表示是众所周知的，但优选将YUV表示用于编码以减少通道间冗余。根据这些编码模式，像素块可被视为包括是多个(通常为三个)分量块。RGB像素块包括：R分量块，其包含该块的像素的R分量的值；G分量块，其包含这些像素的G分量的值；B分量块，其包含这些像素的B分量的值。同样，YUV像素块包括Y分量块(亮度)、U分量块(色度)和V分量块(也是色度)。另一示例是YCbCr，其中Cb和Cr也称为色度分量。然而，仍能在局部观察到分量间(也称为跨分量)相关性。r>为了提高压缩效率，在现有技术中研究了跨分量预测(CCP)的使用。CCP的主要应用是亮度到色度预测。这意味着已根据编码数据对亮度样本进行了编码和重建(如解码器一样)、并且根据亮度来预测色度。然而，变形例将CCP用于色度到色度预测，或者更一般地将CCP用于第一分量到第二分量预测(包括RGB)。跨分量预测可以直接应用于色度像素块，或者可以应用于残差色度块(其意味着色度块和色度块预测结果之间的差)。线性模型(LM)模式使用用以根据亮度预测色度的线性模型作为色度帧内预测模式，这依赖于要确定的一个或两个参数(斜率(α)和偏移(β))。由此可以使用具有这些参数的线性模型从当前亮度块的重建亮度样本来推导色度帧内预测结果。线性度(即，参数α和β)是从重建因果样本推导出的，特别是从包括与要预测的当前色度块相邻的重建色度样本的相邻色度样本集、以及从包括与当前亮度块相邻的亮度样本的相邻亮度样本集推导出的。特别地，对于N×N色度块，使用上方行的N个近邻和左方列的N个近邻来形成相邻色度样本集，以进行推导。相邻亮度样本集也由相应亮度块的正上方的N个相邻样本和该亮度块的左侧的N个相邻样本组成。已知通过对色度分量进行子采样来在不会使视觉渲染显著下降的情况下减小要编码的视频数据的大小。已知的子采样模式被标记为4:1:1、4:2:2、4:2:0。在对视频色度数据进行子采样的情形中，与N×N色度块相对应的亮度块大于N×N。在这种情况下，对相邻亮度样本集进行下采样以匹配色度分辨率。必须使用具有所推导出的一个或多个参数α和β的线性模型、以及先前进行了下采样以匹配色度分辨率的当前亮度块的重建亮度样本来生成用以预测当前N×N色度块中的色度样本的色度帧内预测结果。将重建亮度样本下采样到色度分辨率，这使得可以检索到与色度样本相同数量的样本，以形成亮度样本集和色度帧内预测结果这两者。因而，从当前色度块中减去色度帧内预测结果以获得在编码器处编码的残差色度块。相反，在解码器处，将色度帧内预测结果与所接收到的残差色度块相加以检索到色度块，这也称为解码块的重建。这还可以涉及针对超出样本范围的相加结果的限幅(clipping)。有时，残差色度块是可忽略的，因而在编码期间不考虑。在这种情况下，使用上述色度帧内预测结果作为色度块本身。结果，上述LM模式使得可以使用具有一个或多个参数的线性模型来从同一帧中的另一分量的块的关联(即，同位置或对应)重建样本获得给定分量的当前块的样本。该样本是使用具有所推导出的一个或多个参数的线性模型以及另一分量的块中的关联的重建样本所获得的。如果需要，该另一分量的块由下采样以匹配当前分量的块分辨率的样本所组成。尽管当前分量的块通常是色度块、并且另一分量的块是亮度块，但这可能并非如此。为了清楚和简单起见，这里给出的示例集中于从亮度块预测色度块，应该很清楚，所述的机制可以应用于从另一分量的任何分量预测。联合视频探索组(JVET)的联合探索模型(JEM)将六个跨分量(亮度到色度)线性模型模式添加到已知的传统帧内预测模式。所有这些模式彼此竞争，以预测或生成色度块，该选择通常是基于编码器端处的率失真标准进行的。六个跨分量(亮度到色度)线性模型模式在以下方面彼此不同：用于对重建亮度样本进行下采样的不同下采样方案、以及/或者推导参数α和β所根据的样本的不同样本集。例如，样本集可以由与当前亮度或色度块相邻的两个线(即，行和列)的样本所组成，这些线是平行的且以色度分辨率紧邻当前亮度或色度块的上方和/或左方边界中的每一个边界。在公开文本US9,736,487中描述了这样的示例性样本集。在公开文本US9,288,500和US9,462,273中也公开了其它的示例性样本集。JEM中所使用的下采样方案包括：6抽头滤波器，用于从六个重建亮度样本确定下采样后的重建亮度样本；三个2抽头滤波器，用于选择六个重建亮度样本中的右上样本和右下样本、或者下方样本和右下样本、或者上方样本和右上样本；以及4抽头滤波器，用于选择六个重建亮度样本的上方样本、右上样本、下方样本和右下样本。
技术实现思路
JEM在处理方面是复杂的。例如，JEM需要线性模型参数的复杂推导以计算色度预测结果块样本。设计了本专利技术以解决一个或多个前述问题。本专利技术涉及用于可能地通过色度帧内预测来获得当前色度块的色度样本的得以改进的方法。根据本专利技术的第一方面，提供一种根据权利要求1所述的方法。根据本专利技术的另一方面，提供一种根据权利要求26所述的用于推导线性模型的装置。根据本专利技术的另一方面，提供一种根据权利要求44所述的用于从同一帧中的第二分量块的第二分量样本获得第一分量块的关联的重建第一分量样本的装置。根据本专利技术的另一方面，提供一种根据权利要求49至51所述的计算机程序产品、计算机可读介质或计算机程序。在从属权利要求中提供了本专利技术的更多方面。根据又一方面，提供一种用于推导线性模型的方法，所述线性模型用于从第二分量样本值中推导关联的重建第一分量样本值，所述方法包括：从两个或更多个集合中取两个集合，各集合包括来自第一分量和第二分量的重建样本值的第一分量样本值和第二分量样本值；以及基于所述两个集合之间的所述第一分量样本值和所述第二分量样本值的变化率来推导所述线性模型，使得所述两个集合的第一分量样本值是使用所推导出的线性模型能够从相应集合的第二分量样本值获得的。应理解，第一分本文档来自技高网...

【技术保护点】
1.一种用于推导线性模型的方法，所述线性模型用于从同一帧中的第二分量块的第二分量样本获得第一分量块的关联的重建第一分量样本，所述方法包括：/n基于第一分量和第二分量这两者的重建样本，来确定两个点，各点由第一变量和第二变量这两个变量来定义，所述第一变量对应于第二分量样本值，所述第二变量对应于第一分量样本值；/n确定表示通过所述两个点的直线的线性方程的参数；以及/n推导由直线参数定义的所述线性模型。/n

【技术特征摘要】
【国外来华专利技术】20180223 GB 1802972.8;20181207 GB 1820023.81.一种用于推导线性模型的方法，所述线性模型用于从同一帧中的第二分量块的第二分量样本获得第一分量块的关联的重建第一分量样本，所述方法包括：
基于第一分量和第二分量这两者的重建样本，来确定两个点，各点由第一变量和第二变量这两个变量来定义，所述第一变量对应于第二分量样本值，所述第二变量对应于第一分量样本值；
确定表示通过所述两个点的直线的线性方程的参数；以及
推导由直线参数定义的所述线性模型。


2.根据权利要求1所述的方法，其中，所述两个点是基于所述第二分量块的邻域中的样本对来确定的。


3.根据权利要求2所述的方法，其中，所述两个点是基于所述第二分量块的邻域中的样本对的样本值来确定的。


4.根据权利要求3所述的方法，其中，所述两个点分别对应于具有最低第二分量样本值和具有最高第二分量样本值的样本对。


5.根据权利要求3所述的方法，其中，所述两个点分别对应于具有最低第一分量样本值和具有最高第一分量样本值的样本对。


6.根据权利要求3所述的方法，其中，所述方法还包括：
确定两个第一点，所述两个第一点分别对应于具有最低第二分量样本值和具有最高第二分量样本值的样本对；
确定两个第二点，所述两个第二点分别对应于具有最低第一分量样本值和具有最高第一分量样本值的样本对；以及
在所述两个点形成更长线段的情况下，将所述两个点确定为所述两个第一点，并且在其它情况下，将所述两个点确定为所述两个第二点。


7.根据权利要求3所述的方法，其中，所述方法包括：
确定两个第一点，所述两个第一点分别对应于具有最低第二分量样本值和具有最高第二分量样本值的样本对；
确定两个第二点，所述两个第二点分别对应于具有最低第一分量样本值和具有最高第一分量样本值的样本对；以及
将所述两个第一点和所述两个第二点中的两个点确定为形成最长线段的两个点。


8.根据权利要求3所述的方法，其中，所述方法包括：
确定两个第一点，所述两个第一点分别对应于具有最低第二分量样本值和具有最高第二分量样本值的样本对；
确定两个第二点，所述两个第二点分别对应于具有最低第一分量样本值和具有最高第一分量样本值的样本对；以及
在所述两个点的所有变量都不同的情况下，将所述两个点确定为所述两个第一点，并且在其它情况下，将所述两个点确定为所述两个第二点。


9.根据权利要求3所述的方法，其中，所述方法包括：
确定两个第一点，所述两个第一点分别对应于具有最低第二分量样本值和具有最高第二分量样本值的样本对；
确定两个第二点，所述两个第二点分别对应于具有最低第一分量样本值和具有最高第一分量样本值的样本对；以及
在由所述两个点定义的直线的斜率参数大于给定阈值的情况下，将所述两个点确定为所述两个第一点，并且在其它情况下，将所述两个点确定为所述两个第二点。


10.根据权利要求3所述的方法，其中，所述方法包括：
确定两个第一点，所述两个第一点分别对应于具有最低第二分量样本值和具有最高第二分量样本值的样本对；
确定两个第二点，所述两个第二点分别对应于具有最低第一分量样本值和具有最高第一分量样本值的样本对；以及
在最低第二分量样本值和最高第二分量样本值之间的差大于最低第一分量样本值和最高第一分量样本值之间的差的情况下，将所述两个点确定为所述两个第一点，并且在其它情况下，将所述两个点确定为所述两个第二点。


11.根据权利要求2所述的方法，其中，所述两个点是基于所述第二分量块的邻域内的样本对的第二分量样本值的位置来确定的。


12.根据权利要求11所述的方法，其中，所述两个点被确定为对应于所述第二分量块的邻域内的预定位置处的样本对。


13.根据权利要求12所述的方法，还包括：在预定位置处的样本对不可用的情况下，将所述两个点至少之一确定为对应于第二预定位置处的样本对。


14.根据权利要求1所述的方法，其中，所述两个点是基于所述第二分量块的邻域中的样本对以及所述第二分量块的样本值来确定的。


15.根据权利要求14所述的方法，其中，
将所述两个点的第一变量确定为所述第二分量块的邻域内的样本对中的具有所述第二分量块中的最大出现率和所述第二分量块中的第二最大出现率的样本值；
基于所述第二分量块的邻域中的样本对，将所述两个点的第二变量确定为相应的第一分量样本值。


16.根据权利要求1至15中任一项所述的方法，其中，
将所述第二分量块的样本组织为至少两个组；以及
针对所述第二分量块的各组样本，确定两个点以定义线性模型。


17.根据权利要求16所述的方法，其中，在针对组所确定的两个点对应于低于预定阈值的斜率参数的情况下，将这两个点替换为针对另一组所确定的两个点。


18.根据权利要求16所述的方法，其中，在针对组所确定的两个点对应于低于预定阈值的斜率参数的情况下，基于被视为单个组的所有组的样本来确定两个新点。


19.一种用于从同一帧中的第二分量块的第二分量样本获得第一分量块的关联的重建第一分量样本的方法，所述方法包括：
定义多个线性模型推导模式，所述多个线性模型推导模式包括使用单个线性模型的CCLM模式和使用多个线性模型的MMLM模式；以及
选择所述线性模型推导模式其中之一，以获得第一分量块的第一分量样本，
其中：
所述线性模型推导模式至少之一使用根据权利要求1至18中任一项所述的推导方法。


20.根据权利要求19所述的方法，其中，仅所述CCLM模式使用根据权利要求1至18中任一项所述的推导方法。


21.根据权利要求19所述的方法，其中，仅所述MMLM模式使用根据权利要求1至18中任一项所述的推导方法。


22.一种用于将一个或多个图像编码到位流中的方法，其中所述方法包括：根据权利要求1至18中任一项来推导线性模型。


23.一种用于将一个或多个图像编码到位流中的方法，其中所述方法包括：根据权利要求19至21中任一项，从所述一个或多个图像的第二分量样本块来获得第一分量块的关联的重建第一分量样本。


24.一种用于从位流解码一个或多个图像的方法，其中所述方法包括：根据权利要求1至18中任一项来推导线性模型。


25.一种用于从位流解码一个或多个图像的方法，其中所述方法包括：根据权利要求19至21中任一项，从所述一个或多个图像的第二分量样本块来获得第一分量块的关联的重建第一分量样本。

【专利技术属性】
技术研发人员：G·拉罗彻，乔纳森·泰奎特，P·乌诺，C·吉斯科特，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP