变换核选择与熵编译制造技术

可以对包括与垂直运动相关联的垂直变换类型和与水平运动相关联的水平变换类型的变换核候选进行编码或解码。在编码操作期间，根据所选择的变换核候选来变换当前块的残差块以产生变换块。然后，基于所述变换块的邻近变换块来识别用于编码所选择的变换核候选的概率模型。然后，根据所述概率模型来对所选择的变换核候选进行编码。在解码操作期间，使用概率模型对经编码的变换核候选进行解码。然后，根据已解码的变换核候选，通过对经编码的变换块的去量化的变换系数进行逆变换，来对经编码的变换块进行解码。

Transform Kernel Selection and Entropy Compilation

【技术实现步骤摘要】
【国外来华专利技术】变换核选择与熵编译
技术介绍
数字视频流可以表示使用一系列帧或静态图像的视频。数字视频可以用于各种应用，包括例如视频会议、高清视频娱乐节目、视频广告、或用户生成的视频的分享。数字视频流可包括大量数据并且消耗计算设备的大量的计算资源或通信资源用于处理、传输或存储视频数据。已经提出了用于减少视频流中的数据量的各种方法，包括压缩和其他编码技术。
技术实现思路
根据本公开的一个实现的一种用于对针对视频帧的块所选择的变换核候选进行编码的方法包括选择多个变换核候选中的用于变换视频帧的当前块的残差块的一个变换核候选。所选择的变换核候选包括与残差块的垂直运动相关联的垂直变换类型和与残差块的水平运动相关联的水平变换类型。该方法进一步包括根据所选择的变换核候选来变换残差块以产生包括变换系数的变换块。该方法进一步包括量化变换系数。该方法进一步包括响应于确定量化的变换系数中的至少一个是非零系数而识别用于编码所选择的变化核候选的概率模型，该概率模型基于针对变换块的上邻近变换块所选择的第一变换核候选和针对变换块的左邻近变换块所选择的第二变换核候选来确定。该方法进一步包括根据概率模型来编码所选择的变换核候选。本公开可减少在编码和/或解码视频时的处理，发送，和存储需求。根据本公开的另一方面的一种用于对针对视频帧的块所选择的变换核候选进行编码的装置包括被配置成执行存储在非暂时性存储介质中指令的处理器。该指令包括用于选择多个变换核候选中的用于变换视频帧的当前块的残差块的一个变换核候选的指令。所选择的变换核候选包括与残差块的垂直运动相关联的垂直变换类型和与残差块的水平运动相关联的水平变换类型。该指令进一步包括用于根据所选择的变换核候选来变换残差块以产生包括变换系数的变换块的指令。该指令进一步包括用于量化变换系数的指令。该指令进一步包括用于响应于确定量化的变换系数中的至少一个是非零系数而识别用于编码所选择的变换核候选的概率模型的指令，该概率模型基于针对变换块的上邻近变换块所选择的第一变换核候选和针对变换块的左邻近变换块所选择的第二变换核候选来识别。指令进一步包括用于根据该概率模型编码所选择的变换核候选的指令。本公开可减少在编码和/或解码视频时的处理、发送、和存储需求。根据本公开的一个实现的一种用于对编码的视频帧的当前块的编码的变换块进行解码的方法包括识别用于对被选择用于产生编码的变换块的变换核候选进行编码的概率模型，该概率模型基于与编码的变换块的上邻近变换块相关联的第一变换核候选和与编码的变换块的左邻近变换块相关联的第二变换核候选来识别。该方法进一步包括使用概率模型对编码的变换核候选进行解码。该编码的变换核候选包括与当前块的垂直运动相关联的垂直变换类型和与当前块的水平运动相关联的水平变换类型。该方法进一步包括根据所解码的变换核候选，通过逆变换编码的变换块的去量化的变换系数来对编码的变换块进行解码。本公开可减少在编码和/或解码视频时的处理、传输、和存储需求。可以将变换核候选编码为组合索引。编码的变换核候选可以指示其垂直和水平变换类型。例如，可以将单一索引编码为比特流以指示所选择的变换核候选的垂直和水平变换类型二者。或者，可以将垂直和水平变换类型单独地编码为比特流。例如，可以将第一索引编码为比特流以指示垂直变换类型以及可以将第二索引编码为比特流以指示水平变换类型。变换类型可以是应用于视频帧的变换操作的类型。概率模型可以用于确定充分的变换核候选用于对变换系数进行变换的概率。概率模型可以包括整数值，所述整数值在除以最大值时指示所选择的变换核候选是充分的概率(例如，表示为百分数或类似值)。最大值可以是本公开的技术可用的概率模型的全部或一部分所共享的全局最大值。例如如果所选择的变换核候选的垂直和水平变换类型与从其产生变换块的残差块的运动的形状对应，则可以认为所选择的变换核候选是充分的。垂直运动和水平运动的形状可以用于识别用于选择变换核候选中的一个的垂直和水平变换类型，因为变换类型中的每一个与运动的不同形状对应。可以将块的运动的形状识别为例如关于块内的原点对称或非对称。如果适用，上下文值可以基于针对变换块所选择的变换核候选和针对上邻近变换块和/或左邻近变换块所选择的变换核候选来计算。例如，可以为多个变换核候选中的每一个分配索引值。可以使用加权函数来计算上下文值。例如，分配给所选择的变换核候选的索引值可以被赋予比分配给用于上邻近变换块和/或左邻近变换块的变换核候选的索引值更大的加权值。本公开的这些或其他方面在以下实施例，所附权利要求和附图的详细描述中公开。附图说明这里的描述参考在下面所描述的附图，其中在几个附图中相同的附图标志指代相同的部分。图1是视频编码和解码系统的示意图。图2是可以实现传送站或接收站的计算设备的示例的框图。图3是要被编码并后续解码的典型视频流的示意图。图4是根据本公开的实现的编码器的框图。图5是根据本公开的实现的解码器的框图。图6是被分割成变换块的残差块的示意图。图7是用于对针对视频帧的当前块所选择的变换核候选进行编码的技术的流程图。图8是用于对编码的视频帧的当前块的变换块进行解码的技术的流程图。具体实施方式视频压缩方案可以包括将相应图像或帧分割成诸如块的更小的部分，并且使用用于限制针对其中相应块所包括的信息的技术来生成编码比特流。可以对编码的比特流进行解码以从所限制的信息中重新创建源图像。例如，视频压缩方案可以包括将视频流中的当前块的预测残差变换为变换块的变换系数。将变换系数量化并熵编码为编码的比特流。解码器使用编码的变换系数以解码或解压缩编码的比特流用以准备视频流以便观看或进一步处理。使用变换类型(例如，离散余弦变换(DCT)或非对称离散正弦变换(ADST)中的一个)对当前块的预测残差进行变换。可以基于在预测残差中所指示的运动方向来选择所使用的特定变换类型。例如，在运动关于当前块中的原点对称的情况下，可以选择DCT变换类型。在另一示例中，在运动不是对称的而是在当前块的一个区域中比在另一个区域中明显更大的情况下，可以选择ADST变换类型。然而，视频流内的运动通常是复杂的。例如，帧可以包括在其中的多个方向的和在多个位置处的运动。因此，使用一种变换类型有效地变换预测残差是不可能的。然而，选择多种变换类型可能导致对比特流的额外成本，诸如通过增加编码器和解码器之间所通信的数据量。本公开的实现包括根据概率模型对从多个变换核候选中所选择的或以其他方式识别的变换核候选进行编码或解码。变换核候选中的每一个包括垂直变换类型和水平变换类型。变换核候选基于包括当前块的预测残差的残差块的垂直运动或水平运动来选择或以其他方式识别。在编码操作期间，残差块根据变换核候选来变换以产生变换块。量化变换块的变换系数。响应于确定量化的变换系数中的至少一个是非零系数，用于编码所选择的变换核候选的概率模型基于变换块的邻近变换块来识别。然后，根据概率模型来编码变换核候选。在解码操作期间，针对变换块选择的变换核候选基于概率模型来解码。然后，变换块被去量化并且根据变换核候选来对去量化的变换块进行逆变换以产生重构的残差块。这里初始参考可以实现用于编码或解码变换核候选的技术的系统对他们的更进一步细节进行描述。图1是视频编码和解码系统100的示意图。传送站102可以是例如具有如在图2本文档来自技高网...

【技术保护点】
1.一种用于编码针对视频帧的块所选择的变换核候选的方法，所述方法包括：选择多个变换核候选中的一个变换核候选用于变换所述视频帧的当前块的残差块，所选择的变换核候选包括与所述残差块的垂直运动相关联的垂直变换类型和与所述残差块的水平运动相关联的水平变换类型；根据所选择的变换核候选来变换所述残差块以产生包括变换系数的变换块；量化所述变换系数；响应于确定经量化的变换系数中的至少一个是非零系数，识别用于编码所选择的变换核候选的概率模型，所述概率模型基于针对所述变换块的上邻近变换块所选择的第一变换核候选和针对所述变换块的左邻近变换块所选择的第二变换核候选来识别；以及根据所述概率模型来编码所选择的变换核候选。

【技术特征摘要】
【国外来华专利技术】2017.02.28 US 62/464,615;2017.06.22 US 15/630,0711.一种用于编码针对视频帧的块所选择的变换核候选的方法，所述方法包括：选择多个变换核候选中的一个变换核候选用于变换所述视频帧的当前块的残差块，所选择的变换核候选包括与所述残差块的垂直运动相关联的垂直变换类型和与所述残差块的水平运动相关联的水平变换类型；根据所选择的变换核候选来变换所述残差块以产生包括变换系数的变换块；量化所述变换系数；响应于确定经量化的变换系数中的至少一个是非零系数，识别用于编码所选择的变换核候选的概率模型，所述概率模型基于针对所述变换块的上邻近变换块所选择的第一变换核候选和针对所述变换块的左邻近变换块所选择的第二变换核候选来识别；以及根据所述概率模型来编码所选择的变换核候选。2.根据权利要求1所述的方法，其中，选择所述多个变换核候选中的一个变换核候选用于变换所述视频帧的所述当前块的所述残差块包括：通过使用第一运动矢量预测所述当前块中的一部分的垂直运动来识别所述残差块的所述垂直运动的形状；通过使用第二运动矢量预测所述当前块中的所述部分的水平运动来识别所述残差块的所述水平运动的形状；以及基于所述残差块的所述垂直运动的形状和所述残差块的所述水平运动的形状来选择所选择的变换核候选。3.根据权利要求1或权利要求2所述的方法，其中，识别用于编码所选择的变换核候选的概率模型包括：基于所述第一变换核候选的第一垂直变换类型和所述第二变换核候选的第二垂直变换类型来确定垂直上下文；基于所述第一变换核候选的第一水平变换类型和所述第二变换核候选的第二水平变换类型来确定水平上下文；以及使用所述垂直上下文和所述水平上下文来识别所述概率模型。4.根据权利要求1到3中任一项所述的方法，其中，所述变换块是第一变换块，所述方法进一步包括：使用运动矢量生成所述残差块，所述残差块包括用于所述当前块的预测残差；以及将所述残差块分割成包括第一残差子块和第二残差子块的多个子块，其中，所述第一残差子块被变换以产生所述第一变换块并且所述第二残差子块被变换以产生第二变换块。5.根据权利要求4所述的方法，其中，所选择的变换核候选与被选择用于变换所述第二残差子块的变换核候选不同。6.根据权利要求4或权利要求5所述的方法，其中，所选择的变换核候选也被选择用于变换所述第二残差子块。7.根据权利要求1到6中任一项所述的方法，其中，所选择的变换核候选的所述垂直变换类型或所述水平变换类型中的至少一个是DCT、ADST、翻转ADST或恒等变换中的一个。8.一种用于编码针对视频帧的块所选择的变换核候选的装置，所述装置包括：处理器，所述处理器被配置成执行存储在非暂时性存储介质中的指令以：选择多个变换核候选中的一个变换核候选用于变换所述视频帧的当前块的残差块，所选择的变换核候选包括与所述残差块的垂直运动相关联的垂直变换类型和与所述残差块的水平运动相关联的水平变换类型；根据所选择的变换核候选来变换所述残差块以产生包括变换系数的变换块；量化所述变换系数；响应于确定经量化的变换系数中的至少一个是非零系数，识别用于编码所选择的变换核候选的概率模型，所述概率模型基于针对所述变换块的上邻近变换块所选择的第一变换核候选和针对所述变换块的左邻近变换块所选择的第二变换核候选来识别；以及根据所述概率模型来编码所选择的变换核候选。9.根据权利要求8所述的装置，其中，用于选择所述多个变换核候选中的一个变换核候选用于变换所述视频帧的所述当前块的所述残差块的所述指令包括用于以下项的指令：...

【专利技术属性】
技术研发人员：许耀武，韩敬宁，江劲涵，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US