用于逐块图片编码的帧内预测模式概念制造技术

根据第一方面，通过使逐块图片编解码支持帧内预测模式的集合来实现改善的压缩效率，根据该帧内预测模式的集合，通过将图片的当前块的相邻样本的集合应用于神经网络，确定当前块的帧内预测信号。本申请的第二方面在于，在使用基于神经网络的帧内预测模式之外或作为替代，通过对帧内预测模式的集合中的每个帧内预测模式使用专用于确定排名或概率值的神经网络可以使模式选择更有效，这通过将相邻样本的集合应用于该神经网络来进行，其中，排名或概率值用于从包括该帧内预测模式的集合在内的或与该帧内预测模式的集合一致的多个帧内预测模式中选择一个帧内预测模式。

【技术实现步骤摘要】
【国外来华专利技术】用于逐块图片编码的帧内预测模式概念
本申请涉及用于逐块图片编码的改进的帧内预测模式概念，该逐块图片编码例如可用于视频编解码(例如HEVC或HEVC的任何后续)。
技术介绍
帧内预测模式广泛用于图片和视频编码中。在视频编码中，帧内预测模式与诸如帧间预测模式之类的其他预测模式(诸如运动补偿的预测模式)相竞争。在帧内预测模式中，基于相邻样本来预测当前块，即，就提及编码器侧而言已被编码的样本，并且就提及解码器侧而言已被解码的样本。坦白地说，将相邻样本值外推到当前块中，以形成当前块的预测信号，并在数据流中传输针对当前块的预测残差。预测信号越好，预测残差就越低，因此对预测残差进行编码所需的比特数就越少。为了更有效，应当考虑几个方面，以便形成用于在逐块图片编码环境中的帧内预测的有效帧。例如，编解码支持的帧内预测模式的数量越大，则为了将选择发信号通知给解码器，辅助信息率消耗就越大。另一方面，支持的帧内预测模式的集合应该能够提供良好的预测信号，即导致较低的预测残差的预测信号。
技术实现思路
本申请意在提供一种帧内预测模式概念，如果使用改进的帧内预测模式概念，则允许对逐块图片编解码进行更有效的压缩。该目的通过本申请的独立权利要求的主题来实现。根据本申请的第一方面，通过使逐块图片编解码支持帧内预测模式的集合来实现改善的压缩效率，根据该帧内预测模式的集合，通过将图片的当前块的相邻样本的集合应用于神经网络，确定针对当前块的帧内预测信号。该集合可以形成完全支持的多个帧内预测模式或者仅形成多个帧内预测模式的适当的子集。在所支持的多个帧内预测模式中，针对当前块选择一个帧内预测模式，并且使用一个帧内预测模式(即，所选择的一个帧内预测模式)来预测当前块。数据流可以被提供有用于当前块的索引，该索引指示所选择的帧内预测模式。通过为逐块图片编解码提供一个以上的基于神经网络的帧内预测模式，针对当前块可以在这些基于神经网络的帧内预测模式中进行选择，能够设计这些基于神经网络的帧内预测模式，以便针对某个块找到具有低预测误差的预测信号的可能性增加。另外，可以以这样的方式执行神经网络帧内预测模式设计：如果使用用于帧内预测模式选择的辅助信息，则辅助信息开销可以保持较低。这通过以下事实是可行的：帧内预测模式设计自由地以在帧内预测图片块之间互不相同的选择频率的方式生成基于神经网络的帧内预测模式。换句话说，使用多个基于神经网络的帧内预测模式使得能够以如下方式设计这些模式：这些模式的统计的选择频率适合于选择信号化，使得在熵编码方面，与在启发式设计的帧内预测模式的集合中进行选择相比，辅助信息开销降低。例如，可以使用可变长度码或使用熵编码来对指向所选择的帧内预测模式的索引进行编码，并且可以将基于神经网络的帧内预测模式设计为使得这些模式的选择频率或频率分布适于可变长度码，或者这些模式的频率分布适于熵码的基础样本统计，从而减小或最小化用于在帧内预测模式中进行模式选择的平均信号化开销。本申请的第二方面在于，在使用基于神经网络的帧内预测模式之外或作为替代，通过使用专用于确定帧内预测模式的集合中的每个帧内预测模式的排名或概率值的神经网络可以使模式选择更有效，这通过将相邻样本的集合应用于该神经网络来进行，其中，排名或概率值用于从包括该帧内预测模式的集合在内的或与该帧内预测模式的集合一致的多个帧内预测模式中选择一个帧内预测模式。用于在帧内预测模式之间进行选择的辅助信息开销可以被完全省去，或者可以通过使用神经网络而变得更有效。就涉及上述神经网络的设计而言，本申请提供了许多用于适当确定其参数的实施例。附图说明本申请的有利实现是从属权利要求的主题。以下关于附图描述本申请的优选实施例，在附图中：图1示出了示意作为其中可实现本申请的实施例的一般示例的用于将图片编码为数据流的编码器的示意性框图；图2示出了根据图1的编码器的更具体示例的框图；图3示出了示意适合于图1的编码器且用作其中可实现本申请的实施例的解码器的示例的解码器的示意性框图；图4示出了适合于图2的编码器的图3的解码器的更具体示例的框图；图5示出了根据本申请的实施例的编码器和解码器中关于使用帧内预测处理块的操作模式的示意图；图6示出了示意根据本申请的实施例的解码器的示意性框图，其包括几种基于神经网络的帧内预测模式；图7a示出了示意根据实施例的编码器和解码器的操作模式的示意图，该编码器和该解码器支持基于神经网络的帧内预测模式以及这些模式的基于神经网络的排序，其中将基于神经网络的帧内预测模式的有序列表的索引、以及指示要使用的帧内预测模式是否是基于神经网络的帧内预测模式的集合的成员的斑点发送到数据流内；不用说，可以使用可变长度编码来对索引进行编码，以便利用确定90所确定的不同频率；图7b示出了与图7a不同的示意图，不同在于不使用斑点信号化；图7c示出了与图7b不同的示意图，不同在于模式排序不使用神经网络来控制；图7d示出了与图7a不同的示意图，不同在于模式信号化中的神经网络辅助用于控制熵编码/解码中的概率分布估计，而不是用于模式排序；图8示出了根据实施例的用于设计基于神经网络的帧内预测模式的集合的装置；图9a示出了示意根据实施例的编码器和解码器的操作模式的示意图，根据该实施例，使用神经网络来排序支持的帧内预测模式，而不管是否基于神经网络；图9b示出了与图9a不同的示意图，不同在于神经网络库用于控制用于熵解码/编码支持的帧内预测模式的集合的索引的概率分布估计；图10示出了根据实施例的用于设计神经网络的装置，神经网络用于在用于基于块的图片编码的帧内预测模式的集合之中进行辅助和选择。具体实施方式在下文中，描述了在使用帧内预测时有助于实现更有效压缩的各种实施例。一些实施例通过使用作为基于神经网络的帧内预测模式的集合来实现压缩效率的提高。例如，可以将后者添加到启发式设计的其他帧内预测模式中，或者可以排他地提供后者。其他实施例使用神经网络以便在多个帧内预测模式中执行选择。甚至其他实施例也利用了刚讨论的两个特别方案。为了简化对本申请的以下实施例的理解，描述以介绍适合于本申请的可行的编码器和解码器开始，本申请的随后概述的实施例可以构建在该编码器和解码器中。图1示出了用于将图片10逐块编码为数据流12的装置。该装置使用附图标记14表示，并且可以是静止图片编码器或视频编码器。换句话说，当编码器14被配置为将包括图片10的视频16编码为数据流12时，或者当编码器14可以将图片10专门地编码为数据流12时，图片10可以是视频16中的当前图片。如所提到的，编码器14以逐块方式或以基于块的方式执行编码。为此，编码器14将图片10细分为块，以块为单位，编码器14将图片10编码为数据流12。以下更详细地阐述将图片10可行地细分为块18的示例。通常，细分可以最终得到具有以行和列布置的块的阵列的恒定大小的块18，或者最终得到具有不同块大小的块18，例如通过使用分层多树细分并使多树细分开始于图本文档来自技高网...

【技术保护点】
1.一种用于从数据流(12)中逐块解码图片(10)的装置，所述装置支持至少包括帧内预测模式的集合(72)在内的多个(66)帧内预测模式，根据所述帧内预测模式的集合，通过将所述图片的当前块(18)的相邻样本的第一集合(60)应用于神经网络(80)来确定所述当前块(18)的帧内预测信号，所述装置被配置为：/n针对所述当前块(18)选择(68)所述多个(66)帧内预测模式中的一个帧内预测模式，并且/n使用所述一个帧内预测模式来预测(71)所述当前块(18)。/n

【技术特征摘要】
【国外来华专利技术】20171013 EP 17196402.61.一种用于从数据流(12)中逐块解码图片(10)的装置，所述装置支持至少包括帧内预测模式的集合(72)在内的多个(66)帧内预测模式，根据所述帧内预测模式的集合，通过将所述图片的当前块(18)的相邻样本的第一集合(60)应用于神经网络(80)来确定所述当前块(18)的帧内预测信号，所述装置被配置为：
针对所述当前块(18)选择(68)所述多个(66)帧内预测模式中的一个帧内预测模式，并且
使用所述一个帧内预测模式来预测(71)所述当前块(18)。


2.根据权利要求1所述的装置，被配置为：
使用可变长度码，从所述数据流(12)中解码索引(70b)，并且
使用所述索引(70b)来执行所述选择。


3.根据权利要求1或2所述的装置，被配置为：
取决于与所述当前块(18)的邻域有关的所述数据流(12)的第一部分(97)，确定所述帧内预测模式的集合(72)的排名，以便获得帧内预测模式的有序列表，并且
基于除所述第一部分之外的所述数据流(12)的第二部分(98)，从所述帧内预测模式的有序列表中选择所述一个帧内预测模式。


4.根据权利要求1或2所述的装置，被配置为：
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，通过将相邻样本的第二集合(86)应用于另一神经网络来确定排名，以获得帧内预测模式的有序列表，
从所述数据流(12)中将索引(70b)解码到所述有序列表中，并且
使用所述索引(70b)和所述有序列表来执行所述选择。


5.根据权利要求4所述的装置，被配置为：使用可变长度码从所述数据流(12)中将所述索引(70b)解码到所述有序列表中。


6.根据权利要求1或2所述的装置，被配置为：
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，通过将相邻样本的第二集合(86)应用于另一神经网络，确定概率值(120)，
使用所述概率值(120)，从所述数据流(12)中熵解码所述帧内预测模式的集合(72)的索引(70b)，并且
使用所述索引(70b)来执行所述选择。


7.根据权利要求3至6中任一项所述的装置，其中，所述相邻样本的第一集合(60)与所述相邻样本的第二集合(86)重合。


8.根据前述权利要求中任一项所述的装置，其中，所述帧内预测模式的集合(72)中的每个帧内预测模式排他地根据所述当前块(18)的相邻样本的第一集合(60)，唯一地确定所述当前块(18)的帧内预测信号。


9.根据前述权利要求中任一项所述的装置，其中，所述多个帧内预测模式还包括包含DC模式或方向模式中的一个或多个在内的帧内预测模式的另一集合，根据所述DC模式，所述当前块(18)被填充有DC值，根据所述方向模式，通过将从所述当前块(18)的相邻样本的第三集合中导出的所述当前块(18)旁边的空间样本值分布沿预定方向投影到所述当前块(18)中来确定所述帧内预测信号。


10.根据前述权利要求中任一项所述的装置，其中，所述多个帧内预测模式还包括帧内预测模式的另一集合，根据所述帧内预测模式的另一集合，使用线性函数从所述当前块(18)的相邻样本的第三集合中确定所述当前块(18)的帧内预测信号，其中，所述相邻样本的第一集合(60)的基数高于所述相邻样本的第三集合的基数。


11.根据权利要求10或11所述的装置，被配置为：在从所述多个帧内预测模式中选择所述一个帧内预测模式时，响应于所述数据流(12)中的一个标志，以便从所述帧内预测模式的集合或所述帧内预测模式的另一集合中选择所述一个帧内预测模式。


12.一种用于将图片(10)逐块编码到数据流(12)中的装置，所述装置支持至少包括帧内预测模式的集合(72)在内的多个(66)帧内预测模式，根据所述帧内预测模式的集合，通过将所述图片(10)的当前块(18)的相邻样本的第一集合(60)应用于神经网络(80)来确定所述当前块(18)的帧内预测信号，所述装置被配置为：
针对所述当前块(18)选择(90)所述多个帧内预测模式中的一个帧内预测模式，并且
使用所述一个帧内预测模式来预测所述当前块(18)。


13.根据权利要求12所述的装置，被配置为：
使用可变长度码来将索引(70b)编码到所述数据流(12)中，所述索引(70b)指示所述选择。


14.根据权利要求12或13所述的装置，被配置为：
取决于与所述当前块(18)的邻域有关的所述数据流(12)的第一部分(97)，确定所述帧内预测模式的集合(72)的排名，以便获得帧内预测模式的有序列表，并且
从帧内预测模式的有序列表中选择所述一个帧内预测模式，并且
除了所述第一部分(97)之外，还形成所述数据流(12)的第二部分(98)，以便指示从所述帧内预测模式的有序列表中的选择。


15.根据权利要求12或14所述的装置，被配置为：
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，通过将相邻样本的第二集合(86)应用于另一神经网络来确定排名，以获得帧内预测模式的有序列表，并且
将所述有序列表的索引(70b)编码到所述数据流(12)中，
其中，所述索引(70b)从所述有序列表中选择所述一个帧内预测模式。


16.根据权利要求15所述的装置，被配置为：使用可变长度码从所述数据流(12)中将所述索引解码到所述有序列表中。


17.根据权利要求12或13所述的装置，被配置为：
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，通过将相邻样本的第二集合(86)应用于另一神经网络，确定概率值(120)，
使用所述概率值(120)来将所述帧内预测模式的集合(72)的索引(70b)熵编码到所述数据流(12)中，所述索引(70b)指向所述一个帧内预测模式。


18.根据权利要求14至17中任一项所述的装置，其中，所述相邻样本的第一集合(60)与所述相邻样本的第二集合(86)重合。


19.根据权利要求12至18中任一项所述的装置，其中，所述帧内预测模式的集合(72)中的每个帧内预测模式排他地根据所述当前块(18)的相邻样本的第一集合(60)，唯一地确定所述当前块(18)的帧内预测信号。


20.根据权利要求12至19中任一项所述的装置，其中，所述多个帧内预测模式还包括包含DC模式或方向模式中的一个或多个在内的帧内预测模式的另一集合，根据所述DC模式，所述当前块(18)被填充有DC值，根据所述方向模式，通过将从所述当前块(18)的相邻样本的第三集合中导出的所述当前块(18)旁边的空间样本值分布沿预定方向投影到所述当前块(18)中来确定所述帧内预测信号。


21.根据权利要求12至20中任一项所述的装置，其中，所述多个帧内预测模式还包括帧内预测模式的另一集合，根据所述帧内预测模式的另一集合，使用线性函数从所述当前块(18)的相邻样本的第三集合中确定所述当前块(18)的帧内预测信号，其中，所述相邻样本的第一集合(60)的基数高于所述相邻样本的第三集合的基数。


22.根据权利要求19或20所述的装置，被配置为：向所述数据流(12)提供一个标志，所述一个标志指示所述一个帧内预测模式是所述帧内预测模式的集合(72)的成员还是所述帧内预测模式的另一集合的成员。


23.一种用于针对基于块的图片编码设计帧内预测模式的集合(72)的装置，所述装置被配置为：
将与第一图片测试块(114)相邻的相邻样本(116)的第一集合(60)应用于第一神经网络(80)，以便针对所述帧内预测模式的集合(72)中的每个帧内预测模式获得针对所述第一测试块的预测信号(118)，并且将与所述第一图片测试块相邻的相邻样本的第二集合(86)应用于第二神经网络(84)，以便针对所述帧内预测模式的集合(72)中的每个帧内预测模式获得指示相应帧内预测模式的概率的概率值(120)；
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，使用针对相应帧内预测模式所获得的预测信号(118)，来确定(122)与预测误差编码和模式信号化相关的编码成本的成本估计(124)；
更新(110)所述第一神经网络(80)的第一参数(113)和所述第二神经网络(84)的第二参数(111)，以便减小具有第一加数和第二加数的编码成本函数，所述第一加数取决于针对具有最低编码成本估计的帧内预测模式所获得的预测信号(118)而形成残差率估计，所述第二加数取决于针对具有最低编码成本估计的所述帧内预测模式所获得的概率值(120)和预测信号(118)而形成模式信令辅助信息率估计；
将与第二图片测试块相邻的相邻样本应用于具有更新的第一参数(113)的第一神经网络(80)和具有更新的第二参数(111)的第二神经网络(84)。


24.根据权利要求23所述的装置，其中，
所述第一神经网络(80)和所述第二神经网络(84)是
线性函数和非线性函数的序列，其中，所述第一参数(113)和所述第二参数(111)包括线性函数的权重。
形成一系列神经元层的线性函数和非线性函数的序列，或
神经元层的序列，其中，所述第一参数(113)和所述第二参数(111)包括控制互连神经元之间的信号强度转发的权重。


25.根据权利要求23或24所述的装置，被配置为：
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，使用针对相应帧内预测模式所获得的所述概率值(120)和所述预测信号(118)，来确定与预测误差编码和模式信号化相关的编码成本的成本估计。


26.根据权利要求23至25中任一项所述的装置，被配置为：
针对所述帧内预测模式的集合(72)中的每个帧内预测模式，将与预测误差编码和模式信号化相关的编码成本的成本估计确定为第一加数与第二加数之和，所述第一加数将针对相应帧内预测模式所获得的预测信号(118)和所述第一图片测试块的原始未失真版本映射到预测误差编码估计上，所述第二加数将针对相应帧内预测模式所获得的概率值(120)映射到模式信号化率估计上。


27.根据权利要求23至26中任一项所述的装置，其中，
所述编码成本函数的第二加数根据针对所有帧内预测模式所获得的概率值(120)，取决于针对具有最低编码成本估计的所述帧内预测模式所获得的预测信号(118)而形成所述模式信令辅助信息率估计作为，针对所有帧内预测模式所获得的概率值(120)指示具有最低编码成本估计的所述帧内预测模式的交叉熵。


28.根据权利要求23至27中任一项所述的装置，其中，
所述编码成本函数的第一加数根据针对相应帧内预测模式所获得的预测信号(118)和所述第一图片测试块的原始未失真版本，取决于针对具有最低编码成本估计的所述帧内预测模式所获得的预测信号(118)而形成所述残差率估计。


29.根据权利要求23至28中任一项所述的装置，被配置为：
使用所述第一参数(113)和所述第二参数(111)顺序地重复针对多个图片测试块的施加、确定和更新，所述第一参数(113)和所述第二参数(111)针对一个图片测试块被更新以用于所述多个图片测试块中的下一图片测试块的施加。


30.根据权利要求23至29中任一项所述的装置，被配置为：
将所述多个图片测试块细分为能够更有效地编码的未细分的第一集合、以及能够更有效地编码的细分为子块的第二集合，并使用所述第一参数(113)和所述第二参数(111)顺序地重复针对所述第一集合的图片测试块的施加、确定和更新，所述第一参数(113)和所述第二参数(111)针对一个图片测试块被更新以用于所述第一集合的下一图片测试块的施加。


31.根据权利要求23至30中任一项所述的装置，被配置为：
使用梯度下降来执行所述更新。


32.根据权利要求23至31中任一项所述的装置，其中，所述相邻样本的第一集合(60)与所述相邻样本的第二集合(86)重合。


33.一种用于从数据流(12)中逐块解码图片(10)的装置，所述装置支持多个帧内预测模式，所述装置被配置为：
针对所述多个(66)帧内预测模式中的帧内预测模式的至少一集合(72)中的每个帧内预测模式，通过将与当前块(18)相邻的相邻样本的第一集合(68)应用于神经网络(80)来确定排名或概率值(120)，
使用所述排名或所述概率值(120)，针对所述当前块(18)在所述多个帧内预测模式中选择一个帧内预测模式，...

【专利技术属性】
技术研发人员：乔纳森·普法夫，菲利普·赫勒，多米尼克·马尼里，托马斯·威甘德，沃耶西·萨梅克，史蒂芬·卡滕斯塔德勒，海科·施瓦茨，德特勒夫·马尔佩，米沙·斯科曼，马丁·温肯，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国;DE