用于预测分区的视频编码器和解码器制造技术

本发明专利技术提供一种视频编码器100和视频解码器200，可用于：基于至少一个分区预测值对当前图片302中的块301进行分区。所述编码器100和解码器200用于选择至少一个参考图片303a和所述至少一个参考图片303a中的多个块304a。基于与所述参考图片303a中的所选块304a相关联的运动向量，进一步计算每个所选块304a在所述当前图片302中的投影位置。然后，将每个投影位置与所述当前图片302中的块301在空间上重叠的所选块304a确定为参考块，并基于与所述至少一个参考图片303a相关联的分区信息，例如，存储在所述至少一个参考图片303a中的分区信息，为至少一个参考块生成分区预测值。

Video Encoder and Decoder for Predictive Partition

【技术实现步骤摘要】
【国外来华专利技术】用于预测分区的视频编码器和解码器
本专利技术涉及视频处理领域，具体涉及通常称为视频编码的主题。特别地，本专利技术提出了一种视频编码器和视频解码器，用于基于至少一个分区预测值对当前图片中的块进行分区，即用于进行预测块分区。本专利技术还涉及相应的视频编码和解码方法。
技术介绍
在当前的视频编码方案中，例如H.264/AVC和HEVC，帧间预测图片中的运动信息被划分为可配置大小的矩形块。在H.264/AVC中，所述运动被划分为具有最大16x16像素大小的对称块，这些块被称为宏块并且可以进一步细分为最小4x4像素，而HEVC用最大尺寸为64x64像素的编码树单元(codingtreeunit，简称CTU)替代了宏块。所述CTU不仅仅是一个更大的宏块，因为通过四叉树分解方案，所述CTU可以划分为更小的编码单元(codingunit，简称为CU)，这些编码单元可以细分为最小8x8像素。此外，与H.264/AVC不同，HEVC支持编码单元到预测单元(predictionunit，简称PU)的非对称块分区(asymmetricblockpartitioning，简称AMP)。HEVC的所述块分区完全基于矩形块。对于在自然视频序列中较为常见的任意形状的移动物体，可以沿物体边界进行非常精细的块分区。由于边界两侧的运动向量在方向和幅度上相似，因此引入了编码开销。也就是说，需要传输额外的边信息，以便描述所述精细块分区和冗余运动向量。通过应用不同的块分区策略可以避免这个问题。在视频编码中，通常有以下块分区方法：矩形块分区、几何块分区和基于对象的块分区。这些不同分区方法的示例在图9中示出，图中示出了移动前景目标和移动背景的简单场景。HEVC的四叉树PU分区，以及相关的四叉树-二叉树分区法是矩形块分区的代表。通过将具有直线的块分成两个分段(在此也称为楔形)来实现几何分区。基于对象的分区是块分区最灵活的方式，因为块可以划分为任意形状的分段。然而，更灵活的块分区会带来以下挑战：与矩形块分区相比，可能需要发送更多的边信息给分区结构。另外，确定编码器处的分区通常会使复杂性显著增加。在现有技术中，例如在HEVC中，最佳分区的确定是编码器的任务。通常，比率失真优化用于确定穷尽搜索中的分区。此外，所述比率失真优化对于多种内部和外部条件具有高度的针对性，例如编码器实现、目标比特率、质量、应用场景等。HEVC中的块分区也局限于编码块的矩形分区。详细地，这意味着可以将方形编码块分成两个矩形预测块，其中每个预测块与最多两个运动向量相关联。与在AVC中一样，指定了水平和垂直分成两个大小相等的矩形块。在此扩展中，指定了四种不对称分区，以进一步提高灵活性。因此，总共在HEVC中指定了八种分区模式。将运动的时间投影的简化方法用于运动向量的编码。在合并模式中，合并候选列表由空间和时间相邻运动向量构成。对于所述空间运动向量，使用当前图片的运动向量场，所述运动向量场包含与当前图片的块相关联的运动向量。在当前预测块周围的特定位置处采样的运动向量被添加到所述合并候选列表。对于所述时间运动向量，使用参考图片的运动向量场。这里，在两个并置位置对所述运动向量场进行采样，其中所述并置位置表示为C0和C1，如图10所示。假设所述当前图片和参考图片的所述运动向量场高度相关并且不会发生显著变化，可以预期，在所述参考图片运动向量场中的位置C0或C1处，可以发现运动预测值。
技术实现思路
鉴于上述问题和缺点，本专利技术的目的是改进视频编码的现有技术。本专利技术的特定目的是提供一种编码器和解码器，以采用预测块分区方法。因此，本专利技术希望改进块分区相关边信息的编码，并改进具体为几何分区和基于对象的分区的块分区方法，例如基于分段的分区(segmentation-based-partitioning，简称SBP)。本专利技术的目的通过所附独立权利要求中提供的解决方案实现。本专利技术的有利的实现方案在从属权利要求中进一步定义。具体地，本专利技术提出使用基于至少一个参考图片的运动向量场的时间投影过程，以便生成分区预测值，用于当前图片的块分区。图片的运动向量场通常包含与所述图片的块相关联的运动向量。也就是说，所述参考图片的运动向量场包含与所述参考图片中的块相关联的运动向量。本专利技术的第一方面提供一种视频编码器，所述编码器用于：选择至少一个参考图片和所述至少一个参考图片中的多个块；基于与所述参考图片中的所选块相关联的运动向量，计算每个所选块在当前图片中的投影位置；将每个投影位置与所述当前图片中的所述块在空间上重叠的所选块确定为参考块；并基于与所述至少一个参考图片相关联的分区信息，例如，存储在所述至少一个参考图片中的分区信息，为至少一个参考块生成分区预测值。根据所述第一方面，实现了预测块分区。具体地，例如，已经编码的图片的运动向量场，可以根据对象的运动等在时间上投影分区结构，使得其可以用作所述当前图片中的分区预测值。也就是说，所述分区预测值是要应用于所述当前图片中的编码块的分区结构的预测。换句话说，所述分区预测值是对所述当前编码块的最佳分区的估计。可以对所有现有的块分区方法进行分区信息的投影，例如，对于基于矩形、基于几何和基于对象的分区进行投影。利用所述预测块分区，可以获得特定的好处。首先，可以生成当前编码块的分区结构的预测(分区预测值)，例如，可以由当前块直接使用，并且可以通过预测值标志或预测值索引发送，以防存在多个预测值。如果几个所选块已确定为参考块，并且计算多个参考块的分区预测值，则可能出现上述情况。在根据比率失真标准有益的情况下，可以使用差分编码方法进一步细化分区预测值。其次，所述分区预测值可以用作所述编码器的比率失真优化的起点。也就是说，所述编码器可以用于：基于至少一个分区预测值，来划分当前图片中的块。因此，可以使用快速决策方法，这种方法在指定数量的细化步骤之后，或如果已经实现的比率失真成本低于指定阈值，会结束所述比率失真优化。这降低了复杂性，并加快了编码速度。根据所述第一方面，在所述编码器的第一种实施方式中，所述编码器用于：基于与所述参考图片中的所选块相关联的运动向量和所述当前图片与所述至少一个参考图片之间的在时间上的图像顺序编号(pictureordercount，简称POC)距离，计算每个所选块在时间上的运动轨迹，并基于所述参考图片中所选块的位置和所述运动轨迹，计算每个所选块的所述投影位置。通过这种方式可以精确和有效地计算所述运动轨迹。根据所述第一方面的第一种实施方式，在所述编码器的第二种实施方式中，所述编码器用于：根据两个POC距离的比值，即所述当前图片和参考图片的所述POC距离与所述参考图片和与所选块相关联的参考图片之间的所述POC距离的比值，通过与所选块相关联的运动向量的反转和缩放，来计算所述运动轨迹。该实现方式是预测块分区的实际实现方式。根据所述第一方面或根据所述第一方面的前述任一实施方式，在所述编码器的第三种实施方式中，在每个参考图片中选择的所述多个块，包括所述参考图片的所有块，或以当前图片中所述块的位置为中心的投影范围内所述参考图片的块。第一种替代方案提供了最高精度的预测性块分区，但是计算成本随之增加。第二种替代方案是可靠且具有计算成本效益的方案。根据所述第一方面或根据所述第一方面的前述任一实施方式，在本文档来自技高网...

【技术保护点】
1.一种视频编码器(100)，其特征在于，所述视频编码器用于：选择至少一个参考图片(303a)和所述至少一个参考图片(303a)中的多个块(304a)；基于与所述参考图片(303a)中的所选块(304a)相关联的运动向量，计算每个所选块(304a)在当前图片(302)中的投影位置；将每个投影位置与所述当前图片(302)中的块(301)在空间上重叠的所选块(304a)确定为参考块；基于与所述至少一个参考图片(303a)相关联的分区信息，为至少一个参考块生成所述当前块(301)的分区预测值。

【技术特征摘要】
【国外来华专利技术】1.一种视频编码器(100)，其特征在于，所述视频编码器用于：选择至少一个参考图片(303a)和所述至少一个参考图片(303a)中的多个块(304a)；基于与所述参考图片(303a)中的所选块(304a)相关联的运动向量，计算每个所选块(304a)在当前图片(302)中的投影位置；将每个投影位置与所述当前图片(302)中的块(301)在空间上重叠的所选块(304a)确定为参考块；基于与所述至少一个参考图片(303a)相关联的分区信息，为至少一个参考块生成所述当前块(301)的分区预测值。2.根据权利要求1所述的视频编码器(100)，其特征在于，所述视频编码器用于：基于与所述参考图片(303a)中的所选块(304a)相关联的所述运动向量和所述当前图片(302)与所述至少一个参考图片(303a)之间的在时间上的图像顺序编号(pictureordercount，简称POC)距离(306)，计算每个所选块(304a)在时间上的运动轨迹(305)；基于所述参考图片(303a)中所选块(304a)的位置和所述运动轨迹(305)，计算每个所选块(304a)的所述投影位置。3.根据权利要求2所述的视频编码器(100)，其特征在于，所述视频编码器用于：根据两个POC距离的比值，即所述当前图片(302)和所述参考图片(303a)之间的所述POC距离(306)与所述参考图片(303a)和与所选块(304a)相关联的参考图片(303b)之间的所述POC距离(306)的比值，通过与所选块(304a)相关联的所述运动向量的反转和缩放，来计算所述运动轨迹(305)。4.根据权利要求1至3之一所述的视频编码器(100)，其特征在于，每个参考图片(303a)中所选的多个块(304a)包括：所述参考图片(303a)的所有块，或以所述当前图片(302)中所述块(301)的位置为中心的投影范围内所述参考图片(303a)的块。5.根据权利要求1至4之一所述的视频编码器(100)，其特征在于，用于：构造和输出包括多个索引分区预测值的列表。6.根据权利要求1至5之一所述的视频编码器(100)，其特征在于，所述至少一个分区预测值包括至少一个：几何分区(501)的行参数、基于对象的分区(502)的边界运动向量和矩形分区信息。7.根据权利要求6所述的视频编码器(100)，其特征在于：所述行参数由所述参考块边界处的极坐标或截断点指定，和/或所述边界运动向量指定参考图片中的分区边界。8.根据权利要求1至7之一所述的视频编码器(100)，其特征在于，所述视频编码器用于：使用所述至少一个分区预测值，为所述当前图片(302)中的所述块(301)生成初始分区。9.根据权利要求1至8之一所述的视频编码器(100)，其特征在于，所述视频编码器用于：向解码器(200)发送所述至少一个分区预测值或至少一个索引，所述索引指向所述至少一个分区预测值在索引分区预测值列表中的位置。10.根据权利要求1至9之一所述的视频编码器(100)，其特征在于，所述编码器(100)用于：向解码器(200)发送所述至少一个分区预测值和应用于所述当前图片(302)中的所述块的最终分区之间的差异信息。11.一种视频解码器(200)，其特征在于，所述视频解码器(200)用于：获得差异信息；选择至少一个参考图片(303a)和所述至少一个参考图片(303a)中的多个块(304a)；基于与所述参考图片(303a)中的所选块(304a)相关联的运动向量，计算每个所选块(304a)在当前图片(302)中的投影位置；将每个投影位置与所述当前图片(30...

【专利技术属性】
技术研发人员：赵志杰，马克斯·布莱瑟，麦蒂尔斯·韦恩，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44