视频编码系统和方法中的运动向量选择和预测技术方案

本文提供了用于使用递归编码块分割方案对视频帧序列中的未编码视频帧进行编码的系统和方法。在将帧划分成最大允许尺寸的像素区域(LCB尺寸的编码块)之后，可以将每个LCB尺寸的编码块候选项(“LCBC”)分割成较小的CBC。该过程可以递归地继续直到编码器确定(1)当前CBC适合于编码(例如，因为当前CBC仅包含单个值的像素)或(2)当前CBC是用于特定实现方式的编码块候选项的最小尺寸，例如2×2、4×4等(“MCBC”)，以先到者为准。然后可以使用两种帧内预测技术中的一种将预测值分配给编码块的像素：非平方模板匹配技术或定向预测技术。

Motion vector selection and prediction in video coding systems and methods

This paper provides a system and method for coding the uncoded video frames in the video frame sequence using the recursive coding block segmentation scheme. After the frame is divided into a pixel area of the maximum allowable size (LCB size encoding block), the encoding block candidate option (\LCBC\) of each LCB size can be divided into smaller CBCS. This process may continue recursively until the encoder determines (1) that the current CBC is suitable for encoding (for example, because the current CBC contains only pixels of a single value) or (2) that the current CBC is the minimum size of encoding block candidate options for a particular implementation, such as 2 * 2, 4 * 4, etc. (\MCBC\), whichever comes first. Then one of the two intra prediction techniques can be used to assign the predicted value to the pixels of the encoding block: non square template matching technique or directional prediction technique.

【技术实现步骤摘要】
【国外来华专利技术】视频编码系统和方法中的运动向量选择和预测相关申请的交叉引用本申请是2015年12月22日提交的标题为“MotionVectorSelectionandPredictioninVideoCodingSystemsandMethods(视频编码系统和方法中的运动向量选择和预测)”(代理人案卷号为REAL-2015731)的PCT申请PCT/CN2015/098329的部分继续申请，其是2015年3月31日提交的标题为“MotionVectorSelectionandPredictioninVideoCodingSystemsandMethods(视频编码系统和方法中的运动向量选择和预测)”(代理人案卷号为REAL-2015693)的PCT申请PCT/CN2015/075599的部分继续申请，上述申请的整个公开内容在此出于所有目的并入本文。
本公开涉及视频信号的编码和解码，并且更具体地，涉及针对视频序列的帧选择预测运动向量。
技术介绍
诸如数字图像、语音/音频、图形和视频的数字多媒体的出现由于其相对容易实现内容的可靠存储、通信、传输、以及搜索和访问而显著改进了各种应用并且打开了品牌新应用。总体而言，数字多媒体的应用领域非常广泛，涵盖娱乐、信息、医学和安全性等广泛领域，并以多种方式使社会受益。由诸如相机和麦克风的传感器捕获的多媒体通常是模拟的，并且以脉冲编码调制(PCM)形式进行的数字化过程使其成为数字。然而，就在数字化之后，作为重新创建扬声器和/或电视显示器所需的模拟表示所需的结果数据量可能会非常大。因此，大量数字多媒体内容的有效通信、存储或传输需要将其从原始PCM形式压缩为压缩表示。因此，已经专利技术了许多用于多媒体压缩的技术。多年来，视频压缩技术已经变得非常复杂，以至于它们通常可以达到10与100之间的高压缩系数，同时又保持了很高的心理视觉质量，通常类似于未压缩的数字视频。迄今为止，虽然在视频压缩的艺术和科学方面已取得了巨大的进步(如众多标准机构驱动的视频编码标准(诸如MPEG-1、MPEG-2、H.263、MPEG-4part2、MPEG-4AVC/H.264、MPEG-4SVC和MVC)、以及行业驱动的专有标准(诸如WindowsMediaVideo、RealVideo、On2Vp等)所展示的)，但消费者对更高质量、更高清晰度的需求的日益增长，以及现在的可用于访问的3D(立体声)视频无论何时何地，只要有必要就可以经由诸如DVD/BD的各种手段通过空中广播、电缆/卫星、有线和移动网络输送到各种客户端设备(诸如PC/膝上型电脑、电视、机顶盒、游戏机、便携式媒体播放器/设备、智能电话和可穿戴计算设备)激起了对更高水平视频压缩的需求。在标准机构驱动的标准中，ISOMPEG最近在高效率视频编码方面所做的努力就证明了这一点，所述技术有望通过ITU-T标准委员会将来自H.265视频压缩多年探索性工作的新技术贡献和技术相结合。所有前述标准都采用通用的帧内/帧间预测编码框架，以便减少编码位流中的空间和时间冗余。帧间预测的基本概念是通过使用块匹配方法消除相邻图片之间的时间依赖性。在编码过程开始时，未编码视频序列的每个帧被分组成以下三类之一：I型帧、P型帧和B型帧。I型帧是帧内编码的。也就是说，仅将来自帧本身的信息用于对图片进行编码，并且不使用帧间运动补偿技术(但是可以应用帧内运动补偿技术)。其他两种类型的帧(P型和B型)使用帧间运动补偿技术进行编码。P图片与B图片之间的差异是用于运动补偿的参考图片的时间方向。P型图片按显示次序利用来自先前图片的信息，而B型图片可以按显示次序利用来自先前图片和未来图片的信息。对于P型帧和B型帧，每个帧被划分成用每个像素的亮度和色度分量的系数表示的像素块，并针对每个块获得一个或多个运动向量(因为B型图片可以利用来自未来和过去编码帧的信息，可以针对每个块对两个运动向量进行编码)。运动向量(MV)表示从当前块的位置到另一个先前编码帧(按显示次序可以是过去或未来帧)中的相似块(分别称为参考块和参考帧)的位置的空间位移。计算参考块与当前块之间的差以生成残差(也称为“残差信号”)。因此，对于帧间编码帧的每个块，仅需要对残差和运动向量进行编码，而无需对块的全部内容进行编码。通过消除视频序列的帧之间的这种时间冗余，可以压缩视频序列。为了进一步压缩视频数据，在已应用帧间或帧内预测技术之后，通常将残差信号的系数从空间域变换为频域(例如，使用离散余弦变换(“DCT”))或离散正弦变换(“DST”)。对于自然出现的图像，诸如通常构成人类可感知视频序列的图像类型，低频能量始终比高频能量强。因此，频域中的残差信号比空间域中的残差信号具有更好的能量压缩效果。在正向变换之后，可以对系数和运动向量进行量化和熵编码。在解码器侧上，应用逆量化和逆变换来恢复空间残差信号。这些是所有视频压缩标准中的典型变换/量化过程。然后可以执行反向预测过程以便生成原始未编码视频序列的重新创建的版本。在过去的标准中，编码中所使用的块通常为16×16像素(在许多视频编码标准中称为宏块)。然而，由于这些标准的发展，因此帧尺寸变得更大，并且许多设备已经获得了显示比“高清晰度”(或“HD”)帧尺寸(诸如2048×1530像素)更高的功能。因此，可能希望具有更大的块以针对这些帧尺寸(例如，64×64像素)有效地对运动向量进行编码。然而，由于分辨率的对应提高，因此可能还希望能够以相对较小的规模(例如，4×4像素)执行运动预测和变换。随着运动预测分辨率提高，对于每帧以及整个视频序列来说，编码和传输运动向量所需的带宽量都将增加。附图说明图1示出了根据至少一个实施例的示例性视频编码/解码系统。图2示出了根据至少一个实施例的示例性编码设备的若干组件。图3示出了根据至少一个实施例的示例性解码设备的若干组件。图4示出了根据至少一个实施例的示例性视频编码器的框图。图5示出了根据至少一个实施例的示例性视频解码器的框图。图6示出了根据至少一个实施例的示例性运动向量选择例程。图7示出了根据至少一个实施例的示例性运动向量候选项生成子例程。图8示出了根据至少一个实施例的示例性运动向量恢复例程。图9示出了根据至少一个实施例的示例性8×8预测块的示意图。图10A至图10B示出了根据至少一个实施例的替代示例性运动向量候选项生成子例程。图11示出了根据至少一个实施例的示例性递归编码块分割方案的示意图。图12示出了根据至少一个实施例的示例性编码块索引例程。图13示出了根据至少一个实施例的示例性编码块分割子例程。图14A至图14C示出了根据至少一个实施例的图11所示的示例性递归编码块分割方案的应用的示意图。图15A至图15B示出了根据至少一个实施例的与相应视频帧的部分相对应的像素的两个区域的示意图。图16示出了包括图15A所示的像素区域的视频帧的示意图。图17示出了根据至少一个实施例的示例性矩形编码块预测值选择本文档来自技高网...

【技术保护点】
1.一种对视频帧序列中的未编码视频帧进行编码以生成表示所述未编码视频帧的编码位流的方法，所述未编码视频帧包括像素阵列，并且表示所述未编码视频帧的所述编码位流至少包括报头和视频数据载荷，所述方法包括：/n获得所述像素阵列；/n沿多个水平轴和竖直轴划分所述像素阵列，从而创建多个最大尺寸的编码块；以及/n对于所述多个最大尺寸的编码块中的一个编码块：/n(a)确定所述编码块应被编码还是进一步划分；/n(b)在确定所述编码块应被编码时：/n(b.1)创建所述编码块的编码版本；/n(b.2)在表示所述未编码视频帧的所述编码位流的所述报头中提供已经创建了所述编码块的所述编码版本的指示；并且/n(b.3)在表示所述未编码视频帧的所述编码位流的所述视频数据载荷中提供所述编码块的所述编码版本；以及/n(c)在确定所述编码块时应进一步划分时：/n(c.1)沿水平横轴和竖直横轴中的至少一者划分所述编码块，从而创建多个新的编码块；/n(c.2)在表示所述未编码视频帧的所述编码位流的所述报头中提供所述编码块被进一步划分的指示；并且/n(c.3)对于所述多个新编码块中的一个编码块，递归地执行(a)-(c)。/n

【技术特征摘要】
【国外来华专利技术】1.一种对视频帧序列中的未编码视频帧进行编码以生成表示所述未编码视频帧的编码位流的方法，所述未编码视频帧包括像素阵列，并且表示所述未编码视频帧的所述编码位流至少包括报头和视频数据载荷，所述方法包括：
获得所述像素阵列；
沿多个水平轴和竖直轴划分所述像素阵列，从而创建多个最大尺寸的编码块；以及
对于所述多个最大尺寸的编码块中的一个编码块：
(a)确定所述编码块应被编码还是进一步划分；
(b)在确定所述编码块应被编码时：
(b.1)创建所述编码块的编码版本；
(b.2)在表示所述未编码视频帧的所述编码位流的所述报头中提供已经创建了所述编码块的所述编码版本的指示；并且
(b.3)在表示所述未编码视频帧的所述编码位流的所述视频数据载荷中提供所述编码块的所述编码版本；以及
(c)在确定所述编码块时应进一步划分时：
(c.1)沿水平横轴和竖直横轴中的至少一者划分所述编码块，从而创建多个新的编码块；
(c.2)在表示所述未编码视频帧的所述编码位流的所述报头中提供所述编码块被进一步划分的指示；并且
(c.3)对于所述多个新编码块中的一个编码块，递归地执行(a)-(c)。


2.根据权利要求1所述的方法，其中所述多个最大尺寸的编码块中的编码块的水平尺寸为六十四像素，垂直尺寸为六十四像素，并且所述多个新编码块中的编码块的水平尺寸为至少两像素，垂直尺寸为至少两像素。


3.根据权利要求1所述的方法，其中：
(b.2)包括将第一值分配给与所述编码块相关联的编码块分割标志，并且在表示所述未编码视频帧的所述编码位流的所述报头中提供所述编码块分割标志，所述第一值指示创建了所述编码块的所述编码版本并将其提供在表示所述未编码视频帧的所述编码位流的所述视频数据载荷中；并且
(c.2)包括将第二值、第三值或第四值之一分配给与所述当前编码块相关联的所述编码块分割标志；并且在表示所述未编码视频帧的所述编码位流的所述报头中提供所述编码块分割标志，所述第二值指示所述编码块沿所述水平横轴划分，所述第三值指示所述编码块沿所述竖直横轴划分，并且所述第四值指示所述编码块沿所述水平横轴和所述竖直横轴划分。


4.根据权利要求3所述的方法，其中，所述编码块具有以像素为单位测量的竖直尺寸和以像素为单位测量的水平尺寸，(c.1)包括确定所述竖直尺寸大于所述水平尺寸，并沿所述水平横轴划分所述编码块；(c.2)包括将所述第二值分配给所述编码块分割标志。


5.根据权利要求4所述的方法，其中所述竖直尺寸是所述水平尺寸的两倍。


6.根据权利要求3所述的方法，其中，所述编码块具有以像素为单位测量的竖直尺寸和以像素为单位测量的水平尺寸，(c.1)包括确定所述竖直尺寸小于所述水平尺寸，并沿所述竖直横轴划分所述编码块；(c.2)包括将所述第三值分配给所述编码块分割标志。


7.根据权利要求6所述的方法，其中所述竖直尺寸是所述水平尺寸的一半。


8.根据权利要求3所述的方法，其中，所述编码块具有以像素为单位测量的竖直尺寸和以像素为单位测量的水平尺寸，(c.1)包括确定所述竖直尺寸等于所述水平尺寸，并沿所述水平横轴划分所述编码块；(c.2)包括将所述第二值分配给所述编码块分割标志。


9.根据权利要求3所述的方法，其中，所述编码块具有以像素为单位测量的竖直尺寸和以像素为单位测量的水平尺寸，(c.1)包括确定所述水平尺寸等于所述竖直尺寸，并沿所述竖直横轴划分所述编码块；(c.2)包括将所述第三值分配给所述编码块分割标志。


10.根据权利要求3所述的方法，其中，所述编码块具有以像素为单位测量的竖直尺寸和以像素为单位测量的水平尺寸，(c.1)包括确定所述水平尺寸等于所述竖直尺寸，并沿所述水平横轴和所述竖直横轴划分所述编码块；(c.2)包括将所述第四值分配给所述编码块分割标志。


11.一种对视频帧序列中的未编码视频帧进行编码以生成表示所述未编码视频帧的编码位流的方法，所述未编码视频帧包括像素阵列，所述像素阵列包括已处理像素区域和未处理像素区域，所述已处理像素区域具有与之相关联的预测值并且第二区域不具有与之相关联的预测值，并且表示所述未编码视频帧的所述编码位流至少包括报头和视频数据载荷，所述方法包括：
(a)获得所述未处理像素区域的第一像素块，所述第一像素块具有第一宽度和第一高度；
(b)从所述已处理像素区域中选择预测区域，所述预测区域包括呈第一空间配置的多个第一像素，所述预测模板具有第一空间配置并且相对于所述第一像素块处于第一位置；
(c)标识所述已处理像素区域内的像素匹配布置，所述像素匹配布置包括呈所述第一空间配置并且相对于第二像素块处于所述第一位置的多个第二像素，所述第二...

【专利技术属性】
技术研发人员：朱维佳，蔡家扬，
申请(专利权)人：真实网络公司，
类型：发明
国别省市：美国;US