视频编码中的帧内图片预测系统和方法技术方案

用于为视频编码器和解码器提供帧内预测的系统和方法，其中，视频编码器和解码器根据编码块的尺寸利用适当数量的预测模式。小于N×N像素(例如，16×16像素)的编码块可具有第一数量(例如，35个)的可能帧内预测模式，以及大于或等于N×N像素的编码块具有较大的第二数量(例如，67个)的可能模式。还提供了用于对适当数量的帧内预测模式编码和解码使得需要存储和/或传输已编码信息的数据最少化的系统和方法。可针对忽略相邻块的、不是正在处理的当前块的可能模式的候选帧内预测模式的每个块生成候选模式列表，使得视频编码器和解码器可在各种尺寸的块之间处理适当数量的模式。

【技术实现步骤摘要】
【国外来华专利技术】视频编码中的帧内图片预测系统和方法
本公开大体涉及视频处理，并且更具体地，涉及帧内预测系统和方法。
技术介绍
诸如数字化图像、语音/音频、图形和视频的数字多媒体的出现显著地改善了各种应用并且开辟了全新的应用，因为通过其相对容易实现可靠的存储、通信、传输和搜索以及实现对内容的访问。总体上，数字多媒体的应用众多、涵盖范围广，包括娱乐、信息、医药和安全，并且已经以诸多方式使社会受益。通过传感器(诸如，相机和麦克风)所捕获的多媒体通常是模拟形式，并且通过脉冲编码调制(PCM)形式的数字化过程对其进行数字化。然而，紧接于数字化之后，所得到的数据的量可能非常大，因为需要重新创建扬声器和/或TV显示器所需的模拟表现形式。因此，大容量的数字多媒体内容的高效的通信、存储或传输要求其从原始PCM形式被压缩成经压缩的表现形式。因此，专利技术了用于压缩多媒体的诸多技术。多年来，视频压缩技术的发展得已非常成熟，这些技术通常可在保留高的心理视觉质量的同时实现处于10和100之间的高压缩系数，通常类似于未压缩的数字视频。虽然在视频压缩的技术和科学领域中，迄今已取得了巨大的进步(如通过大量标准机构驱动的视频编码标准(诸如，MPEG-1、MPEG-2、H.263、MPEG-4第二部分、MPEG-4AVC/H.264、HEVC、AV1、MPEG-4SVC和MVC)以及工业驱动的专有标准(诸如WindowsMediaVideo、RealVideo、On2VP等)所展现的那样)，但是，消费者对于随时随地可访问的甚至更高质量、更高清晰度以及目前的3D(立体声)视频的日益增长的兴趣，已经使得通过诸如DVD/BD、无线广播、电缆/卫星、有线和移动网络的各种方式传递至一系列客户端设备(诸如，PC/膝上型电脑、电视、机顶盒、游戏机、便携式媒体播放器/设备、智能电话以及可穿戴计算设备)成为必然，从而刺激了对于更高水平的视频压缩的期望。在标准机构驱动的标准中，ISOMPEG最近在高效视频编码方面开始的尝试证实了这一现象，其期望将新的技术贡献和来自对ITU-T标准化部门的H.265视频压缩的数年的探索性研究的技术相结合。全部上述标准采用常规的帧内/帧间预测编码框架，以减少已编码的比特流中的空间和时间冗余。帧间预测的基本构思是：通过使用块匹配方法消除相邻图片之间的时间关联性。在编码过程开始时，未编码视频序列的每个帧组合成I型帧、P型帧和B型帧这三个类别之一。I型帧是帧内编码的。换言之，仅使用来自帧本身的信息对图片进行编码，并且没有使用帧间运动补偿技术(尽管可应用帧内运动补偿技术)。其他两种帧类型，P型和B型，使用帧间运动补偿技术来编码。P图片和B图片之间的差异在于用于运动补偿的参照图片的时间方向。P型图片按照显示顺序使用来自先前图片的信息，然而，B型图片可按照显示顺序使用来自先前和未来图片二者的信息。对于P型帧和B型帧，之后将每个帧划分成通过每个像素的亮度和色度分量的系数表示的像素块，并且针对每个块获得一个或多个运动矢量(因为B型图片可使用来自未来和过去显示的帧二者的信息，所以对于每个块，可对两个运动矢量进行编码)。运动矢量(MV)表示从当前块的位置到另一个先前已编码帧(可以是按照显示顺序的过去帧或未来帧)中的相似块的位置的空间位移，上述块和帧分别被称为参考块和参考帧。计算参考块和当前块之间的差异以生成残差(也称为“残差信号”)。因此，对于帧间编码帧的每个块，仅需要对残差和运动矢量编码，而不是对块的全部内容编码。通过消除视频序列的帧之间的这种时间冗余，可对视频序列进行压缩。为了进一步压缩视频数据，在应用帧间或帧内帧预测技术之后，通常将残差信号的系数从空间域变换到频率域(例如，利用离散余弦变换(DCT)或离散正弦变换(DST))。对于自然生成的图像，诸如通常组成人类可察觉的视频序列的那种图像，低频率能量总是强于高频率能量。因此，相比于空间域，残差信号在频率域中获得更好的能量压缩。在正向变换之后，可对系数和运动矢量进行量化和熵编码。在视频解码器侧，应用逆量化和逆变换以恢复空间残差信号。这些是所有视频压缩标准中的典型变换/量化过程。然后，可执行反向预测过程，以生成原始未编码视频序列的重新创建的版本。在过去的标准中，在编码中使用的块通常为十六乘十六像素(在诸多视频编码标准中被称为微块)。然而，随着这些标准的发展，帧尺寸已经发展成更大，并且诸多设备已经获得显示诸如1920×1080像素的高于“高清”(或HD)帧尺寸的能力。因此，对于这些帧尺寸(例如，64×64)的像素，可能期望具有更大的块来高效地对运动矢量进行编码。然而，因为分辨率相应地增加，所以也可能期望能够对相对小规模(例如，4×4)的像素执行运动预测和变换。
技术实现思路
视频解码方法可概述为包括：通过视频解码器接收指示待用作当前块的帧内预测模式的帧内预测模式的索引信息；通过视频解码器导出候选模式列表的至少一部分，该部分包括用于当前块的一个或多个候选帧内预测模式，其中，导出候选模式列表包括：确定多个相邻块的每个帧内预测模式是否为当前块的多个可能候选帧内预测模式之一，多个可能候选帧内预测模式取决于当前块的尺寸；忽略多个相邻块的、不是当前块的可能候选模式之一的任何帧内预测模式；如果存在确定为当前块的可能候选模式的帧内预测模式，则对帧内预测模式中的每一个，根据通过多个相邻块中的每一个相对于当前块的各位置确定的顺序，将帧内预测模式分配到候选模式列表中的索引位置；以及根据预定顺序，将一个或多个剩余候选模式分配到候选模式列表的未分配的索引位置中的相应索引位置；基于所接收的索引信息，通过视频解码器确定在所导出的候选模式列表中的候选模式中的哪个候选模式将用作当前块的帧内预测模式；以及基于所确定的当前块的帧内预测模式，通过视频解码器对当前块执行帧内预测，以生成与当前块对应的预测块。接收索引信息可包括：接收MPM索引信息和剩余模式信息中的至少一个以及MPM标志信息。接收索引信息可包括：接收包括一比特或两比特的MPM索引信息和包括五比特或六比特的剩余模式信息中的至少一个以及一比特的MPM标志。候选模式列表可包括最可能模式子列表和非-MPM子列表，MPM子列表包括定位在候选模式列表的索引位置0至2处的候选帧内预测模式，以及非-MPM子列表包括定位在候选模式列表的索引位置3至N-1处的候选帧内预测模式，其中，N可以是当前块的可能候选模式的数量，以及其中，接收索引信息可包括：接收指示候选帧内预测模式是否位于MPM子列表中的MPM标志。接收索引信息可包括：接收指定MPM子列表中的索引位置的截断的一元编码。确定多个相邻块的每个帧内预测模式是否为当前块的可能候选模式之一可包括：确定三个相邻块的每个帧内预测模式是否为当前块的可能候选模式之一。三个相邻块可包括分别为邻近当前块的左上侧像素的相邻块。当前块可包括第一数量的可能帧内预测模式，以及至少一个相邻块可包括第二数量的可能帧内预测模式，第二数量大于第一数量。如果当前块具有小于N×N像素的尺寸，则当前块可具有第一数量的可能帧内预测模式，其中，具有大于或等于N×本文档来自技高网...

【技术保护点】
1.视频解码方法，包括：/n通过视频解码器接收指示待用作当前块的帧内预测模式的帧内预测模式的索引信息；/n通过所述视频解码器导出候选模式列表的至少一部分，所述至少一部分包括所述当前块的一个或多个候选帧内预测模式，其中，导出所述候选模式列表包括：/n确定多个相邻块的每个帧内预测模式是否为所述当前块的多个可能候选帧内预测模式之一，所述多个可能候选帧内预测模式取决于所述当前块的尺寸；/n忽略所述多个相邻块的、不是所述当前块的可能候选模式之一的任何帧内预测模式；/n如果存在确定为所述当前块的可能候选模式的帧内预测模式，则对所述帧内预测模式中的每一个，根据通过所述多个相邻块中的每一个相对于所述当前块的各位置确定的顺序，将所述帧内预测模式分配到所述候选模式列表中的索引位置；以及/n根据预定顺序，将一个或多个剩余候选模式分配到所述候选模式列表的未分配的索引位置中的相应索引位置；/n基于所接收的索引信息，通过所述视频解码器确定在所导出的候选模式列表中的候选模式中的哪个候选模式将用作所述当前块的帧内预测模式；以及/n基于所确定的所述当前块的帧内预测模式，通过所述视频解码器对所述当前块执行帧内预测，以生成与所述当前块对应的预测块。/n...

【技术特征摘要】
【国外来华专利技术】1.视频解码方法，包括：
通过视频解码器接收指示待用作当前块的帧内预测模式的帧内预测模式的索引信息；
通过所述视频解码器导出候选模式列表的至少一部分，所述至少一部分包括所述当前块的一个或多个候选帧内预测模式，其中，导出所述候选模式列表包括：
确定多个相邻块的每个帧内预测模式是否为所述当前块的多个可能候选帧内预测模式之一，所述多个可能候选帧内预测模式取决于所述当前块的尺寸；
忽略所述多个相邻块的、不是所述当前块的可能候选模式之一的任何帧内预测模式；
如果存在确定为所述当前块的可能候选模式的帧内预测模式，则对所述帧内预测模式中的每一个，根据通过所述多个相邻块中的每一个相对于所述当前块的各位置确定的顺序，将所述帧内预测模式分配到所述候选模式列表中的索引位置；以及
根据预定顺序，将一个或多个剩余候选模式分配到所述候选模式列表的未分配的索引位置中的相应索引位置；
基于所接收的索引信息，通过所述视频解码器确定在所导出的候选模式列表中的候选模式中的哪个候选模式将用作所述当前块的帧内预测模式；以及
基于所确定的所述当前块的帧内预测模式，通过所述视频解码器对所述当前块执行帧内预测，以生成与所述当前块对应的预测块。


2.如权利要求1所述的视频解码方法，其中，接收所述索引信息包括：接收MPM标志信息和剩余模式信息中的至少一个以及MPM标志信息。


3.如权利要求2所述的视频解码方法，其中，接收所述索引信息包括：接收包括一比特或两比特的MPM索引信息和包括五比特或六比特的剩余模式信息中的至少一个以及一比特MPM标志。


4.如权利要求1所述的视频解码方法，其中，所述候选模式列表包括最可能模式(MPM)子列表和非-MPM子列表，所述MPM子列表包括定位在所述候选模式列表的索引位置0至2处的候选帧内预测模式，以及所述非-MPM子列表包括定位在所述候选模式列表的索引位置3至N-1处的候选帧内预测模式，其中，N是所述当前块的可能候选模式的数量，以及
其中，接收所述索引信息包括：接收指示所述候选帧内预测模式是否位于所述MPM子列表中的MPM标志。


5.如权利要求4所述的视频解码方法，其中，接收所述索引信息包括：接收指定所述MPM子列表中的索引位置的截断的一元编码。


6.如权利要求1所述的视频解码方法，其中，确定用于所述多个相邻块的每个帧内预测模式是否为所述当前块的可能候选模式之一包括：确定三个相邻块的每个帧内预测模式是否为所述当前块的可能候选模式之一。


7.如权利要求6所述的视频解码方法，其中，所述三个相邻块包括分别为邻近所述当前块的左上侧像素的相邻块。


8.如权利要求1所述的视频解码方法，其中，所述当前块包括第一数量的可能帧内预测模式，并且至少一个相邻块包括第二数量的可能帧内预测模式，所述第二数量大于所述第一数量。


9.如权利要求1所述的视频解码方法，其中，如果所述当前块的尺寸小于N×N像素，则所述当前块具有第一数量的可能帧内预测模式，其中，尺寸大于或等于N×N像素的块具有第二数量的可能帧内预测模式，所述第一数量小于所述第二数量。


10.如权利要求9所述的视频解码方法，其中，N等于16。


11.如权利要求1所述的视频解码方法，其中，根据预定顺序将所述一个或多个剩余候选模式分配到所述候选模式列表的未分配的索引位置包括：按照升序顺序，将所述一个或多个剩余候选模式分配到所述候选模式列表的未分配的索引位置。


12.如权利要求1所述的视频解码方法，其中，第一尺寸范围中的块的所述可能帧内预测模式包括35个帧内预测模式，以及第二尺寸范围中的块的可能帧内预测模式包括67个帧内预测模式。

...

【专利技术属性】
技术研发人员：朱维佳，蔡家扬，
申请(专利权)人：真实网络公司，
类型：发明
国别省市：美国;US