在视频编码过程中视频帧的并行处理制造技术

公开了用于压缩图像的数据的技术。可以确定中间像素。图像的每个位置可以与第一大小的多个块中的块和第二大小的多个块中的块相关联。对于第一大小和第二大小的每个块，可以使用中间像素以并行方式确定第一模式的第一成本和第二模式的第二成本。可以针对图像的每个位置，使用与对应位置相关联的第一大小的相应块和第二大小的相应块中的每个块的所述第一成本和所述第二成本，选择最终模式和最终块大小。可以确定最终像素，并且可以基于最终像素获得图像的表示。获得图像的表示。获得图像的表示。

【技术实现步骤摘要】
【国外来华专利技术】在视频编码过程中视频帧的并行处理


[0001]至少一个实施例涉及用于执行和促进视频文件的高效压缩的计算技术。例如，至少一个实施例涉及视频编解码器软件所使用的操作，用于使用现代视频编码标准对高清视频文件进行高效编码，同时提供大量提高视频质量的工具和选项，但以增加计算复杂度为代价。

技术介绍

[0002]原始(源)像素格式的视频文件会占用非常大的内存空间，并且需要很大的网络带宽，这对于存储和/或直播来说是不切实际的。例如，一个典型的高清视频显示大约每秒30帧，它们通常非常相似。这些帧中的大量信息必然是冗余的，从而允许高效压缩。一方面，相对较小的变化发生在后续帧之间(时间冗余)。另一方面，在一个给定帧中的各个区域通常彼此相似(空间冗余)，例如，天空的图像可以延伸到帧的很大一部分。因此，代替传输每个像素的实际像素信息(亮度和色度)，编解码器可以标识一个类似于正被编码(“被预测”)的块的参考块，并向解码器提供实际源块和被预测块之间的差异(“增量”)的合适和紧凑的数学表示。参考块可以是不同帧(例如，前一帧，甚至是后一帧)的块，相同帧的块，甚至是根据基于少量参考像素的某种预定方案(模式)生成的合成块。随后,并非存储或直播像素的实际帧，编解码器可以输出被编码数据的比特流，它主要包含解码器的指令，该指令关于如何生成帧的近似，其视觉外观与源帧无法区分或非常相似。
附图说明
[0003]图1是根据至少一些实施例的可以实现用于高效编码操作的本公开方法的示例计算设备的示意性框图。
[0004]图2A是描述根据至少一些实施例的用于高效编码操作的编解码器系统的顺序处理的操作的示意图。
[0005]图2B是描述根据至少一些实施例的用于高效编码操作的编解码器系统的另一种可能顺序处理的操作的示意图。
[0006]图3A是根据至少一些实施例的在视频编码期间，并行处理视频帧以实现高效编码操作的示例方法的流程图。
[0007]图3B是根据至少一些实施例的确定中间像素以在视频编码期间用于并行处理视频帧以实现高效编码操作的示例方法的流程图。
[0008]图4示出了采用计算机系统形式的示例性机器，在其中可以执行用于使该机器执行本文讨论的任何一或个多个方法的一组指令。
具体实施方式
[0009]视频编解码器允许对数字视频文件进行压缩，以减少存储和传输该文件所需的存储空间和带宽的量。压缩的视频文件在未被压缩和显示时可能与源视频文件非常相似或难
以区分。为了压缩数字视频文件，编解码器将视频的每一帧划分为一系列块。对于每个块，编解码器确定用于压缩的最佳大小和最佳模式。编解码器可以确定使用帧内预测模式或帧间预测模式。然后，对于每个块，在进行大小选择和模式选择后，编解码器将比较预测结果与源像素，以计算差值(或残差)，并对输出比特流中的预测大小、预测模式和残差像素值进行编码。单个帧可以被划分成具有多种大小的块，并且每个块可以有唯一的预测模式。后续帧可以被划分成不同大小的块，并且每个块可以具有不同于前帧的块的预测模式。编解码器单独处理每一帧，并尽量减少编码帧的成本。
[0010]帧的每个像素值可以包括多个分量，例如指示像素的亮度或强度的亮度分量，以及指示像素的一种或更多种颜色(例如，红色、绿色、蓝色色度值，或任何其他合适的颜色值)的色度分量。
[0011]帧内预测块可以使用邻近块的参考像素值来近似源块的像素值。例如,帧内预测块的像素值可以基于在其上的块的底部边界的像素值、在其左侧的块的右边界的像素值、在其左上角的块的右下角的像素值，或者这些像素值的组合。在跨许多块具有相似颜色(例如，蓝天)的视频帧的区域中，帧内预测模式是有效的。
[0012]帧间预测块可以使用前帧或后帧(本文称为参考帧)的像素值来近似源块的像素值。这对视频中的移动对象是有效的。当对象移动时，当前帧中的对象看起来可能与参考帧中的对象相似或相同，但对象可能处于新的位置。编解码器可以使用来自参考帧中对象的相同像素值，来近似当前帧中对象的像素值。由于编解码器使用来自参考帧的相同像素值，而无需为帧间预测块创建一组新的像素值，因此帧间预测块具有比帧内预测块更高的压缩率。
[0013]存在已经定义的各种视频编解码器标准，例如H.264(高级视频编码，或AVC)、H.265(高效视频编码，或HEVC)、H.266(多功能视频编码，或VVC)、VP9和AV1(AO媒体视频1)。每个标准定义了可接受的帧间预测模式集和帧内预测模式集。每个标准还定义了可接受的块大小集合。例如，AV1允许58种帧内预测模式、多种帧间预测模式以及多种块大小，包括方块8
×
8、16
×
16、32
×
32、64
×
64、128
×
128和矩形块64
×
32、32
×
64、32
×
16、16
×
32、16
×
8、8
×
16。
[0014]标准视频编解码器从帧的左上角开始，评估所有可能的块大小和预测模式(包括帧内预测模式和帧间预测模式)的组合的成本，基于计算成本做出选择，然后进行到下一块(例如,左上块右侧的块)。由于帧内预测模式使用相邻块的像素值，所以需要对每个块进行顺序处理，以确保相邻块已经被处理过并且具有可用于处理当前块的参考像素。因此，每个块和前块之间存在依赖关系。按顺序处理块会减慢编码过程，因为一次只能处理单个块，即使未在使用额外的计算资源。此外，由于存在许多需要考虑的块大小和预测模式的可能组合，因此即使处理单个块也可能需要大量时间。
[0015]本公开的方面和实施例通过减少编码过程中遇到的依赖关系来解决现代高级编解码器中实时视频编码的这些和其他技术挑战。在某些实施例中，通过对视频帧的块执行初始顺序处理以创建一组中间像素，然后对视频帧的块进行并行处理，来减少依赖关系。例如，初始顺序处理可以针对一种大小的块(例如,16
×
16像素)执行，并且当如上所述为每个块生成近似值时使用帧内预测模式评估，从而减少需要为每个块考虑的块大小和预测模式的组合的数量。然后，将生成的中间像素用作参考像素，可以为每个块并行评估块大小和预
测模式的剩余组合，以便为视频帧的每个块选择最终的块大小和最终的预测模式。在为视频帧的每个块选择了最终块大小和最终预测模式之后，编解码器依次为每个块计算并编码最终残差、最终预测大小和最终预测模式。本公开的实施例相对于现有技术的优点包括编码过程的显著加速。初始的和最终的顺序处理阶段可以比传统技术执行地快得多：初始的顺序处理受限于少得多的固定块大小(例如，一种)，而最终的顺序处理受限于为每个块所选择的最终大小和所选择的最终模式。
[0016]系统架构
[0017]图1是根据至少一些实施例的可以实现用于高效编码操作的本公开方法的示例计算设备100的示意性框图。计算设备100可以包括与视频编码器105交互的一个或更多个设备、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于压缩图像的数据的方法，所述方法包括:确定中间像素；将所述图像的每个位置与第一大小的多个块中的块和第二大小的多个块中的块相关联；使用所述中间像素，以并行方式为所述第一大小的每个块和为所述第二大小的每个块，确定第一模式的第一成本和第二模式的第二成本；针对所述图像的每个位置，使用与对应位置相关联的所述第一大小的相应块和所述第二大小的相应块中的每个块的所述第一成本和所述第二成本，i)从至少所述第一模式和所述第二模式中选择最终模式，以及ii)从至少所述第一大小和第二大小中选择最终块大小；基于所述图像的每个位置的所选择的最终模式和所选择的最终块大小，确定最终像素；以及基于所述最终像素，获得所述图像的表示。2.根据权利要求1所述的方法，其中确定所述中间像素包括：将所述图像划分成第三大小的多个块：按顺序处理所述第三大小的每个块，以确定所述第一模式的第三成本和所述第二模式的第四成本，其中确定所述第三成本和所述第四成本使用为先前处理的块获取的一组中间像素；为所述第三大小的每个块，基于所述第一模式的所述第三成本和所述第二模式的第四成本的比较，选择中间模式；以及使用所选择的中间模式，为所述第三大小的对应块获得一组中间像素。3.根据权利要求1所述的方法，其中确定所述中间像素包括:将所述图像划分成第三大小的多个块；以及为所述第三个大小的每个块，从所述图像中选择对应的源像素块。4.根据权利要求1所述的方法，其中确定所述第一模式的所述第一成本和所述第二模式的所述第二成本包括，对于所述第一模式和所述第二模式中的每个模式：基于相应模式和一组中间像素生成临时块预测；以及基于所述临时块预测和所述图像的对应的源像素块的比较，计算所述相应模式的成本。5.根据权利要求1所述的方法，其中对于所述图像的每个位置，确定所述最终像素包括：基于所选择的最终模式、所选择的最终块大小和与一个或更多个相邻位置相关联的一组先前确定的最终像素，生成初始预测块；以及通过使用压缩算法变换所述初始预测块，导出最终像素块。6.根据权利要求5所述的方法，其中所述压缩算法基于AV1、HEVC、VVC或VP9编码标准中的一种。7.根据权利要求1所述的方法，其中所述第一模式是多个帧内预测模式之一，并且所述第二模式是帧间预测模式。8.根据权利要求7所述的方法，其中所述帧间预测模式：用第一参考图像中的所述第一大小的第一参考块近似所述第一大小的各个块；以及
用第二参考图像中的所述第二大小的第二参考块近似所述第二大小的各个块。9.一种系统，包括：存储器；以及耦合到所述存储器的处理器，用于执行以下操作，包括:确定图像的中间像素；将所述图像的每个位置与第一大小的多个块中的块和第二大小的多个块中的块相关联；使用所述中间像素，以并行方式为所述第一大小的每个块和为所述第二大小的每个块，确定第一模式的第一成本和第二模式的第二成本；针对所述图像的每个位置，使用与对应位置相关联的所述第一大小的相应块和所述第二大小的相应块中的每个块的所述第一成本和所述第二成本，i)从至少所述第一模式和所述第二模式中选择最终模式，以及ii)从至少所述第一大小和第二大小中选择最终块大小；基于所述图像的每个位置的所选择的最终模式和所选择的最终块大小，确定最终像素；以及基于所述最终像素，获得所述图像的表示。10.根据权利要求9所述的系统，其中确定所述中间像素包括：将所述图像划分成第三大小的多个块：按顺序处理所述第三大小的每个块，以确定所述第一模式的第三成本和所述第二模...

【专利技术属性】
技术研发人员：陈建军，冯炜，何熙，S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：