对编码视频数据选择编码类型和预测模式制造技术

本发明专利技术涉及对编码视频数据选择编码类型和预测模式。在本发明专利技术中，提供了一种用于确定视频帧的宏块的编码类型和预测模式的方法。在一些实施方式中，一般的方法１）基于容易计算的宏块的属性利用编码类型选择算法选择最初为宏块考虑的编码类型，即１６×１６或４×４，２）如果在步骤１选择了１６×１６编码类型，则基于失真阈值，利用传统的方法或者改进的１６×１６预测模式搜索算法，考虑可以用在宏块上的四种１６×１６预测模式，３）如果在步骤１中选择了４×４编码类型，则基于预测模式之间的位置关系，利用传统的方法或者改进的４×４预测模式搜索算法，选择４×４预测模式用于宏块的１６个４×４模块的每个。

【技术实现步骤摘要】

本专利技术涉及对于编码视频数据选择编码类型和预测模式。
技术介绍
视频流是由一列视频帧所组成的，其中每帧由多个宏块组成。每个宏块典型地是 16X16的像素阵列，尽管其它大小的宏块也是可能的。视频编解码器(压缩器-解压缩 器)是压缩算法的软件、硬件或者软件和硬件结合的实现，其中所述的压缩算法用来编码 /压缩以及解码/解压缩视频数据流以减小流的大小，为了能更快地传输以及更小的存储 空间。虽然有损耗，在压缩视频流的二进制数据的同时，视频编解码器试图保持图像的质 量。普通的视频编解码器的实例包括WMV、RealVideo以及压缩标准，诸如MPEG_2、MPEG_4、 H. 261、H. 263 和 H. 264 的实现。在H. 264压缩标准下，视频帧的宏块可以在内部编码为16X16的像素阵列，该阵 列的像素值是利用以前编码的宏块计算的值预测的。16X16的宏块也可以内部编码为16 个4 X 4的像素阵列，其中每个4 X 4的阵列中的像素值是利用以前编码的4 X 4的阵列计算 的值预测的。存在4种可能的16X16阵列(亮度(Iuma)模块)内部预测模式以及9种可 能的4X4阵列(亮度模块)内部预测模式。同样，在编码宏块中，必需做出两个决定(选择)1)是否该宏块将被编码为 16X16阵列(称作16X 16编码)或者被编码为16个4X4阵列(称作4X4编码)，以及 2)用于编码宏块的预测模式。例如，如果决定将宏块编码为16X16阵列，也必须决定将使 用16X16阵列的四个预测模式中的哪一个。如果决定将宏块编码为16个4X4阵列，也必 须决定对于16个4X4阵列的每个，将使用4X4阵列的9个预测模式中的哪一个。在这里 步骤1称作编码类型选择，并且步骤2称作预测模式选择。利用成本函数来做出编码类型选择以及预测模式选择。例如，成本函数典型地用 于决定是否将宏块编码为16X16阵列或编码为16个4X4阵列，其中选择具有最低成本的 编码的类型(16X16或4X4编码)。成本典型地等于失真或者失真的加权平均加上由预测 模式生成的比特的数量的估计，其中失真和/或比特数量的增加会增加成本。失真反映了 原始像素值和预测的(或编码的)值之间的差异，并且失真可以以不同的方法来测量。例 如，失真可以测量为原始像素值和预测的(或编码的)值之间的绝对差值的和。选择宏块的最优编码类型(16X 16或4X4编码)以及最优预测模式的穷举搜索 方法包括确定宏块中所有4个16X 16预测模式的以及16个4X4模块的9种4X4预测模 式的所有组合的成本，其中选定成本最低的16X16预测模式或4X4预测模式的特定组合。 对于每个宏块，穷举搜索方法需要考虑4X4预测模式的9~16不同的组合，使得穷举搜索方 法实际上不可实行。同样，典型地执行下列的操作以确定宏块的编码类型和预测模式1)计算所有4种可能16 X 16预测模式的成本。2)对于每个16个4X4模块，选择具有最小成本的预测模式(在9种预测模式 中)，然后计算结果的组合的总成本(例如，16种确定的成本的和)。3)将在步骤1确定的成本与在步骤2确定的成本进行对比，并选择最低的一个。 该选择提供了编码的类型选择以及预测模式选择。然而传统的方法依然包括确定4X4预测模式的9X 16种不同的组合的成本加上 4个16X16预测模式的成本。
技术实现思路
在一些实施方式中，提供了一种更有效的方法来确定视频帧中宏块的编码类型的 选择以及预测模式的选择。在一些实施方式中，一般的方法1)利用编码类型选择算法(基 于容易计算的宏块的属性)选择最初为宏块考虑的编码类型(16X16或4X4)，2)如果在 步骤1选择了 16X16编码类型，则基于失真阂值，利用传统的方法或者改进的16X16预 测模式搜索算法，考虑可以用在宏块上的四种16X16预测模式，3)如果在步骤1中选择了 4X4编码类型，基于预测模式之间的位置关系，利用传统的方法或者改进的4X4预测模式 搜索算法，选择用于宏块的16个4X4模块的每个的4X4预测模式。附图说明图1是选择像素宏块的编码类型和预测模式的一般方法的流程图。图2是用于选择像素宏块的编码类型的编码类型选择方法的流程图。图3是用于选择16X 16像素宏块的预测模式的预测模式搜索方法的流程图。图4描述4X4阵列的9种预测模式之间的逻辑/位置关系的概念图表。图5是用于选择宏块4X4阵列的预测模式的4X4预测模式搜索方法的流程图。图6是用于选择宏块4X4阵列的预测模式的可替换的4X4预测模式搜索方法的 流程图。图7表示计算机系统，利用该计算机系统实施本专利技术的一些实施方式。 具体实施例方式序列号为60/583447，于2004年6月27日公开的美国临时专利申请“编码和解码 图像”在此通过引用清楚地结合。在以下的描述中，为了解释，阐述了多个细节。但是，本领域的普通技术人员将理 解不用这些特定的细节也可以实现本专利技术。在其它的实例中，为了不使不必要的细节描述 模糊本专利技术的说明，已知的结构和设备以框图的形式表示。在一些实施方式中，本专利技术提供了一种更有效的方法来确定视频帧中宏块的编码 类型的选择以及预测模式的选择。在一些实施方式中，一般的搜索算法执行以下操作1)利用编码类型选择算法(基于容易计算的宏块的属性)选择最初为宏块考虑的 编码类型(16X16或4X4)。编码类型选择算法在下面部分I中进行讨论。2)如果在步骤1选择了 16X16编码模式，基于失真阈值，利用传统的方法或者改进的16 X 16预测模式搜索算法，考虑(S卩，测试)可以用在宏块上的四种16 X 16预测模式。 注意在16X16预测模式搜索算法的一种特定情形中，也可以选择4X4编码类型。该步骤 在以下部分II中进行讨论。3)如果在步骤1中选择了 4X4编码类型，基于预测模式之间的位置关系(在以 下部分III中对其进行讨论)，利用传统的方法或者改进的4X4预测模式搜索算法，选择 4X4预测模式用于宏块的每个16个4X4模块。注意在搜索算法的步骤1中，如果编码类型选择算法选择16 X 16编码类型用于初 始考虑，最终选择的编码类型可以是16X16编码类型或4X4编码类型。相反，如果编码类 型选择算法选择4X4编码类型用于初始考虑，则将4X4编码类型有效地选择为宏块的编 码类型。如果选择16X16编码类型用于初始考虑，传统的方法或者改进的16X16预测模 式搜索算法用于确定宏块的预测模式。如果选择4X4编码类型用于初始考虑，则传统的方 法或者改进的4X4预测模式搜索算法用于确定宏块的预测模式。同样，根据由搜索算法选 择的用于初始考虑的编码类型，使用不同的搜索算法(传统的或改进的)来确定预测模式。图1是选择像素宏块的编码类型和预测模式的一般方法100的流程图。在一些实 施方式中，通过设置来编码视频帧的软件和/或硬件实现一般方法100。当其接收(在102) 像素宏块时，该方法开始。在一些实施方式中，宏块是16X16像素阵列，而在其它的实施方 式中，该宏块是不同尺寸的像素阵列。在一些实施方式中，将该宏块分成4个8 X 8阵列或 16个4 X 4阵列，而在其它的实施方式中，将宏块分成不同尺寸的块/阵列。利用编码类型选择方法200(以下参照附图2进行讨论)，该方本文档来自技高网...

【技术保护点】
一种用于编码视频图像中的像素组的方法，所述方法包括：根据多个编码模式中的不同编码模式之间的关系，从所述多个编码模式中识别第一组编码模式，其中每个编码模式是引用所述视频图像中的多个邻接像素的内部预测编码模式；计算与所述第一组编码模式中的每一个相关联的成本值；基于所计算的成本值，从所述多个编码模式识别第二组编码模式，所述第二组编码模式具有至少两个编码模式，其中所述第二组编码模式不是所述第一组编码模式的子集；从所述第二组编码模式中选择内部预测编码模式；以及使用选择的内部预测编码模式来编码所述像素组。

【技术特征摘要】
US 2004-6-27 60/583,447;US 2005-3-1 11/070,778一种用于编码视频图像中的像素组的方法，所述方法包括根据多个编码模式中的不同编码模式之间的关系，从所述多个编码模式中识别第一组编码模式，其中每个编码模式是引用所述视频图像中的多个邻接像素的内部预测编码模式；计算与所述第一组编码模式中的每一个相关联的成本值；基于所计算的成本值，从所述多个编码模式识别第二组编码模式，所述第二组编码模式具有至少两个编码模式，其中所述第二组编码模式不是所述第一组编码模式的子集；从所述第二组编码模式中选择内部预测编码模式；以及使用选择的内部预测编码模式来编码所述像素组。2.根据权利要求1所述的方法，其中，所述第一和第二组编码模式中的每一组编码模 式包括所述多个编码模式中的一些但不是全部编码模式。3.根据权利要求1所述的方法，其中，基于与所述第一组编码模式中具有最低成本值 的特定编码模式的关系，识别所述第二组编码模式，其中，所述关系是位置关系。4.根据权利要求1所述的方法，其中，所述不同编码模式之间的关系由与所述不同编 码模式相关联的不同预测阵列之间的位置和逻辑关系来定义。5.根据权利要求1所述的方法，其中，与特定编码模式相关联的特定成本值是利用该 特定编码模式编码所述像素组的失真值成本。6.根据权利要求1所述的方法，其中，所述第二组编码模式中的预测模式相比于所述 第一组编码模式中的预测模式具有更强的位置关系。7.一种用于通过使用图像中的多个邻接像素组来编码所述图像中的特定像素组的方 法，该方法包括将所述特定像素组与第一多个邻接像素组中的每一个进行比较，其中所述第一多个邻 接像素组是更大的第二多个邻接像素组的子集；基于所述比较，将所述第一多个邻接像素组中的一个像素组识别为第一候选像素组；通过将所述特定像素组与第三多个邻接像素组中的每一个进行比较来识别第二候选 像素组，所述第三多个邻接像素组是基于所述第一候选像素组来识别的，所述第三多个邻 接像素组不同于所述第一多个邻接像素组；以及使用所述第二候选像素组来编码所述特定像素组。8.根据权利要求7所述的方法，其中，将所述特定像素组与第一多个邻接像素组中的 每一个进行比较包括计算使用所述第一多个邻接像素组中的每一个来对所述特定像素组 进行内部编码的成本。9.根据权利要求7所述的方法，其中，将所述特定像素组与第三多个邻接像素组中的 每一个进行比较包括计算使用所述第三多个邻接像素组中的每一个来对所述特定像素组 进行内部编码的成本。10.根据权利要求9所述的方法，其中，与利用所述第一和第三多个邻接像素组中的任 何其他像素组对所述特定像素组进行内部编码相比，使用所述第二候选像素组对所述特定 像素组进行内部编码具有最低的编码成本。11.一种用于使用与视频图片中的特定像素组邻近的多个邻近像素组对所述视频图片 中的该特定像素组进行内部预测编码的方法，该方法包括识别所述视频图片中的第一多个邻近像素组，所述第一多个邻近像素组中的每一个邻 近像素组与所述第一多个邻近像素组中的其他邻近像素组具有位置关系；针对所述第一多个邻近像素组中的每一个邻近像素组，计算基于所述第一多个邻近像 素组中的邻近像素组对所述特定像素组进行内部预测编码的第一成本；基于所述第一多个邻近像素组的所述计算的第一成本，识别所述第一多个邻近像素组 中的一个邻近像素组；识别所述视频图片中的第二多个邻近像素组，所述第二多个邻近像素组包括所述第一 多个邻近像素组中的所述识别出的邻近像素组，其中，相比于所述第一多个邻近像素组中 的邻近像素组彼此的位置关系，所述第二多个邻近像素组中的邻近像素组彼此的位置关系 更强，从而相比于所述第一多个邻近像素组中的邻近像素组，所述第二多个邻近像素组中 的邻近像素组彼此位置更靠近；针对所述第二多个邻近像素组中的每一个邻近像素组，计算基于所述第二多个邻近像 素组中的邻近像素组对所述特定像素组进行内部预测编码的第二成本；基于所述第二多个邻近像素组的所述计算出的第二成本，识别所述第二多个邻近像素 组中的一个邻近像素组；以及使用所述第二多个邻近像素组中的所述识别出的邻近像素组来编码所述特定像素组。12.根据权利要求11所述的方法，其中，识别所述第一多个邻近像素组中的一个邻近 像素组包括识别所述第一多个邻近像素组中的具有最低计算出的第一成本的一个邻近像 素组。13.根据权利要求11所述的方法，其中，识别所述第二多个邻近像素组中的一个邻近 像素组包括识别所述第二多个邻近像素组中的具有最低计算出的第二成本的一个邻近像素组。14.根据权利要求11所述的方法，其中，所述第一多个邻近像素组中的每一个邻近像 素组与所述第一多个邻近像素组中的所有其他邻近像素组具有逻辑关系，其中，相比于所 述第一多个邻近像素组中的邻近像素组之间的逻辑关系中的每一个，所述第二多个邻近像 素组中的每个邻近像素组与所述第一多个邻近像素组中的所述识别出的邻近像素组具有 更近的逻辑关系。15.根据权利要求11所述的方法，其中，所述特定像素组是宏块的分区。16.根据权利要求11所述的方法，其中，所述计算出的第一成本和第二成本基于由于 对所述特定像素组进行内部预测编码而导致的失真。17.根据权利要求11所述的方法，其中，相比于所述第一多个邻近像素组中的邻近像 素组之间的位置关系，所述第二多个邻近像素组中的每一个邻近像素组与所述第一多个邻 近像素组中的所述识别出的邻近像素组具有更强的位置关系。18.根据权利要求11所述的方法，其中，所述多个邻近像素组对应于多个内部预测编 码模式。19.根据权利要求18所述的方法，其中，所述多个内部预测编码模式包括以下中的至 少一个内部4X4垂直预测模式、内部4X4水平预测模式、内部4X4DC预测模式、内部 4X4斜下左预测模式、内部4X4斜下右预测模式、内部4X4垂直右预测模式、内部4X4水 平下预测模式、内部4X4垂直左预测模式、以及内部4X4水平上预测模式。20.根据权利要求11所述的方法，还包括使用DC内部预测编码模式来确定对所述特定像素组进行编码的成本；以及 当相比于所述第一多个邻近像素组中的每一个邻近像素组的所述计算出的第一成本 中的每一个，使用所述DC内部预测编码模式来对所述特定像素组进行内部预测编码具有 更低的编码成本时，选择所述DC内部预测编码模式来对所述特定像素组进行编码。21.一种用于编码视频图像中的像素组的方法，该方法包括根据多个编码模式中的不同编码模式之间的关系，从所述多个编码模式中识别一组编 码模式，其中所述多个编码模式中的每一个是引用与所述视频图像中的所述像素组邻接的 多个像素的内部预测编码模式；计算与所述组编码模式中的每一个相关联的成本值； 识别所述组编码模式中具有最低计算出的成本值的第一编码模式； 识别所述组编码模式中具有第二最低计算出的成本值的第二编码模式； 识别相比于所述多个编码模式中的任何其他编码模式与所述第一和第二编码模式具 有更近的位置关系的第三编码模式；计算与所述第三编码模式相关联的成本值；选择所述第一编码模式、所述第二编码模式以及所述第三编码模式之中最低成本的编 码模式；以及使用所选择的最低成本的编码模式来对所述视频图像中的所述像素组进行编码。22.根据权利要求21所述的方法，其中，所述组编码模式是基于用于编码4X4阵列的 在H. 264编解码标准下指定的9种预测模式之间的位置关系来识别的。23.根据权利要求21所述的方法，其中，所述不同编码模式之间的关系是由与所述不 同编码模式相关联的不同预测阵列之间的位置和逻辑关系来定义的。24.根据权利要求21所述的方法，其中，与特定编码模式相关联的特定成本值是用于 使用该特定编码模式编码所述像素组的失真成本值。25.根据权利要求21所述的方法，其中，所述组编码模式包括DC编码模式，所述方法还 包括当所述DC编码模式是所述组编码模式中具有最低计算出的成本值的编码模式时，使 用所述DC编码模式来编码所述像素组。26.一种用于编码视频图像中的像素组的设备，所述设备包括用于根据多个编码模式中的不同编码模式之间的关系，从所述多个编...

【专利技术属性】
技术研发人员：童歆，聂小春，
申请(专利权)人：苹果公司，
类型：发明
国别省市：US[美国]