使用混合帧内预测的视频编码制造技术

一个示范实施例呈现了一种对在编码的视频序列的帧中的一组图像元素进行解码的方法。方法包括确定用于该组图像元素的帧内预测模式，并且根据该确定的帧内预测模式，提供该组图像元素的第一预测。方法进一步包括确定识别在该视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符，并且使用该确定的地点标识符提供该组图像元素的第二预测。进一步，方法包括识别帧内预测模式的多个子集的哪个子集包含该确定的帧内预测模式，其中每个子集对应于被指派用于该子集的所有帧内预测模式的第一加权和第二加权，并且其中不同子集被指派不同的第一加权和不同的第二加权，以及执行如下操作至少之一：将被指派到该识别的子集的第一加权应用到第一预测以生成第一加权的预测，以及将被指派到该识别的子集的第二加权应用到第二预测以生成第二加权的预测。方法进一步包括使用第一预测和第二加权的预测的组合或者使用第一加权的预测和第二预测的组合或者使用第一加权的预测和第二加权的预测的组合，生成该组图像元素的解码的版本。

【技术实现步骤摘要】
【国外来华专利技术】使用混合帧内预测的视频编码
本文中呈现的解决方案一般涉及视频数据管理和视频序列的编码与解码。具体地说，解决方案涉及编码和解码的方法、解码器、编码器、解码器设备、编码器设备和计算机程序产品。
技术介绍
视频压缩是关于从视频数据减少和去除冗余信息。一般情况下，既有在图片内的但也有来自以前编码的图片的相邻图像元素或像素的信息用于进行视频的预测。由于压缩过程是有损的，即丢失关于视频序列的信息，因此，重构的视频将始终在一定程度上不同于原始视频。任何视频编解码器标准的主要目标是提供用来隐藏或最小化那些失真，同时仍保持高压缩比以得到尽可能小的视频文件的大小的工具。像素或图像元素预测是诸如H.261、H.263、MPEG-4和H.264（ITU-TRec.H.264和ISO/IEC14496-10，“AdvancedVideoCoding”，2003）的视频编码标准的重要部分。在H.264中，利用有三种像素预测方法，即，帧内、帧间和双向预测。帧内预测从当前帧的以前解码的像素提供当前块的空间预测。帧间预测使用在以前解码的帧中对应但位移的块来给出当前块的时间预测。在现有技术的视频编解码器中，帧内预测是用于为当前块创建图像元素的预测的重要方法。由于帧内编码往往在视频比特流中传输大多数信号能量，因此，有关预测和编码方法的任何改进对于在压缩视频序列时需要的比特的减少是重要的。帧内预测使用与当前块相邻的参考图像元素来预测相同帧内的块。块被编码所采用的顺序是从左上角，并且随后按行通过整个帧。因此，帧中已经编码的图像元素将在下一块的左上部。在使用块的左侧和上方的图像元素来预测块内的图像元素时，帧内预测将此考虑在内。在最新标准HEVC中，帧内预测由三个步骤组成：参考图像元素阵列构建、图像元素预测、以及后处理。帧内预测能够被分类成两个类别：角度预测方法和DC/平面预测方法。第一类别在图1中被图示，并且被假设为采用带有方向的边缘对结构进行建模，并且第二类别估计平滑图像内容。再使用相同的帧内的块来去除冗余数据的想法也已在后来被证明对屏幕内容编码是有效的。帧内块复制（IntraBC）是现有技术视频编解码器中的一种方法，其中在图像中的块被预测为与相同图像中已经重构的块的位移。它从一般在文本和图形区域中出现的重复形式中去除冗余，并且因此IntraBC在当今普遍地被用于压缩屏幕内容和计算机图形。由于在帧内块匹配中牵涉到的搜索，故与帧内预测相比，编码时间的成本增大。通过采用某一度量来比较块，来发现在当前块旁的指定搜索区域中最类似的块，其中在度量中经常包括平方误差或平方差之和（SSD）的计算。此方法类似于在HEVC中的帧间预测方法，其中来自其它参考帧的块被再用以预测在当前帧中的块，主要差别在于在IntraBC中，参考的块与当前块来自相同帧内。更具体地说，在帧内预测中，与当前块相邻的图像元素用于根据帧内预测模式，创建当前块的预测。在帧内块复制预测中，按块向量相对于当前块定位的参考图像元素被复制，以创建当前块的预测。在帧间预测中，来自以前解码的图片的按运动向量相对于当前块定位的参考图像元素被直接复制，或者使用内插版本来预测当前块。帧间预测也允许使用两个独立的运动向量，对两个独立参考块进行双向预测，潜在被内插的参考块随后被组合。帧内和帧间预测能够在解码器侧被再生成，因为帧内预测模式和位移向量一般与编码的比特流被包括在一起。在当前现有技术的视频编解码器中，模板匹配是用于使编码器能参考以前编码的样本的块而不必发信号通知位移向量以便指示位置的技术。为使此技术有效，由编码器和解码器两者使用例如能够在片头（sliceheader）或图片参数集（PPS）中发信号通知的预确定的信息，来选择与当前块相邻的图像元素的模板区域。对同样已例如从片头或从PPS被预确定或者在编解码器规范中的解码过程期间被定义的大小的搜索区域进行搜索。对于在搜索区域中的每个地点，计算在搜索地点的图像元素与在模板区域中的图像元素之间的误差度量。随后，将产生最低误差度量的地点选择为最终地点，并且随后在该地点的图像元素将被用于创建当前块的预测。此过程由编码器和解码器两者执行以确保相同图像元素被用于预测。在模板匹配中，编码器和解码器均确定将从哪些参考图像元素预测当前块。通过查找其中相邻图像元素类似于当前块的相邻图像元素的地点，模板匹配被用于查找类似于当前块的以前编码的块。随后，能够使用来自找到的地点的图像元素而不必发送位移向量以指示参考块的位置。多个参考图片可被用于帧间预测，其中参考图片索引指示使用所述多个参考图片中的哪个。在P类型的帧间编码中，仅使用单向预测，并且在列表0中管理可允许的参考图片。然而，在B类型的帧间编码中，管理参考图片的两个列表，列表0和列表1。在此类B类型图片中，允许使用列表0或列表1进行的单向预测，或者可使用双向预测，该双向预测使用来自列表0的参考图片和来自列表1的另一参考图片的平均值。在H.264中的加权的预测表示分别用于双向预测的权重以及还有在片头中的用于加权的组合的DC偏移。在帧间预测中使用加权因子的一般公式是：，（1）其中和分别表示列表0初始预测算子和加权因子，并且其中和分别表示列表1初始预测算子和加权因子。DC表示每帧基础被定义的偏移，表示移位因子，以及表示按右移。在双向预测的情况下，。标题为“MixedInter/lntraVideoCodingofMacroblockPartitions”并且在2004年1月6日提交的PCT出版物WO2004/064255建议一种混合帧内帧间双预测编码模式，其允许帧内和帧间帧预测二者被组合在一起以便对宏块进行混合编码。在此混合编码中，使用了选择的帧内和帧间预测的平均值或者帧内和帧间预测的不同加权的组合。WO2004/064255中建议的混合编码基本上使用所述两个输入帧内和帧间预测之和或者使用片特定的权重。因此，相同权重被应用到在被用作帧间和/或帧内预测的片的所有宏块中的所有像素。从图像质量角度而言，此类方案远非最佳。进一步地，帧内预测只能够预测在原始块中的简单结构，因为从相邻块只使用图像元素的一行和一列。因此，帧内预测提供有用的低频信息。然而，使用在现有技术的视频编解码器中的帧内预测模式（当前角度方向、平面和dc预测），不可能表示更复杂的结构和高频信息。模板匹配和帧内块复制能够保留更多结构和更高频信息，但将经常导致在当前块与相邻块之间边界处的大的不连续。出于至少这些原因，期望有代替的解决方案来改进视频序列的编码和解码。
技术实现思路
在本文中呈现的解决方案通过组合多组图像元素的预测来解决这些问题，其中对至少一个预测的重视（例如，加权）高于另一预测。通过以此方式组合两个预测，在本文中呈现的解决方案改进了在原始组中更复杂结构的预测，同时最小化在组边界引入的伪像边缘。一个示范实施例呈现了一种将在编码的视频序列的帧中的一组图像元素解码的方法。方法包括确定用于该组图像元素的帧内预测模式，并且根据该确定的帧内预测模式，提供该组图像元素的第一预测。方法进一步包括确定识别在该视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符，并且使用该确定的地点标识符提供该组图像元素的第二预测。进一步，方法包括识别帧内预测模式的多个子集的哪个子集包含该确本文档来自技高网...

【技术保护点】
1.一种对在编码的视频序列的帧中的一组图像元素进行解码的方法，所述方法包括：确定（102）用于所述一组图像元素的帧内预测模式；根据所述确定的帧内预测模式，提供（104）所述一组图像元素的第一预测；确定（106）识别在所述视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符；使用所述确定的地点标识符，提供（108）所述一组图像元素的第二预测；识别（110）帧内预测模式的多个子集中的哪个子集包含所述确定的帧内预测模式，其中每个子集对应于被指派用于该子集的所有帧内预测模式的第一加权和第二加权，并且其中不同子集被指派不同的第一加权和不同的第二加权；执行如下操作至少之一：将被指派到所述识别的子集的所述第一加权应用（112；114）到所述第一预测以生成第一加权的预测，以及将被指派到所述识别的子集的所述第二加权应用到所述第二预测以生成第二加权的预测；以及使用所述第一预测和所述第二加权的预测的组合或者使用所述第一加权的预测和所述第二预测的组合或者使用所述第一加权的预测和所述第二加权的预测的组合，来生成（116）所述一组图像元素的解码的版本。

【技术特征摘要】
【国外来华专利技术】2016.01.12 US 62/2776971.一种对在编码的视频序列的帧中的一组图像元素进行解码的方法，所述方法包括：确定（102）用于所述一组图像元素的帧内预测模式；根据所述确定的帧内预测模式，提供（104）所述一组图像元素的第一预测；确定（106）识别在所述视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符；使用所述确定的地点标识符，提供（108）所述一组图像元素的第二预测；识别（110）帧内预测模式的多个子集中的哪个子集包含所述确定的帧内预测模式，其中每个子集对应于被指派用于该子集的所有帧内预测模式的第一加权和第二加权，并且其中不同子集被指派不同的第一加权和不同的第二加权；执行如下操作至少之一：将被指派到所述识别的子集的所述第一加权应用（112；114）到所述第一预测以生成第一加权的预测，以及将被指派到所述识别的子集的所述第二加权应用到所述第二预测以生成第二加权的预测；以及使用所述第一预测和所述第二加权的预测的组合或者使用所述第一加权的预测和所述第二预测的组合或者使用所述第一加权的预测和所述第二加权的预测的组合，来生成（116）所述一组图像元素的解码的版本。2.一种解码器（200），包括：模式电路（210），所述模式电路（210）配置成确定用于视频序列的帧中一组图像元素（205）的帧内预测模式，并且确定识别在所述视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符；第一预测电路（220），所述第一预测电路（220）配置成根据所述确定的帧内预测模式，使用帧内预测提供所述一组图像元素的第一预测；第二预测电路（230），所述第二预测电路（230）配置成使用所述确定的地点标识符提供所述一组图像元素的第二预测；加权电路（240），所述加权电路（240）配置成：识别帧内预测模式的多个子集中的哪个子集包含所述确定的帧内预测模式，其中每个子集对应于被指派用于该子集的所有帧内预测模式的第一加权和第二加权，并且其中不同子集被指派不同的第一加权和不同的第二加权；以及执行如下操作至少之一：将被指派到所述识别的子集的所述第一加权应用到所述第一预测以生成第一加权的预测，以及将被指派到所述识别的子集的所述第二加权应用到所述第二预测以生成第二加权的预测；以及解码电路（250），所述解码电路（250）配置成使用所述第一预测和所述第二加权的预测的组合或者使用所述第一加权的预测和所述第二预测的组合或者使用所述第一加权的预测和所述第二加权的预测的组合，来生成所述一组图像元素的解码的版本。3.如权利要求2所述的解码器（200），其中每个第一加权包括用于所述一组图像元素的每个元素的第一权重，并且其中每个第二加权包括用于所述一组图像元素的每个元素的第二权重。4.如实施例3的解码器（200），其中至少一些所述第一权重不同于所述第一权重的其它权重，并且其中至少一些所述第二权重不同于所述第二权重的其它权重。5.如实施例2-4所述的解码器（200），其中在被用于所述第二预测的解码的图像元素被编码有比为被用于所述第一预测的解码的图像元素使用的量化参数更低的量化参数时，所述第二加权比所述第一加权大。6.如权利要求2-4任一项所述的解码器（200），其中所述第二预测电路配置成根据帧内块预测和帧间块预测之一，提供所述一组图像元素的所述第二预测。7.如权利要求6所述的解码器（200），其中在根据所述帧间块预测提供所述第二预测时，所述第二加权比所述第一加权大。8.如权利要求2-7任一项所述的解码器（200），其中所述解码器进一步配置成接收与所述编码的视频序列一起的组合标记，其中所述解码电路配置成通过以下操作生成所述一组图像元素的所述解码的版本：在所述组合标记被启用时，使用所述组合生成所述一组图像元素的所述解码的版本；以及在所述组合标记未被启用时，使用所述第一预测或所述第二预测生成所述一组图像元素的所述解码的版本。9.如权利要求2-8任一项所述的解码器（200）：其中所述解码器进一步配置成接收与所述编码的视频序列一起的具有在0与正非零常数之间的值的权重缩放因子，所述权重缩放因子配置成对所述第一和第二加权之一的重视高于所述第一和第二加权的另一加权，以进一步控制所述第一和第二预测之一对所述生成的解码的版本的影响；以及其中所述加权电路进一步配置成使用所述权重缩放因子来调整所述第一和第二加权中的至少一个。10.如权利要求2-9任一项所述的解码器（200），其中所述解码器（200）被包括在装置（700）中。11.如权利要求10所述的解码器（200），其中所述装置（700）包括以下中的一个：平板、个人计算机、移动电话、机顶盒和摄像机。12.一种被存储在非暂态计算机可读介质中的用于控制解码处理器的计算机程序产品，所述计算机程序产品包括软件指令，所述软件指令在所述解码处理器上运行时促使所述解码处理器：确定用于一组图像元素的帧内预测模式；根据所述确定的帧内预测模式，提供所述一组图像元素的第一预测；确定识别在所述视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符；使用所述确定的地点标识符，来提供所述一组图像元素的第二预测；识别帧内预测模式的多个子集中的哪个子集包含所述确定的帧内预测模式，其中每个子集对应于被指派用于该子集的所有帧内预测模式的第一加权和第二加权，并且其中不同子集被指派不同的第一加权和不同的第二加权；执行如下操作至少之一：将被指派到所述识别的子集的所述第一加权应用到所述第一预测以生成第一加权的预测，以及将被指派到所述识别的子集的所述第二加权应用到所述第二预测以生成第二加权的预测；以及使用所述第一预测和所述第二加权的预测的组合或者使用所述第一加权的预测和所述第二预测的组合或者使用所述第一加权的预测和所述第二加权的预测的组合，来生成所述一组图像元素的解码的版本。13.一种解码设备（300），包括：模式模块（310），所述模式模块（310）配置成确定用于视频序列的帧中一组图像元素的帧内预测模式，并且确定识别在所述视频序列的帧中另一组图像元素的解码的版本的地点的地点标识符；第一预测模块（320），所述第一预测模块（320）配置成根据所述确定的帧内预测模式，使用帧内预测提供所述一组图像元素的第一预测；第二预测模块（330），所述第二预测模块（330）配置成使用所述确定的地点标识符提供所述一组图像元素的第二预测；加权模块（340），所述加权模块（340）配置成：识别帧内预测模式的多个子集中的哪个子集包含所述确定的帧内预测模式，其中每个子集对应于被指派用于该子集的所有帧内预测模式的第一加权和第二加权，并且其中不同子集被指派不同的第一加权和不同的第二加权；以及执行如下操作至少之一：将被指派到所述识别的子集的所述第一加权应用到所述第一预测以生成第一加权的预测，以及将被指派到所述识别的子集的所述第二加权应用到所述第二预测以生成第二加权的预测；以及解码模块（350），所述解码模块（350）配置成使用所述第一预测和所述第二加权的...

【专利技术属性】
技术研发人员：P赫尔曼松，S西德瓦尔蒂格森，K安德松，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE