用于视频压缩的编码器辅助帧率上变换（EA-FRUC）的方法和装置制造方法及图纸

公开了一种编码器辅助帧率上变换（ＥＡ－ＦＲＵＣ）系统，其在视频编码器处利用视频编码和预处理操作来开发将出现在解码器中的ＦＲＵＣ处理，以改善压缩效率以及重建视频质量。ＥＡ－ＦＲＵＣ系统的一个操作包括：通过确定帧序列的一帧中的空间活动性，确定该帧中的时间活动性，基于所确定的空间活动性和所确定的时间活动性确定该帧中的空间－时间活动性，基于所确定的空间活动性、所确定的时间活动性、以及所确定的空间－时间活动性中的至少一个确定原始帧中的冗余度级别，来确定是否编码视频内容的帧序列中的该帧，并且，如果所确定的冗余度落在预定门限中，则编码该帧中的非冗余信息。

【技术实现步骤摘要】
【国外来华专利技术】
这里说明的各实施例通常涉及数字视频压缩，并且更具体地，涉 及用于视频压縮的编码器辅助帧率上变换(EA-FRUC : Encoder Assisted-Frame Rate Up Conversion)的方 去禾卩装置。
技术介绍
如今存在支持各种帧率的视频格式。当前如下格式最为普遍，以 其支持的帧每秒(fps)依次列出24(电影属性)、25(PAL)、 30(通常为 隔行视频)、以及60(高清晰(HD)，例如，720p)。虽然这些帧率适于 大多数应用，但是为了达到移动手机视频通信的低带宽要求，有时候 帧率会降低到15、 10、 7.5或3fps那样低。虽然这些低帧率允许具有 较低计算能力的低端设备显示某些视频，但所产生的图像质量遭受 颠簸(即，有幻灯片显示的效果)，而不是平滑运动。同时，丢弃 的各帧常不能正确地跟踪该视频中的运动量。例如，在诸如体育运动 事件中出现的高运动视频内容部分期间应该丢弃比较少的帧，而 在诸如谈话秀中出现的低运动视频内容片段期间应该丢弃更多帧。 视频压縮要取决于内容，并希望能够分析运动和纹理特征并将其合并 在要编码的序列中，以便提高视频压縮效率。帧率上变换(FRUC)是一种在视频解码器端使用视频内插来提高 重建视频帧率的处理过程。在FRUC中，将接收的帧作为参考来生成内插的帧。目前，实现FRUC帧内插的系统包括基于运动补偿内插和 对所传输运动矢量进行处理的各种方法。FRUC也用于各种视频格式 之间的转换。例如，在电影电视化处理(Tdecine)和电视电影化处理 (Inverse Telecine)应用中，将逐行视频(24帧/秒)转换为NTSC隔行视 频(29.97帧/秒)，所述应用是一种电影到视频磁带的转换技术，该技 术矫正了电影和视频之间的各色彩帧率差。另一种FRUC方法使用了加权自适应的运动补偿内插(WAMCI)， 以减少由于运动补偿和基于块处理的缺陷引起的块失真。该方法基于 通过多个运动补偿内插(MCI)图像的加权求和的内插过程。在所提出 方法中，通过使用与重叠块运动补偿(OBMC)相似的技术来减少块边 界上的块失真。具体地说，为在处理重叠区域期间减少模糊，该方法 使用运动分析来确定块运动的类型并且自适应地使用OBMC。实验 结果表明，所提出的方法以显著减少的块失真达到了改善的结果。而另一种FRUC方法使用了矢量可靠性分析来减少因使用从编 码器错误传输的任何运动矢量而引起的失真。在该方法中，使用运动 估计来构建运动矢量，将这些构建的运动矢量与所传输的运动矢量相 比较，以便确定最希望用于帧内插的方法。在使用运动估计的传统上 变换算法中，使用两个相邻解码帧来进行该估计处理，以便构建出允 许内插一帧的运动矢量。然而，这些算法没有考虑运动估计操作所需 的计算量，来试图改善对传输带宽的使用。相比较而言，在使用传输 的运动矢量的上变换算法中，内插帧的质量很大程度上取决于由编码 器导出的运动矢量。使用这两种方法的组合，首先对传输的运动矢量 进行分析，以决定是否能将它们用于构建内插帧。然后自适应地从下 面三种方法中选出用于内插的方法局部运动补偿内插、全局运动补 偿内插以及帧重复内插。虽然通常将FRUC技术实现为视频解码器中的后处理功能，这样 视频编码器通常不涉及该操作。然而，在称为编码器辅助FRUC (EA-FRUC)的方法中，该编码器可以确定是否可以排除对与运动矢量 或参考帧(例如，残差数据)相关的特定信息的传输，同时在没有所排 除的矢量和残差数据的情况下仍使解码器自己重新产生大部分帧。例如，在MPEG-2中引入了双向预测视频编码方法来改进B帧编码。在该方法中，建议使用一种误差准则，以便能将真正的运动矢量应用在运动补偿预测编码中。该失真测量基于绝对误差和(SAD)，但是己 知该失真测量不足以提供真实的误差测量，尤其是在需要确定序列中 两帧之间运动量的情况下不足以提供真实的误差测量。另外，当由于 对门限的分类优选地取决于内容从而这些门限应该可变的时候，用固 定门限来对门限的变化进行分类。EA-FRUC的研究领域是个成长中的领域。对视频压縮中该领域 的兴趣增加一尤其是在诸如流视频和视频电话的低比特率应用中，特 别是在发送端为能支持高复杂度应用的网络节点、以及接收端是具有 功率和复杂度限制的手持设备的情况下。EA-FRUC还能找到其中的 解码器与任何标准或流行的视频编码技术相一致的开放系统中的应 用，也能找到采用专有解码技术的封闭系统中的应用。所期望的是这样一种方法其在解码器端提供高质量内插帧，同 时降低传输进行内插所需的信息而所需的带宽量，并且还降低产生这 些帧所需的计算量，以便使其很好地适应依赖于低功率处理的多媒体 移动设备。因此，有必要克服上面提到的问题。
技术实现思路
这些实施例提供了一种编码器辅助帧率上变换(EA-FRUC)系统， 为了改善压縮效率和重建的视频质量，该系统在视频编码器处利用视 频编码和预处理操作来开发将在解码器中出现的FRUC处理。在一个实施例中，该处理包括通过确定帧序列的一帧内的空间 活动性，确定该帧中的时间活动性，确定所确定的空间活动性、所确 定的时间活动性以及所确定的空间-时间活动性中至少一个的冗余 度，来确定是否编码视频内容的帧序列中的一帧；并且，如果所确定 的冗余度低于预定门限则对该帧进行编码。在另一个实施例中，该处理包括通过确定帧序列中的包括一个或多个帧的一组帧中的空间活动性，确定该组帧中的时间活动性，确定所确定的空间活动性、所确定的时间活动性以及所确定的空间-时 间活动性中的至少一个的冗余度，来确定是否编码视频内容的帧序列 中该组帧；并且，如果所确定的冗余度落在一组预定门限内，则对该 组帧的 一帧或多帧进行编码。在另一个实施例中，公开了上面存储有使计算机执行用于构建包 括帧序列的视频序列的方法的指令的计算机可读介质。该方法包括确定帧序列的一帧中的空间活动性；确定该帧中的时间活动性；确定 所确定的空间活动性和所确定的时间活动性中的至少一个的冗余度； 以及，如果所确定的冗余度低于预定门限则编码该帧。在另一实施例中，还公开了一种用于构建包括帧序列的视频序列 的装置。该装置包括用于确定帧序列的一帧中的空间活动性的模块； 用于确定该帧中的时间活动性的模块；用于确定所确定的空间活动性 和所确定的时间活动性中的至少一个的冗余度的模块；以及，用于如 果所确定的冗余度低于预定门限则编码该帧的装置。在另一个实施例中，公开了配置为实现用于构建包括帧序列的视 频序列的方法的至少一个处理器。该方法包括确定帧序列的一帧中 的空间活动性；确定该帧中的时间活动性；确定所确定的空间活动性 和所确定的时间活动性中的至少一个中的冗余度；以及，如果所确定 的冗余度低于预定门限则编码该帧。从下面详细说明中，对于本领域内技术人员来说其它目标、特征 和优势将变得显而易见。然而，在说明示例性实施例的时候，要认识 到该详细说明和这些特定例子是以示例的方式给出而并非以限制的 方式给出。可以不偏离其实质而在下面说明中做出很多改变和修改， 要认识到该说明包括了所有的这些修改。附图说明通过参考所附各图可以更容易理解本专利技术，其中 图1是与一个实施例相一致的、实现了编码器辅助帧率上变换 (E A-FR本文档来自技高网...

【技术保护点】
一种用于构建包含帧序列的视频序列的方法，包括：　　　　确定所述帧序列中的一类活动性的量，所述一类活动性是从包括空间活动性、时间活动性和空间－时间活动性的组中选择的；　　　　确定所述活动性中的冗余度；以及　　　　如果所确定的冗余度低于预定门限，则对所述帧进行编码。

【技术特征摘要】
【国外来华专利技术】US 2004-7-20 60/589,9011、一种用于构建包含帧序列的视频序列的方法，包括确定所述帧序列中的一类活动性的量，所述一类活动性是从包括空间活动性、时间活动性和空间-时间活动性的组中选择的；确定所述活动性中的冗余度；以及如果所确定的冗余度低于预定门限，则对所述帧进行编码。2、 如权利要求l所述的方法，其中确定所述帧序列中的所述空 间活动性包括确定所述帧序列的至少一帧中的纹理信息的量。3、 如权利要求1所述的方法，其中确定所述帧序列中的所述时 间活动性包括确定所述帧序列中至少两帧之间的时间相关性和冗余 度的量。4、 如权利要求1所述的方法，其中确定所述帧序列的帧中的所 述空间-时间活动性包括确定所述帧序列中至少两帧之间的纹理信 息量的时间相关性和冗余度的量。5、 如权利要求l所述的方法，其中确定所述活动性中的所述冗 余度包括使用从包括对比度比率度量、空间复杂度度量以及方差度 量的组中选择的至少一个空间活动性度量来确定冗余度。6、 如权利要求1所述的方法，其中确定所述活动性中的所述冗 余度包括使用从包括运动场强度度量、时间复杂度度量、绝对差之 和度量的组中选择的至少一个时间活动性度量来确定冗余度。7、 如权利要求1所述的方法，其中确定所述活动性中的所述冗 余度包括通过将从下面的组中选择的至少两个活动性度量进行比较 来确定冗余度，所述组包括多个相邻帧之间的空间活动性度量的相 关性、方向性度量、具有不同空间活动性度量的区域之间的联合行为、 运动场强度度量、时间复杂性度量、以及绝对差之和度量。8、 一种用于确定在两帧之间的差别信息的方法，包括确定从 包括像素差别度量、运动信息差别度量、模式判决门限度量和内插帧 细化度量的组中选择的一个差别度量，其中使用帧率上变换处理进行 所述差别度量的所述确定。9、 一种用于编码差别信息的方法，包括使用从包括运动补偿 处理、运动矢量变换处理、运动矢量量化处理和熵编码处理的组中选 择的至少一种技术，在视频编码标准中规定了所述至少一种技术，其 中兼容标准的处理器能够结合帧率上变换处理来处理所述差别信息， 以产生视频帧。10、 一种用于处理视频比特流的方法，所述视频比特流具有其中 包含的差别信息，所述方法包括使用从包括可变长度编码技术、Huffman编码技术和算术编码技 术的组中选择的一种熵编码技术编码所述视频比特流中的差别信息； 以及在视频编码标准中规定的用户数据语法中运送所述编码的信息。11、 如权利要求IO所述的方法，还包括产生兼容标准的视频比特流。12、 一种用于对其中具有编码的差别信息的视频比特流进行处理的方法，所述编码的差别信息存储在用户数据语法中，所述方法包括从所述用户数据语法中提取所述编码的差别信息； 解码所述差别信息；以及在帧率上变换处理中使用所述解码的差别信息来产生视频帧。13、 一种其上存储有指令的计算机可读介质，这些指令使计算机 执行构建包括帧序列的视频序列的方法，所述方法包括确定所述帧序列中的一类活动性的量，所述一类活动性是从包括 空间活动性、时间活动性和空间-时间活动性的组中选择的； 确定所述活动性中的冗余度；以及如果所确定的冗余度低于预定门限，则编码所述帧。14、 如权利要求13所述的计算机可读介质，其中确定所述帧序 列中的所述空间活动性包括确定所述帧序列的至少一帧中的纹理信 息的量。15、 如权利要求13所述的计算机可读介质，其中确定所述帧序列中的所述时间活动性包括确定所述帧序列中的至少两帧之间的时 间相关性和冗余度的量。16、 如权利要求13所述的计算机可读介质，其中确定所述帧序列的帧中的所述空间-时间活动性包括确定所述帧序列中至少两帧 之间的纹理信息量的时间相关性和冗余度的量。17、 如权利要求13所述的计算机可读介质，其中确定所述活动性中的所述冗余度包括使用从包括对比度比率度量、空间复杂度度 量和方差度量的组中选择的至少一个空间活动性度量来确定冗余度。18、 如权利要求13所述的计算机可读介质，其中确定所述活动性中的所述冗余度包括使用从包括运动场强度度量、时间复杂度度 量、绝对差之和度量的组中选择的至少一个时间活动性度量来确定冗 余度。19、 如权利要求13所述的计算机可读介质，其中确定所述活动性中的所述冗余度包括通过将从下面的组中选择的至少两个活动性度量进行比较来确定冗余度，所述组包括多个相邻帧之间的空间活 动性度量的相关性、方向性度量、具有不同空间活动性度量的区域之 间的联合行为、运动场强度度量、时间复杂性度量、以及...

【专利技术属性】
技术研发人员：维贾亚拉克施密R拉维德朗，史方，戈登肯特沃克，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：US[美国]