用于速率受控视频编码的自适应跳帧的装置及方法制造方法及图纸

本发明专利技术涉及用于视频序列的速率受控视频编码的自适应跳帧技术。根据所揭示的技术，编码器以相对于使用常规跳帧的编码而言可改进经编码序列的视频质量的方式执行跳帧。具体而言，所揭示的跳帧方案是自适应的，且考虑视频帧的运动活动性以标识可被跳过而不牺牲显著视频质量的某些帧。所述跳帧技术可顾及不同视频帧的空间与时间质量之间的折中。以此方式，所述技术能够以可改进视频序列的可视外观的方式在空间与时间质量之间分配有限的资源。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频编码，且更具体而言，涉及用于视频编码中的跳帧技术。技术背景人们已制订了'大量不同的视频编码标准用于将数字视频序列编码。例如，运动图 像专家组(MPEG)已开发出大量标准，包括MPEG-1、 MPEG-2和MPEG-4。其他实 例包括国际电信联盟(ITU) R263标准和新兴ITUH.264标准。这些视频编码标准一 般通过以压縮方式将数据编码来支持视频序列的改进传输效率。压缩会减少需要传输 的数据总量，以便有效地传输视频帧。例如，MPEG-4标准和ITU H.263及ITU H.264标准支持利用各顺序性视频帧之 间的相似性(称作时间或帧间相关)来提供帧间压縮的视频编码技术。所述帧间压縮 技术通过将基于像素的视频帧表达转换至运动表达来利用跨越帧的数据冗余。通常执 行称为运动估计和运动补偿的过程以将基于像素的视频帧表达转换为运动表达，且因 而实现帧间压縮。人们已开发出大量速率控制技术用于视频编码。速率控制技术有利于促进视频序 列的实时传输，特别是在计算功率有限时。例如， 一种实现速率受控编码的方式是允 许调整在视频编码过程期间所用的量化参数(QP)。 QP界定在视频编码期间出现的量 化等级，并直接影响在编码中使用的位数量。对基于QP的速率控制的一种变化形式 称作p域速率控制。参数p用于表示视频帧的各视频块在量化之后的非零系数数量。p 值可被映射至QP值，以产生不同的p值供使用所选QP实现/ 域速率控制。在任一情形中，QP的动态选择可用于控制每秒编码的位数量。随QP增大，保存 较少的数据，且视频编码的质量可能降级。随QP减小，保存较多的数据，且视频编 码的质量提高。不幸的是，为速率控制选择的QP并不总是足以满足有限的带宽要求。 因此，例如视频电话或视频流等某些视频应用可使用跳帧技术来进一步降低位速率。 对于跳帧技术而言，可在视频编码中完全跳过一个或多个视频帧，以确保满足带宽要 求。特定而言，保存那些原本将分配至被跳过帧的位以应用至视频序列中的其他帧。传统的跳帧通常固定地出现，或随需要而出现，以确保满足带宽要求。
技术实现思路
本
技术实现思路
涉及用于视频序列的速率受控视频编码的自适应跳帧技术。根据所揭 示技术，编码器以能够相对于使用传统跳帧进行编码改进编码序列的视频质量的智能 方式执行跳帧。特定而言，所揭示的跳帧方案是自适应的，且考虑视频帧的运动活动 性以标识某些可跳过而不显著牺牲视频质量的帧。所阐述的跳帧技术可顾及不同视频帧的空间和时间质量之间的折衷。以此方式， 所述技术可以能够改进视频序列的可视外观的方式在空间和时间质量之间分配有限带 宽。人体视力在运动是高速时对时间质量更敏感，而在运动是低速时对空间质量更敏 感。根据这一揭示内容，可基于运动活动性将各帧分等级，并基于空间质量对其进行 单独分析，以标识可跳过而不显著牺牲视频质量的帧。在一实施例中，这一揭示内容阐述一种视频编码方法，其包括至少部分地基于与 视频序列的视频帧相关联的塔动信息来标识所述视频序列的一个或多个候选视,频帧供 用于跳帧，并在所述视频序列的编码期间跳过所述一个或多个候选视频帧。'在另一实施例中，这一揭示内容阐述一种视频编码装置，其包括编码器，其将 视频序列的帧编码；及速率控制单元，其至少部分地基于与所述视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧，并使得编 码器在所述视频序列的编码期间跳过所述一个或多个候选视频帧。本文所述技术可按硬件、软件、固件或其任一组合形式实施于视频编码装置中。如果以软件形式实施，则该软件可在例如数字信号处理器(DSP)等可编程处理器中 执行。在所述情形中，执行所述技术的软件可首先存储于计算机可读媒体中，并载入 及执行于可编程处理器中，以在数字视频装置中进行有效的速率受控编码。因此，这 一揭示内容还涵盖一种包括可执行指令的计算机可读媒体，所述指令在执行于视频编 码装置中时，使得所述装置至少部分地基于与视频序列的视频帧相关联的运动信息来 标识所述视频序列的一个或多个候选视频帧供用于跳帧，并在所述视频序列的编码期 间跳过所述一个或多个候选视频帧。在附图和下文说明中列举各实施例的其它细节。根据本说明和图式及根据权利要 求书，将易知其它特征、目的和优点。附图说明图1是图解说明其中源数字视频装置将经编码的视频数据序列传输至接收数字视 频装置的实例性系统的框图。图2是根据这一揭示内容的实施例的视频编码装置的实例性框图。 图3是图解说明存储一组经分等级的视频帧的数据结构的概念图。图4-6是图解说明根据这一揭示内容的各实施例的自适应跳帧技术的流程图。 图7是图解说明一种用于根据这一揭示内容的实施例确定是否跳过一视频帧的技 术的实例性流程图。具体实施方式本
技术实现思路
涉及用于视频序列的速率受控视频编码的跳帧技术。所揭示的跳帧方 案是自适应的，且考虑视频帧的运动活动性以标识某些可跳过而不显著牺牲视频质量 的帧。例如，可使用与所述视频帧相关联的运动信息将所述帧分等级，以标识可跳过 而不显著牺牲视频质量的一个或多个候选视频帧。所述跳帧技术可结合速率控制技术使用，其中以动态方式选择量化参数(QP)，但也可以单独使用而不使用这种速率控 制。在一实例中，用于将候选视频帧分等级的运动信息包括候选视频帧的各视频块的 运动向量长度平均值。在另一实例中，与候选视频帧相关联的运动信息包括在所述视 频序列中的候选视频帧之前的一个帧中各视频块的运动向量长度平均值。如果使用前 述帧的运动向量长度来界定与候选视频块相关联的运动信息，则所述信息是运动的近 似值，但可使用而在编码方案中不需要其他运动估计回路。所述视频块在本文中还可 以称作宏块(MB)，但不必限定至任一特定大小或格式。所述技术可包括至少部分地基于视频帧的宏块(也就是当前候选者的宏块或一前述帧的宏块)的平均运动向量长度将视频序列的各视频帧分等级，并基于由与视频帧相关联的量化参数(QP)界定的空间质量来标识每一视频帧的阈值。在QP不同的 情况下，所述阈值可因不同视频帧而不同。以此方式，可使得以较低QP编码的视频 帧(其具有较高空间解析度)优先于具有较高QP且因此具有较低空间解析度的帧。 通过使用基于运动的分等级和界定为空间解析度函数的阈值，所述技术可平衡不同视 频帧的空间和时间质量，以标识用于跳帧的较佳候选者。许多其他候选者也可以用于 所述跳帧方案，(例如)以防止在带宽充裕时跳帧或防止在运动极高速时跳帧。所述技术可以能够改进视频序列的可视外观的方式，基于不同视频帧的空间和时 间质量来分配有限资源。人体视力在运动是高速时对时间质量更敏感。然而，当运动 是低速时，人体视力对空间质量更敏感。根据这一揭示内容，可基于运动活动性将各 帧分等级，并基于空间质量进行评定，以标识可跳过而不显著牺牲视频质量的帧。图1是图解说明其中源装置12将经编码的视频数据序列经由通信链路15传输至 接收装置14的实例性系统10的框图。源装置12依据一种可利用速率受控视频编码的 视频标准(例如MPEG-4标准、ITUH.263标准、ITUH.264标准、或各种其它标准的 任一者)对视频数据编码。如下文更详细阐述，系统10的装置12、 14中的一者或二 者均实施使用自适应跳帧的速率本文档来自技高网...

【技术保护点】
一种视频编码方法，其包括：至少部分地基于与视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧；及在所述视频序列的编码期间跳过所述一个或多个候选视频帧。

【技术特征摘要】
【国外来华专利技术】US 2005-3-1 60/657,956;US 2005-7-29 11/193,2491、一种视频编码方法，其包括至少部分地基于与视频序列的视频帧相关联的运动信息来标识所述视频序列的一个或多个候选视频帧供用于跳帧；及在所述视频序列的编码期间跳过所述一个或多个候选视频帧。2、 如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧 包括至少部分地基于所述运动信息将所述视频序列的视频帧分等级；及 选择一个或多个低等级的视频帧作为所述一个或多个候选视频帧。3、 如权利要求2所述的方法，其中所述运动信息包括所述视频帧的宏块的平均 运动向量长度。4、 如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧 包括至少部分地基于与所述一个或多个候选视频帧相关联的宏块的平均运动向量长 度来标识所述一个或多个候选视频帧。5、 如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧 包括至少部分地基于与所述视频序列中所述一个或多个候选视频帧之前的视频帧相 关联的宏块的平均运动向量长度来标识所述一个或多个候选视频帧。6、 如权利要求1所述的方法，其中标识所述一个或多个候选视频帧供用于跳帧 包括至少部分地基于所述视频帧的宏块的平均运动向量长度，将所述视频序列的视频 帧分等级；基于由与所述视频帧相关联的量化参数所界定的空间质量来标识所述视频帧的 每一者的阈值；及基于所述分等级和所述视频帧的每一者的阈值来选择所述一个或多个候选视频帧。7、 如权利要求6所述的方法，其进一步包括基于所述视频序列的前一视频帧确 定与每一给定视频帧相关联的给定平均运动向量长度。8、 如权利要求6所述的方法，其进一步包括基于所述给定视频帧确定与每一给 定视频帧相关联的给定平均运动向量长度。9、 如权利要求6所述的方法，其进一步包括动态地选择所述量化参数以影响所 述视频编码的编码速率。10、 一种视频编码装置，其包括 编码器，其对视频序列的帧进行编码；及速率控制单元，其至少部分地基于与所述视频序列的视频帧相关联的运动信息来 标识所述视频序列的一个或多个候选视频帧供用于跳帧，并使得所述编码器在所述视 频序列的编码期间跳过所述一个或多个候选视频帧。11、 如权利要求10所述的视频编码装置，其中所述速率控制单元通过以下步骤 来标识所述一个或多个候选视频帧供用于跳帧至少部分地基于所述运动信息将所述视频序列的视频帧分等级；及选择一个或多个低优先级的视频帧作为所述一个或多个候选视频帧。12、 如权利要求11所述的视频编码装置，其中所述运动信息包括所述视频帧的宏块的平均运动向量长度。13、 如权利要求10所述的视频编码装置，其中所述速率控制单元至少部分地基于与所述一个或多个候选视频帧相关联的宏块的平均运动向量长度来标识所述一个或 多个候选视频帧供用于跳帧。14、 如权利要求10所述的视频编码装置，其中所述速率控制单元至少部分地基 于与所述视频序列中所述一个或多个候选视频帧之前的视频帧相关联的宏块的平均运 动向量长度来标识所述一个或多个候选视频帧供用于跳帧。15、 如权利要求10所述的视频编码装置，其中所述速率控制单元通过以...

【专利技术属性】
技术研发人员：梁毅，哈立德希勒米厄勒马列，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：US[美国]