一种实现实时双帧参考的时域可分级视频编码方法技术

本发明专利技术公开了一种实现实时双帧参考的时域可分级视频编码方法，所述实时双帧参考的时域可分级视频编码方法是在编码过程中不使用或者很少使用双向预测帧，在编码过程中当前帧最多可采用两个参考帧，因此编码后的码流具有时域上的层次性，能适合帧率调整和限制时延的需要，其具体的实现方法是：根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照本发明专利技术中的参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照本发明专利技术中的参考帧更新策略更新参考帧缓存。本发明专利技术可以实现实时双帧参考视频流的时域可分级编码，使得码流的帧率能够灵活地进行伸缩，并且与原编码标准相比，能够限制时延的效果。

【技术实现步骤摘要】

本专利技术属于视频编码领域，特别是涉及低时延的时域可分级视频编码实现方法。技术背景随着Internet技术的不断发展，到如今己是无处不在的Internet为视频服务提供了一 个广阔的平台，但是Internet本身具有网络的异构性、带宽的波动性和传输中的不可靠性 等特点，对视频编码技术提出了新的挑战。为了克服Internet的这些缺点，可分级的视频 编码技术(SVC， Scalable Video Coding)是一个很好的选择。可分级的视频编码技术的可 分级性一般包括时域可分级性、空域可分级性、质量可分级性和以上这些选项的组合(请 见参考文献l)。时域可分级性就是要求码流具有帧率的可变性，以满足不同的网络情况和不同的终端 设备解码和显示需要。目前实现时域可分级的技术主要是帧间小波技术，也就是基于运动 补偿的时域滤波技术(MCTF， Motion-Compensated Temporal Filtering),这种技术通过在 时域上引入小波分解，得到视频在时域上的多分辨率分析，进而实现视频在时域上的可分 级。MCTF在其发展中，逐渐形成了两种实现方式，即基于块位移的MCTF和基于提升算 法的MCTF。基于块位移的MCTF首先不能很好的获取编码图象运动场的信息，导致在编 码图象和参考帧之间一定数量的像素被标记成unconnected,影响了编码效率；其次， 亚像素精度的运动估计和运动补偿以及除Haar小波外的其他小波很难在其编码框架内实 现，极大影响了编码的灵活性和编码效率。在当今产业界，现存的IPP...P非可分级视频编码标准中，对P帧编码时仅用前向帧 中相邻的一帧作为参考进行运动估计和运动补偿。我国具有自主知识产权的音视频编码标 准一AVS中，P帧的参考帧采用了双帧参考。同时现存IPP...P的非可分级视频编码方式中不存在时域分级结构，不能实现帧率可 调的功能；而且对于时域分级结构的编码视频流，如果按照由基本层到增强层的顺序编码， 这样就会存在极大的编码时延，但是很多应用场合对编码时延的要求非常高，例如视频监 控、视频会议等，因此在编码过程中还需考虑如何降低时延的目的。如果当前帧编码过程中所使用的参考帧不多于2个，那么该编码方法可以称为双帧参 考编码方式，将基于双帧参考编码方式的视频流称为双帧参考视频流，例如MPEG-2、 H.261、 H.263以及中国的AVS等编码标准。在这些标准中，除了 MPEG-2在可分级语法 中定义了码流的分级语法结构，具有可分级性之外，其余的都是不可分级的编码标准。为 了使得这些非可分级双帧参考视频编码标准在兼容原标准的同时能够扩充可分级的功能， 而且具有低延时的特点，以迎接新的挑战，在时域可分级性方面，构建实时快速有效的时 域可分级编码实现方法就显得很有意义。在视频监控应用中，为满足监控视频的稳定传输和长期存储以及低时延的需要，使用层次 P帧技术可以实现视频编码后的码流具有帧率可调整以及零时延的功能。这里的双帧参考 视频流是基于现存IPP...P的非可伸縮视频编码标准，其时域可分级编码的方法是通过 对不同的P帧进行时域分级编码，其中基本层的I帧与P帧可以作为增强层P帧的参考图 像，通过对图象组中的各编码帧进行时域层次标注，不同位置的P帧可以属于不同的时域 层次，并且在编码增强层的P帧过程中根据时域层次级别来搜索获取当前编码P帧的一个 或两个前向参考帧，通过这种方式能够灵活地丢弃增强层的P帧实现帧率调整，同时按照 显示顺序对输入视频流编码，即编码顺序与显示顺序相同，从而达到实时编码，降低时延 的目的。而且该技术编码结构简单，能够与原编码结构兼容，P帧作为参考帧使得在相同 的图象质量下能节省较多的码率，使得码流帧率按照2的整数次幂的倍数进行伸縮。在对这些双帧参考的视频编码标准进行时域可分级扩展时，由文献数字音视频编解 码技术标准工作组(文献下载网址http://www.avs.org.cn)可知，需要解决三个问题(1) 与非可分级编码标准的兼容问题。(2) 参考帧管理问题。(3) 编码效率和时延问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种针对实时双帧参考视频流的，能够与非可分 级视频编码标准相兼容的，并且能够快速实现实时时域可分级编码方法。本专利技术按下述技术方案解决其技术问题视频图像编码顺序与显示顺序一致，在编码 过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性；编码时，先根 据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前 帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。本专利技术与现有技术相比，具有以下的主要优点双帧参考视频流是基于现存IPP…P的非可分级视频编码标准，其时域可分级编码的 方法是基本层采用I帧与P帧图象编码类型，增强层采用的是P帧图象编码类型，通过 对图象组中的各编码帧进行时域层次标注，并且在编码增强层的P帧过程中根据时域层次 级别来搜索获取当前编码P帧的一个或两个前向参考帧，参考帧可以是I帧，也可以是P 帧，这样就使得码流帧率按照2的整数次幂的倍数进行伸縮，并且还能够实现GOP的大 小不为2的整数次幂时的编码；同时在编码过程中不使用或者很少使用B帧，所以降低了 时延。由于有很多应用场合对编码时延的要求非常高，例如视频监控、视频会议等，因此在 编码过程中还需考虑如何降低时延的目的。在本方法中，如果当前帧编码过程中所使用的 参考帧不多于2个，那么该编码方法可以成为双帧参考编码方式，将基于双帧参考编码方 式的视频流称为双帧参考视频流，例如MPEG-2、 H.261、 H.263以及中国的AVS等编码 标准。在这些标准中，除了 MPEG-2在可分级语法中定义了码流的分级语法结构，具有可 分级性之外，其余的都是不可分级的编码标准。为了使得这些非可分级双帧参考视频编码标准在兼容原标准的同时能够扩充可分级的功能，而且具有低延时的特点，以迎接新的挑 战，在时域可分级性方面，构建实时快速有效的时域可分级编码实现方法就显得很有意义。 采用了我国具有自主知识产权的音视频编码标准AVS，在
技术介绍
中也提到，AVS 是典型非可分级的双帧参考视频编码标准。在AVS的时域可分级扩展中，采用了本专利技术 的方法，对一系列序列进行了编码测试，在编码过程中，基本层(即时域层次为零)采用 的非可分级的编码标准进行编码，时域层次大于0的P帧按照本专利技术提供的实时双帧参考 时域可分级的方法进行编码，实现帧率可调，同时能够大幅度的降低时延，实现零时延的 编码效果。总之，本专利技术可以实现实时双帧参考视频流的时域可分级编码，使得码流的帧率能够 灵活地进行伸缩，并且与原编码标准相比，能够限制时延的效果。 附图说明图1为本专利技术的P帧时域层次分级的结构示意图；图2为本专利技术的GOP为2的整数幂数时的时域可分级编码与参考图象的关系示意图； 图3为本专利技术的GOP不为2的整数幂数时的时域可分级编码与参考图象的关系示意图；图4为现存的非可分级编码的IPP...P编码帧与参考图象的关系示意图；图5为本专利技术的插入一个B帧后的时域层次结构图；图6为本专利技术的图象组中每一帧图象吋域层次的计算过程；图7为本专利技术的实时时域可分级编码过程中参考帧的选择策本文档来自技高网...

【技术保护点】
一种实现实时双帧参考的时域可分级视频编码方法，其特征是：视频图像编码顺序与显示顺序一致，在编码过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性；编码时，先根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。

【技术特征摘要】
1.一种实现实时双帧参考的时域可分级视频编码方法，其特征是视频图像编码顺序与显示顺序一致，在编码过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性；编码时，先根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。2. 根据权利要求1所述的时域可分级视频编码方法，其特征是具体采用包括以下步 骤的方法(1) 将码流进行时域分层分为基本层和增强层，基本层采用结构为IPP...P的非可分级视频编码标准进行编码， 对应视频传输和终端解码显示的最低的时域分辨率，即时域层次的第零层；增强层对应的 是P帧，根据其各自的显示顺序来确定其时域层次，并且时域层次序号与增强层序号是一 一对应的，然后通过对P帧的灵活取舍来实现时域的可分级性；在编码一个图象组时，按 照其显示顺序进行实时地编码；(2) 检査配置文件中关于时域可分级参数设置的合法性 具体包括GOP的大小是否为2的整数次幂，GOP是图象组的英文縮写；如果检查出参数设置不合法，那么程序退出，编码过程失败；(3) 计算当前图象组中每个编码帧的时域层次，并对编码帧进行时域层次标注，对 编码配置参数进行更新；在这个过程中，基本层的I帧和P帧的时域层次设置为O,其余 的P帧根据层次分级中的时域层次计算算法进行计算，对原编码配置参数进行更新是指将编码图象类型设置为帧，帧跳跃的频率，以及在I 帧和P帧或P帧之间所要插入的P帧的数目为图象组的大小减1;同时还有对参考帧存储 单元进行更新；(4) 获取当前编码图象的参考帧如果当前是I帧，则不存在参考帧，直接执行现存标准中的帧内编解码过程；如果当 前帧是P帧，采用就近搜索的方法来获取前向参考帧；(5) 对当前编码图象进行运动预测和运动补偿、离散余弦变换、量化、对残差信息 以及参考帧索引和运动向量进行熵编码，这个过程与非可分级视频编码过程一样；(6) 保存当前帧，除最高时域层次的P帧外，重建图象进临时的编码重建图象数组， 这个数组会保存一个图象组的时域层次低于最高时域层次的所有帧的重建图象和前一个 图象组重建的I帧或者P帧，使步骤(4)能够正确获取到参考帧；(7) 重复步骤(4)到步骤(6)的过程，直到所需要的时域层次的最后一个图象为止；(8) 保存重建图象在这个过程中，賴别需要判定重建帧输入到重建图象文件的条件，如果条件满足，则输出图象组重建图象数组中时域层次低于最高时域层次的所有重建帧，本图象组编码过程 结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程。3. 根据权利要求2所述的时域可分级视频编码方法，其特征是当前图像时域层次由 当前图像的显示顺序和需要实现的时域层次数目确定，其中时域层次的具体计算方法为如果显示顺序号为gop—size大小的n倍时，则当前帧的时域层次为0; n=l， 2， 3， 4，如果不满足上述条件，则按照下述方法进行判断(1) 对于所有显示顺序号为奇数时的P帧，其时域层次...

【专利技术属性】
技术研发人员：胡瑞敏，牟晓弦，王启军，兰诚栋，刘琼，
申请(专利权)人：武汉大学，
类型：发明
国别省市：83[中国|武汉]