基于码率控制的可伸缩多描述视频编码结构设计方法技术

本发明专利技术公开了一种基于码率控制的可伸缩多描述视频编码结构设计方法。是对同一个视频采用两个或多个重要性相同的描述。通过“运动补偿时域滤波技术”，消除时域冗余；通过“熵编码技术”，实现三维小波系数的多描述视频纹理信息的有效编码；通过“拉格朗日特性的码率控制技术”，实现不同视频描述的形成；通过“三维可截断嵌入式码率控制技术”，实现码流的任意截断，以满足不同质量的视频解码结果；通过“多路径传输技术”，实现多个描述子的独立传输。

【技术实现步骤摘要】

本专利技术属于视频编码及网络传输领域。特别涉及基于码率控制的可伸缩多描述视频编码结构设计方法。
技术介绍
Internet的无连接包转发机制主要是为了解决突发性的数据传输而设计的，带宽变化、网络拥塞均将造成包数据的丢失，其本身并不能很好地适应可伸缩视频码流的传输。对于传统的可伸缩视频码流(Scalable VideoCoding，SVC)一旦丢失了基本层的数据，即使接收再多的增强层数据也无法正常解码出视频。可伸缩多描述编码是一种在信源编码端利用码流间冗余度，换取稳定性传输的有效方法。可伸缩多描述编码技术的基本思想是：把视频序列编码成两个或多个重要性相同的视频编码码流，即视频描述。每个描述都可独立打包成可伸缩码流并在相互独立的信道上传输。只要这些描述不是同时受到数据丢失的影响，那么在接收端根据这些描述所包含的信息可获得质量可接受的视频。为了保证从任意一个描述中都可以恢复出一定质量的视频，各个描述之间将会含有一定的冗余信息，并假设同一视频在多路径传输过程中多个描述同时丢失信息(尤其是丢失基本层信息)的概率非常小。这使得可伸缩多描述编码成为一种可靠的视频编码方法。目前的可伸缩多描述视频编码技术可以分为：基于量化的可伸缩多描述编码技术是对同一信源使用多个不同的量化过程，以产生不同的量化结果；在基于变换的可伸缩多描述编码的过程中通过成对的相关性变换或普通变-->换产生不同的描述；基于运动矢量的可伸缩多描述编码技术是将运动矢量信息包含在不同的描述中；基于运动补偿的可伸缩多描述编码技术通常采用高阶预测来增强预测之间的相关性，然后将编码得到的数据打上奇帧或偶帧的标记，平均分配到不同的描述中。现在的大多数可伸缩多描述算法都是在视频序列的时间和空间冗余度上作处理，很少有通过码率控制实现可伸缩多描述视频编码的。基于码率控制的可伸缩多描述技术就是从码率截断方面着手的一种技术，其通过将熵编码之后的码流按照不同的方式打包以形成可伸缩多描述视频码流。这种技术在具体实施中较为简单方便，多描述的解码和单描述解码可以融为一体，是一种有效的可伸缩多描述视频编码技术。
技术实现思路
本专利技术的目的在于克服上述现有技术不足，提供一种基于码率控制的可伸缩多描述视频编码结构设计方法，该方法能够减小有损网络传输对视频观看效果的影响，使得客户端接收到相对稳定的视频观看效果。为了实现上述任务，本专利技术采用的技术解决方案是：实现基于拉格朗日码率控制的可伸缩多描述视频编码设计方法，首先对原始视频进行传统的沿象素运动轨迹的时域运动补偿滤波，消除视频帧之间的时域相关性；然后对时域滤波得到的时域高低频帧进行空域二维离散小波变换，并对小波分解后的小波系数进行量化以及熵编码；随后通过将编码后的码流结果以码块为基本单位分成两类或多类，对不同的码块采用不同的码率进行截断嵌入式码率控制，形成两个或多个描述子码流，从而得到在时间、空间和质量上均可伸缩的多描述视频描述码流；最后将不同的视频描述码流在相互独立的信道上进行多路径传输。-->所述的在对编码后的结果进行分类，利用拉格朗日不等式的性质以及视频中的码率—失真特性将视频帧中码块分为两类或者多类，并针对不同类的码块分配不同的最大可容码率，首先根据利用拉格朗日不等式的性质以及视频中的码率—失真特性将视频帧中码块分为两类，任一类A为描述一的精细描述，包括低频子带，另一类B为描述一的粗糙描述；同样类B包括低频子带为描述二的精细描述，类A为描述二的粗糙描述，所谓精细描述是指对相应码块分配较多得码率，使得其可以有较小的失真，粗糙描述是指对相应码块分配较少得码率，使得其可以有较大的失真，对于精细描述，采用较大的码率进行三维码率控制；对于粗糙描述，采用较小得码率进行三维码率控制；码率控制后按照视频流的格式对两个描述分别打包，即形成了两个重要性相同的可伸缩多描述视频编码结果。本专利技术是一种在信源编码端利用码流间冗余度，提高稳定性传输的有效方法。该技术提供了支持基于拉格朗日码率控制的多描述可伸缩数字视频编解码结构设计方法，使得客户端可以从不同的传输信道中获得一定质量的视频码流，从而获得较为稳定的观看质量，更加适应新型视频媒体应用的发展。附图说明图1是本专利技术系统结构示意图；图2是本专利技术可伸缩多描述码流的多路径传输示意图。图3是本专利技术运动补偿时域滤波技术。图4是本专利技术基于拉格朗日方法的帧码块划分示意图。图4(a)表示码率截断候选截断点的选取。图4(b)表示码率截断后嵌入式码流的结构。图5是本专利技术可截断嵌入式码率控制技术。-->图6是本专利技术基于拉格朗日码率控制方法的码率控制流程图。下面结合附图对本专利技术的内容作进一步详细说明。具体实施方式本专利技术在空间可伸缩、时间可伸缩、质量可伸缩技术的基础上进一步实现视频码流的不同描述编码。由于码块间的码率-失真曲线拥有一定的联系性，可以将视频帧中的码块分为两类，该编码技术通过在码率控制部分对视频帧中不同类的码块采用不同的码率控制约束条件，从而获得同一视频内容重要性相同的不同编码码流，这些码流在网络中利用不同的信道单独传输。如果一个视频描述的数据包因为网络带宽变化、网络拥塞造成丢失、延迟，客户端可以根据另一个描述进行视频的解码，从而提高客户端观看的可靠性；如果客户端可以接收到多个视频描述，由于描述间拥有不同的信息内容，那么客户端将会获得更好的主观和客观视觉效果。本专利技术实现了以上基于拉格朗日码率控制的可伸缩多描述编解码技术，并将其应用于网络传输中，用户可根据网络传输的具体情况来获取相应质量以及稳定性的视频码流。按照上述技术方案，专利技术人在编解码系统中，采用运动补偿时域滤波(MCTF)，滤波器选取5-3小波或Haar小波。空域采用了5-3小波，9-7小波或Haar小波。编码时采用嵌入式码块优化截断编码技术、位平面编码和上下文自适应熵编码技术。参照图1所示，首先对原始视频进行传统的沿象素运动轨迹的时域运动补偿滤波(MCTF)，消除视频序列的时域相关性，然后对时域滤波得到的时域高低频帧进行空域二维小波变换(DWT)，并经过嵌入式编码器编码对小波系数进行量化以及编码。随后将编码后的结果分成两个不同的描述通过-->“三维码率控制(3DEBCOT)”对已生成的嵌入式码流在时间、空间和质量上进行不同的码流截断。生成的每个描述码流在不同的码块中所含的信息是拥有一定冗余的，仅仅单独依靠单个描述也可以恢复出一定质量的视频，如果可以同时接收到两个描述，那么客户端的主观以及客观观看效果要比仅接受到一个描述的效果有一定的提高。参照图2所示，0节点是服务器端，负责向其它节点传输不同的视频码流；1、2节点分别接受0节点传输出的一种视频描述，并将其所接收到的描述通过网络传输给3、4节点。根据不同的网络稳定性，对于3，4节点分别有三种不同的接收情况，即只接收视频描述一或者描述二的情况以及两个描述均接收到的情况。参照图3所示，对于每一组帧，首先通过运动估计确定运动轨迹，然后沿运动轨迹进行完全可重构的时域小波分解得到时域低频帧和高频帧，将能量集中到低频帧，而运动细节用高频帧表示，从而消除帧间的相关性，同时还可以提供时域可伸缩性。图中黑色视频帧为运动补偿时域滤波技术的最终输出结果，而阴影视频帧为中间计算结果。参照图4所示，图中所示为一个视频组(GOP)中各个本文档来自技高网...

【技术保护点】
基于码率控制的可伸缩多描述视频编码结构设计方法，其特征在于，具体包括下列步骤：　首先对原始视频进行传统的沿象素运动轨迹的时域运动补偿滤波，消除视频帧之间的时域相关性；　然后对时域滤波得到的时域高低频帧进行空域二维离散小波变换，并 对小波分解后的小波系数进行量化以及熵编码；　随后通过将编码后的码流结果以码块为基本单位分成两类或多类，对不同的码块采用不同的码率进行截断嵌入式码率控制，形成两个或多个描述子码流，从而得到在时间、空间和质量上均可伸缩的多描述视频描述码流 ；　最后将不同的视频描述码流在相互独立的信道上进行多路径传输。

【技术特征摘要】
1.基于码率控制的可伸缩多描述视频编码结构设计方法，其特征在于，具体包括下列步骤：首先对原始视频进行传统的沿象素运动轨迹的时域运动补偿滤波，消除视频帧之间的时域相关性；然后对时域滤波得到的时域高低频帧进行空域二维离散小波变换，并对小波分解后的小波系数进行量化以及熵编码；随后通过将编码后的码流结果以码块为基本单位分成两类或多类，对不同的码块采用不同的码率进行截断嵌入式码率控制，形成两个或多个描述子码流，从而得到在时间、空间和质量上均可伸缩的多描述视频描述码流；最后将不同的视频描述码流在相互独立的信道上进行多路径传输。2、根据权利要求1所述的基于码率控制的可伸缩多描述视频编码结构设计方法，其特征在于，所述的在对编码后的结果进行分类，利用拉格朗日...

【专利技术属性】
技术研发人员：惠苗，兰旭光，李策，王斌，薛建儒，赵松霖，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87[中国|西安]