一种基于H.264视频报文类型的不等差错传输保护方法技术

本发明专利技术涉及一种基于H.264视频报文内容的视频传输不等差错保护方法。该方法按照实际网络丢包环境度量H.264视频报文不同内容的重要性并依此对视频流内容进行分级，建立冗余带宽优化分配模型，采用线性编码对视频流进行不等差错保护，使用更少带宽实现了更好的码流保护，有效降低了视频的传输失真。

【技术实现步骤摘要】

本专利技术属于网络视频传输技术，特别是一种基于H.264视频报文类型的不等差错传输保护方法。
技术介绍
网络视频业务虽然得到了广泛的应用和巨大的发展，但是，由于视频传输应用的种种特殊性，此中仍然存在许多亟待解决和完善的问题。现有视频编码方式为获得高压缩率，通常采用基于变换编码和运动补偿框架，利用运动估计以及运动补偿来消除帧间的时间冗余，利用变换编码和量化操作消除帧内的空间冗余。以上方法的实现依赖于大量的帧间、帧内预测编码，伴随而来的是数据之间的严重依赖性，这就使得网络视频流对分组丢失、时延、抖动等网络特性非常敏感。因此，对网络中的视频数据进行前向纠错，采用一定的方式进行差错保护，产生一定量的冗余信息以抵抗网络环境恶化造成的视频质量损伤，是非常有必要的。网络中的视频数据包携带不同的视频数据，而这些视频数据因视频内容、编码方式等特性，又具有不同的重要性，因而其受到网络状况影响而造成的质量损伤又有着明显的差别。视频的关键部分即使丢失非常少量的数据，也可能造成视频质量的明显下降；而不重要的部分即使丢失较多数据，也不会造成严重的视频质量下降。因此，在进行差错保护时，针对网络视频数据报文进行重要性分级，并根据不同等级的重要性进行不等差错保护，是一种解决问题的有效途径。在这种应用需求下，针对网络的丢包特性提出一种视频数据包重要性衡量标准，成为首要且必要的问题。邢成文等人的国家专利技术专利[文献1：一种基于无速率调制的立体视频传输方法，CN104394401A]针对H.264/MVC格式视频进行研究，仅就视频编码的基本层和增强层区分视频报文的重要性，对报文内容的重要性划分不够精细。因此，亟需一种分级方式对视频报文的重要性进行有效的划分。视频在压缩编码时会造成视频质量的损伤，被称为编码损伤。由于视频编码的方式有很多，可调控的参数也很多，通过这些不同的方式及参数编码得到的视频流损伤程度不同，其码率也不同。输出码率越高，视频损伤越小，传输开销则越大；反之，输出码率越低，视频损伤越大，传输开销则越小。无线网络的带宽资源非常有限，且有可能出现较大波动。石东新等人的国家专利技术专利[文献2：一种系统不等差错保护的Raptor码方法，CN104320147A]采用喷泉码中的Raptor码对网络数据进行不等差错保护，但是由于喷泉码本身复杂度较高，造成的时延比较大，不适用于实时视频传输系统，且在某段数据进行Raptor码编码后，若解码失败，受到保护的源数据全部无效，应对比较高的丢包率时性能会大幅衰减。董育宁等人的国家专利技术专利[文献3：基于不等差错保护的实时视频通信方法，CN103067719A]针对H.264/AVC视频序列的图像组(GroupofPictures，GOP)结构进行了重要性分级，采用前向纠错技术对各个视频码流构成的分组进行保护，对于传输中的失真，采用错误隐藏方式在解码端进行恢复，不改变视频编码的速率，因此在信道带宽变化时，可能因带宽过大造成带宽资源的浪费，或由于带宽不足而造成严重的拥塞丢包，并且，这种方法需要前向纠错和错误隐藏共同作用，即对视频应用系统的发送端和接收端都进行改动，错误隐藏也会造成一定时延。因此，如何分配有限的带宽资源用于传输视频码流和冗余信息，以最大程度地复原视频信息，降低编码、传输带来的视频质量损伤，是一个非常重要的问题。
技术实现思路
本专利技术的目的在于提供一种基于H.264视频报文类型的不等差错传输保护方法，能够实现视频流的不等差错保护，得到最佳的视频传输质量。实现本专利技术目的的技术解决方案为：一种基于H.264视频报文类型的不等差错传输保护方法，首先按照实际网络丢包环境度量H.264视频报文不同类型的重要性并依此对视频流内容进行分级，即通过解析视频流，按照视频分组的帧类型和图像组GOP位置进行分级；然后建立线性编码的冗余带宽优化分配模型；在此基础上调整信源编码和信道编码的码率，信道编码采用线性编码对视频流进行不等差错保护，寻找视频质量衰减的最低值对应的信道带宽分配比例，得到网络随机丢包率为1％至10％之间的接收端接收到的最佳视频质量。本专利技术与现有技术相比，其显著优点为：(1)采用基于帧类型和GOP位置的视频报文重要性分级方式，得到视频报文的重要性比例，并针对网络丢包率研究其重要性，分级方法更加合理，更加符合实际网络环境。(2)采用线性编码对码流进行保护，建立基于线性编码的冗余带宽优化分配模型，得到不同丢包率下不同重要性分级的冗余带宽分配比例，接收端恢复视频质量有明显提高，使得无线网络视频流在随机丢包环境下得到更好的保护。(3)在确定不等差错保护方法的基础上，解决网络带宽在信源编码与线性编码之间的码率分配问题，得到最优的分配比例，能够使用较少的带宽完成视频流的较好保护，是一种效率高、实时性好、适用范围广的保护方法。下面结合附图对本专利技术作进一步详细描述。附图说明图1是模拟控制丢包率的流程图。图2是本专利技术基于帧类型和GOP位置的不等差错保护的流程图。具体实施方式本专利技术基于H.264视频报文类型的不等差错传输保护方法，包括三个部分：基于帧类型和GOP位置的H.264视频流重要性分级、基于线性编码的冗余带宽优化分配模型建立和信源信道编码带宽的分配，具体实施过程为：1、对H.264视频流进行基于帧类型和GOP位置的重要性分级首先，通过解析码流区分不同数据包所携带报文的不同类型：在压缩的H.264视频流中，视频帧按照生成方式和参考性分为I帧、P帧、B帧三种基本类型，并以GOP为独立编码单位。I帧采用帧内编码方式，即不参考其他帧进行编码；P帧为前向预测编码，参考帧可以是I帧、P帧，并按照编码顺序进行播放；B帧采用双向预测编码，可参考播放顺序在其之前、之后的I帧、P帧(B帧本身一般不具有参考性)。所以，在H.264视频流中，I帧的错误会造成参考它生成的P、B帧的错误，而P帧的错误会造成参考它生成的B帧的错误，B帧的错误则不会影响其他帧(因其不具有参考性)。从参考性的角度可以看出，I帧的重要性高于P帧，而P帧的重要性高于B帧。而在每个GOP中，第一帧为I帧；P帧参考I帧以及GOP位置在其之前的P帧生成，位置较前的P帧具有更高的参考性，因此P帧按其GOP位置由前至后重要性依次降低；而B帧则参考I帧和P帧生成，由于B帧本身不具有参考性，因此其位置与其重要性无关。其次，将H.264视频流按照帧类型和GOP位置分为不同的重要性等级，I帧数据为一级，B帧数据为一级，P帧数据按照其GOP位置由前向后重要性依次降低，分为不同的重要性等级。解析视频流，按照上述分级方法分级，根据各重要性等级视频分组丢失对视频质量的影响，得到其丢失率与视频质量衰减之间为线性关系，I帧分组重要性高，B帧分组重要性低，P帧分组按其GOP位置由前向后重要性递减。再次，对不同的报文类型独立控制丢包，得到丢包率与视频质量衰减之间的关系。在对H.264视频流进行基于帧类型和GOP位置的重要性分级时，首先要通过解析码流区分不同数据包所携带报文的不同类型，然后对不同的类型独立控制丢包，确定其丢包率与视频质量衰减之间的关系。H.264视频由网络抽取层NAL(NetworkAbstractLayer，NAL)单元组成，NA本文档来自技高网...

【技术保护点】
一种基于H.264视频报文类型的不等差错传输保护方法，其特征在于首先按照实际网络丢包环境度量H.264视频报文不同类型的重要性并依此对视频流内容进行分级，即通过解析视频流，按照视频分组的帧类型和图像组GOP位置进行分级；然后建立线性编码的冗余带宽优化分配模型；在此基础上调整信源编码和信道编码的码率，信道编码采用线性编码对视频流进行不等差错保护，寻找视频质量衰减的最低值对应的信道带宽分配比例，得到网络随机丢包率为1％至10％之间的接收端接收到的最佳视频质量。

【技术特征摘要】
1.一种基于H.264视频报文类型的不等差错传输保护方法，其特征在于首先按照实际网络丢包环境度量H.264视频报文不同类型的重要性并依此对视频流内容进行分级，即通过解析视频流，按照视频分组的帧类型和图像组GOP位置进行分级；然后建立线性编码的冗余带宽优化分配模型；在此基础上调整信源编码和信道编码的码率，信道编码采用线性编码对视频流进行不等差错保护，寻找视频质量衰减的最低值对应的信道带宽分配比例，得到网络随机丢包率为1％至10％之间的接收端接收到的最佳视频质量。2.根据权利要求1所述的基于H.264视频报文类型的不等差错传输保护方法，其特征在于对H.264视频流进行基于帧类型和GOP位置的重要性分级步骤如下：首先，通过解析码流区分不同数据包所携带报文的不同类型：在压缩的H.264视频流中，视频帧按照生成方式和参考性分为I帧、P帧、B帧三种基本类型，并以GOP为独立编码单位；I帧采用帧内编码方式，即不参考其他帧进行编码；P帧为前向预测编码，参考帧为I帧及播放顺序在其之前的P帧，并按照编码生成顺序进行播放；B帧采用双向预测编码，参考播放顺序在其前、后的I帧和P帧生成；其次，将H.264视频流按照帧类型和P帧的GOP位置分为不同的重要性等级，I帧数据为一级，B帧数据为一级，P帧数据按照其GOP位置由前向后重要性依次降低，分为不同的重要性等级，解析视频流，按照上述分级方法分级，I帧分组重要性高，B帧分组重要性低，P帧分组按其GOP位置由前向后重要性递减；再次，对不同的报文类型独立控制丢包，得到丢包率与视频质量衰减之间的关系，即H.264视频流在进行网络传输时，封装为UDP包，在传输层进行分片传输，分片最大长度为最大传输单元MTU，网络丢包也是以此为单位进行的；在采用X264编码器进行视频编码时，即按照MTU大小限制进行分片编码，H.264视频流的每个网络抽取层NAL单元大小不超过MTU，实现应用层视频分组到网络数据包的一对一映射，由此控制丢弃视频分组即可模拟控制丢包率；在此基础上，对不同重要性等级的视频分组数目进行统计，按照丢包率设置产生随机数列，选择丢弃数目为当前等级视频分组数目与丢包率的乘积的视频分组，即可得到不
\t同丢包率下不同重要性等级的视频分组独立丢包带来的视频质量衰减；最后，采用FFmpeg视频解码器进行解码后得到恢复视频，将恢复视频的质量与原始视频质量对比，采用PSNR方法评估视频质量；再将视频直接进行编码和解码，...

【专利技术属性】
技术研发人员：吴泽民，邱正伦，唐研，田畅，刘熹，胡磊，
申请(专利权)人：江苏惠纬讯信息科技有限公司，中国人民解放军理工大学，
类型：发明
国别省市：江苏;32