一种网络传输特性友好的实时图像自适应恢复系统及方法技术方案

本发明专利技术公开的一种网络传输特性友好的实时图像自适应恢复系统及方法，系统包括编码端和解码端两部分，其中编码端包括编码图像索引生成模块、编码图像宏块信息备份模块、丢包数据传播区域计算模块和丢包区域编码类型控制模块；所述解码端包括解码图像索引提取模块、解码丢包信息统计模块和解码丢包信息反馈模块。本发明专利技术解决了丢包环境下频繁申请IDR帧的问题，对实时编解码系统的图像质量以及网络传输效果均具有一定提升。

【技术实现步骤摘要】
一种网络传输特性友好的实时图像自适应恢复系统及方法
本专利技术涉及实时编码图像传输
，具体涉及一种网络传输特性友好的实时图像自适应恢复系统及方法。
技术介绍
在实时视频编解码系统的应用中（比如视频会议或者视频监控）网络丢包是必须要面对和解决的一个问题，以AVC(H.264)的多条带编码为例，在AVC（H.264）编码中有一种多条带（slice）编码模式，各条带之间没有相关性（或相关性很小），在实际网传中一般以一个条带一个包的方式进行传递。在丢包环境下，该方式可以降低异常图像的扩散，但是也会不可避免的引起“马赛克”现象（因为实际数据已经丢失，该丢失部分的图像只能通过一些预测手段来恢复，与真正的解码图像存在一定误差，并且由于编码帧之间的时间相关性，该误差图像会持续扩散，进而引起马赛克现象）。因此，为消除网络丢包引起的图像质量损失，通常的解决方案是：解码端检测到丢包后向编码端设备发送消息申请IDR帧（立即刷新帧），进而阻断因丢包引起的异常图像传递，编码端需要申请IDR帧来真正阻断异常图像的扩散，进而出现申请IDR帧的情况，网络丢包越严重，IDR帧申请越频繁。但是IDR帧存在如下缺点：1）同等质量情况下IDR帧的尺寸较P帧（预测编码帧）的尺寸大很多，2）同等尺寸条件下IDR帧的图像质量较P帧的图像质量差很多。如果频繁申请IDR帧会引起编码图像质量降低，并且不利于网络传输，极端情况下还会引起网络阻塞，进而引起更严重的丢包。因此，本专利技术人提出了一种网络传输特性友好的实时图像自适应恢复系统及方法来解决丢包环境下频繁申请IDR帧的问题。
技术实现思路
本专利技术的目的在于提供一种网络传输特性友好的实时图像自适应恢复系统及方法，以解决丢包环境下频繁申请IDR帧的问题，对实时编解码系统的图像质量以及网络传输效果均具有一定提升。为了实现上述目的，本专利技术的技术方案如下：一种网络传输特性友好的实时图像自适应恢复系统，包括编码端和解码端两部分，其中编码端包括：编码图像索引生成模块，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；编码图像宏块信息备份模块，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；丢包数据传播区域计算模块，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；丢包区域编码类型控制模块，该模块用于控制编码端的编码宏块类型，如果判断待编码的宏块处于丢包数据传播区域范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；所述解码端包括：解码图像索引提取模块，该模块提取当前解码帧图像的索引，如果出现丢包，则需将该信息传递给编码端，编码端利用该信息确定该丢包的解码帧与待编码帧之间的时间相关性；解码丢包信息统计模块，该模块统计丢包数据的位置以及丢包数据覆盖的范围，包括条带级以及宏块级，用于编码端核对该类信息；解码丢包信息反馈模块，该模块通过网络协议传递向编码端传递该路编码端丢包统计以及丢包图像索引信息，用于异常图像恢复。一种网络传输特性友好的实时图像自适应恢复方法，包括：在编码端预先保存帧图像索引以及编码宏块类型信息、运动向量信息；根据解码端反馈的丢包位置信息，编码端计算出该解码帧与当前待编码帧的宏块对应关系；所述丢包位置信息包括解码帧索引以及条带索引；然后编码端在存在关联的区域使用帧内宏块模式进行编码，阻断解码异常图像的传播路径；接着编码端发送该编码帧码流，在解码端接收到该编码帧数据之后可立即恢复为正常图像。采用上述方案后，本专利技术具有以下优点：(1)本专利技术可以精确控制丢包引起的异常图像传播路径以及区域；(2)本专利技术根据异常图像传播范围进行编码宏块类型的精确控制，阻断异常图像传播；(3)本专利技术可以在不申请IDR帧的情况下即可恢复丢包引起的异常图像，并且图像恢复效果与申请IDR方式相同，可以完全恢复数据丢包引起的图像异常，且网络带宽占用较IDR方式低。以下结合附图及具体实施例对本专利技术做进一步说明。附图说明图1是编码端与解码端的宏块依赖关系示意图；图2是本专利技术编码端与解码端信息传输和处理流程图；图3是本专利技术一种网络传输特性友好的实时图像自适应恢复系统结构框图；图4是本专利技术编码端处理流程图；图5是本专利技术解码端处理流程图。具体实施方式在介绍本专利技术的详细方案之前，对本专利技术涉及的编解码原理进行解释：如图1所示，以AVC(H.264)的多条带编码为例但应用范围不限于AVC，为其编码端与解码端的宏块依赖关系示意图，为简明阐述相关问题，仅仅以图像中的个别宏块为例，在实际情况中应扩展到整个图像的宏块依赖关系。编码端和解码端的各图像帧按照时间顺序进行编码或者解码，编码端和解码端一一对应，以帧序号为例，其中第N-1帧最先编码或者解码，第N帧其次，第N+1再次之。不同图像帧之间颜色相同的区块（图中做了灰度处理，为灰度相同的区块）代表彼此之间存在依赖关系，第N帧数据既与N-1帧有关系又与N+1帧有关系，其中N帧中的黄、绿、蓝、橙、紫对应的灰度与第N-1帧灰度相同的区块对应，第N帧的其他灰度区块与第N+1帧灰度区域相对应。粗线条分割的区域代表AVC的条带区域，其内的方形格子代表图像编解码中的宏块信息（Macroblock）;解码端的N-1帧较细的斜线覆盖区域代码该部分的解码码流在传输过程中出现丢失，由于解码图像之间的时间相关性，会引起N帧以及N+1帧对应区域出现解码图像异常，进而引起异常图像扩散（图1中解码端N帧以及N+1帧中的斜线代表扩散的位置）。基于以上编解码原理，如图2和3所示，本专利技术揭示了一种网络传输特性友好的实时图像自适应恢复系统；包括编码端100和解码端200两部分，其中编码端100包括：编码图像索引生成模块101，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；编码图像宏块信息备份模块102，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；丢包数据传播区域计算模块103，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；丢包区域编码类型控制模块104，该模块用于控制编码端100的编码宏块类型，如果判断待编码的宏块处于“丢包数据传播区域”范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；所述解码端200包括：解码图像索引提取模块201，该模块提取当前解码帧图像的索引，如果出现丢包，则需将该信息传递给编码端，编码端利用该信息确定该丢包的解码帧与待编码帧之间的时间相关性；解码丢包信息统计模块202，该模块统计丢包数据的位置以及丢包数据覆盖的范围，包括条带级以及宏块级，用于编码端核对该类信息，防止出现误判；解码丢包信息反馈模块203，该模块通过网络协议传递向编码端传递该路编码端丢包统计以及丢包图像索引信息，用于异常图像恢复。基于上述的一种网络传输特性友好的实时图像自适应恢复系统，本专利技术还揭示了采用该系统实施的一种网络传输特性友好的实时图像自适应恢复方法，参见图4和5，该方法包括：第一步，编码图像索引生成模块101生成该编码序列的唯一本文档来自技高网...

【技术保护点】
1.一种网络传输特性友好的实时图像自适应恢复系统，其特征在于，包括编码端和解码端两部分，其中编码端包括：编码图像索引生成模块，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；编码图像宏块信息备份模块，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；丢包数据传播区域计算模块，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；丢包区域编码类型控制模块，该模块用于控制编码端的编码宏块类型，如果判断待编码的宏块处于丢包数据传播区域范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；所述解码端包括：解码图像索引提取模块，该模块提取当前解码帧图像的索引，如果出现丢包，则需将该信息传递给编码端，编码端利用该信息确定该丢包的解码帧与待编码帧之间的时间相关性；解码丢包信息统计模块，该模块统计丢包数据的位置以及丢包数据覆盖的范围，包括条带级以及宏块级，用于编码端核对该类信息；解码丢包信息反馈模块，该模块通过网络协议传递向编码端传递该路编码端丢包统计以及丢包图像索引信息，用于异常图像恢复。...

【技术特征摘要】
1.一种网络传输特性友好的实时图像自适应恢复系统，其特征在于，包括编码端和解码端两部分，其中编码端包括：编码图像索引生成模块，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；编码图像宏块信息备份模块，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；丢包数据传播区域计算模块，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；丢包区域编码类型控制模块，该模块用于控制编码端的编码宏块类型，如果判断待编码的宏块处于丢包数据传播区域范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；所述解码端包括：解码图像索引提取模块，该模块提取当前解码帧图像的索引，如果出现丢包，...

【专利技术属性】
技术研发人员：张联昌，毕永建，孔令波，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：福建,35