一种视频容错控制系统及方法技术方案

本发明专利技术公开了一种视频容错控制系统，包括位于发送端的拆分单元、编码单元以及传输单元、位于接收端的解码单元和恢复单元，其中：所述拆分单元，用于将视频序列中的完整图像帧均匀地拆分为至少两个子序列；所述编码单元，用于将每一所述子序列独立编码为码流；所述传输单元，用于将各子序列的编码码流分别发送到接收端；所述解码单元，用于解码接收的各子序列编码码流；所述恢复单元，在所有子序列成功解码时根据原始拆分的空间关系恢复原始图像帧，或在部分子序列解码成功时根据解码成功的子序列进行空间插值计算恢复原始图像帧。本发明专利技术还提供一种相关方法。本发明专利技术可以显著提高视频传输的容错抗丢包能力，提高视频播放的流畅性。

【技术实现步骤摘要】

本专利技术涉及视频通信领域，更具体地说，涉及。
技术介绍
随着网络应用的发展，经由网络的视频通信已广泛应用于即时通信、聊天 室等场合。在视频通信中，通常将视频序列中的图像帧编码为I帧和P帧进行传输，其中I帧是帧内编码帧，其不依赖其它帧而独立解码，编码码流较大； P帧是帧间编码帧，其依赖于它前面的I帧或P帧才可解码，因为P帧参考了 前一帧图像，故码流较小。为了适应网络传输，需要将每一帧的码流按照网络 带宽等情况分成若干个较小的数据包进行发送。然而，在实际传输过程中(例如IP网络、无线网络等)，由于网络问题， 可能出现丟包现象。对应I帧，只要其本身的数据包都收到，接收端就可以解 码恢复；而P帧图像，则除其本身的数据包外，它前面的最近的I帧和该I帧 后的所有P帧都要收到才可以解码恢复。例如图1中Io到h之间包括5个P 帧，若第3个P传输中丢失，则即便接收端接收到第4、第5个P帧也不能解 码。随着无线网络和多媒体技术应用的广泛和深入，在不可靠信道上传输视频 的需求日益增长，视频编码和传输中的错误控制问题已经引起了广泛关注。专 利申请号为200510097644.8的中国专利公开了 一种视频容错控制方案，其 将I帧插入到序列的中间，I帧前面的P帧后向参考这个I帧，从而实现容错。 然而，该方案却造成编码复杂度增加、解码延时增大的问题，并且该方案的容 错效果也不是很理想。
技术实现思路
本专利技术要解决的技术问题在于，针对视频通信中因为数据包丟失而造成可 察觉的视频流畅性降低的问题，提供。本专利技术解决上述技术问题的技术方案是，提供一种视频容错控制系统，包 括位于发送端的拆分单元、编码单元以及传输单元、位于接收端的解码单元和恢复单元，其中所述拆分单元，用于将一见频序列中的完整图#>帧均匀地拆分为至少两个子 序列；所述编码单元，用于将每一所述子序列独立编^冯为码流；所述传输单元，用于将各子序列的编码码流分别发送到接收端；所述解码单元，用于解码接收的各子序列编码码流；所述恢复单元，在所有子序列成功解码时才艮据原始拆分的空间关系恢复原 始图像帧，或在部分子序列解码成功时根据解码成功的子序列进行空间插值计 算恢复原始图像帧。在本专利技术所述的一种视频容错控制系统中，所述拆分单元将完整图像帧以 隔行、隔列或隔行隔列方式拆分为至少两个子序列。在本专利技术所述的一种视频容错控制系统中，所述编码单元在对各子序列进 行编码时，使各子序列的I帧间的间隔相异或各子序列的I帧有序交错。在本专利技术所述的一种视频容错控制系统中，所述传输单元将各子序列的编 码码流按时间顺序交替发送。在本专利技术所述的一种视频容错控制系统中，所述发送端还包括调节单元， 用于根据网络状况进行反馈调节、空间拆分调节和/或I帧交错调节。本专利技术还提供一种视频容错控制方法，包括以下步骤(a) 在发送端将3见频序列中的完整图像帧均匀地拆分为至少两个子序列；(b) 将每一子序列独立编码为码流，并将各子序列的编码码流分别发送 到4妄收端；(c) 接收端在所有子序列成功解码时根据原始拆分的空间关系恢复原始 图像帧，或在部分子序列解码成功时根据解码成功的子序列进行空间插值计算恢复原始图像帧。在本专利技术所述的一种视频容错控制方法中，所述步骤(a)中，所述完整 图像帧以隔行、隔列或隔行隔列方式拆分为至少两个子序列。在本专利技术所述的一种视频容错控制方法中，所述步骤(b)包括 (bl)将各个子序列分別编码为码流，在所述编码码流中1帧间的间隔相 异或各子序列的I帧有序交错；(b2)将各子序列编码码流封装为数据包发送到接收端。 在本专利技术所述的一种视频容错控制方法中，所述步骤(b2)进一步包括 (b21)将各子序列的数据包按照时间顺序交替发送到接收端。 在本专利技术所述的一种视频容错控制方法中，所述步骤(c)包括 (cl)接收端接收到来自发送端的数据包后将数据包恢复为码流数据，并 解码上述码流数据；(c2 )判断是否所有子序列的码流均解码成功，若所有子序列都解码成功， 则执行(c3);否则执行(c4);(c3)根据原始的拆分空间关系，恢复原始视频图像帧；(c4 )根据解码成功的子序列进行空间插值计算恢复原始图像帧。在本专利技术所述的一种视频容错控制方法中，还包括发送端根据网络状况 进行反馈调节、空间拆分调节和/或I帧交错调节。本专利技术所述的一种视频容错控制方法，通过在发送端对视频序列的单帧图 像进行拆分编码，在接收端进行空间插值恢复原图像，实现了网络丢包情况下 的高流畅性视频通信。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中图l是现有视频通信中的数据包的示意图；图2是本专利技术一种视频容错控制系统实施例的示意图；图3是图2中的拆分单元拆分图像帧的示意图；图4是图2中的恢复单元恢复图像帧的示意图； 图5是图2中的编码单元编码子序列的示意图； 图6是图2中的编码单元以另一方式编码子序列的示意图； 图7是本专利技术一种视频容错控制方法实施例的流程示意图； 图8是图7中编码并发送子序列步骤实施例的流程图； 图9是图7中解码并恢复图像帧步骤实施例的流程图。具体实施方式针对视频传输过程中因数据包丢失造成的可察觉视频流畅性降低，本发 明提供了一种提高视频流畅性的容错控制系统及方法。本专利技术在视频通信的发 送端将视频序列的单帧图像拆分成两个或多个子序列，并对各个子序列进行独 立编码，在视频通信的接收端对接收到的各子序列的码流进行解码，并在仅接 收到图像的部分子序列码流可解码时，根据该解码子序列进行空间插值恢复原 图像。如图2所示，是本专利技术一种视频容错控制系统的一个实施例的结构示意 图。该系统包括拆分单元11、编码单元12、传输单元13、解码单元21和恢 复单元22，其中拆分单元ll、编码单元12以及传输单元13位于发送端10, 解码单元21和恢复单元22位于接收端20。拆分单元11用于将视频序列中的单帧图像均匀地拆分为至少两个子序 列。该拆分单元11在进行拆分时，其拆分的方式可以是隔列拆分为两个子 序列、隔行拆分为两个子序列、隔行隔列拆分成四个子序列。例如在图3所示 的实例中，原始视频图像大小是320x240，其可以隔列拆分为两个大小为160 x240的子序列。当然，具体的拆分方式可以有多种，并不局限于上述方式， 拆分的原则是尽量对称均匀，从而有利于根据部分子序列恢复原始图像。编码单元12用于将拆分单元11拆分获得的每一子序列独立编码为码流。 为了提高容错性，编码单元12在具体实现时，将各个子序列的I帧尽量交错。 例如编码单元12可以通过图5和图6的方式实现子序列的I帧交错。在图5 所示的方式中，各子序列的I帧间隔相同，后续子序列相对于前面的子序列的 I帧延时插入，从而保证各子序列的I帧有序交错。在图6所示的方式中，各子序列的I帧间隔相互不同，例如可以使用互质的整数个P帧进行间隔，从而 使各子序列的I帧无序交错。传输单元13用于将各子序列的编码码流分别发送到接收端20。在本实施 例中，传输单元13将各子序列编码码流按照网络最大传输单元分包。为了保 证视频通信的连续性，传输单元13将各子序列的数据包按照时间顺序交替发 送，例如先发第一子序列的1个数据包，再发第二子序列的1个lt据包；或者 在延时和緩冲许可范围内交替发送多个数据包，本文档来自技高网...

【技术保护点】
一种视频容错控制系统，其特征在于，包括位于发送端的拆分单元、编码单元以及传输单元、位于接收端的解码单元和恢复单元，其中：所述拆分单元，用于将视频序列中的完整图像帧均匀地拆分为至少两个子序列；所述编码单元，用于将每一所述子序列 独立编码为码流；所述传输单元，用于将各子序列的编码码流分别发送到接收端；所述解码单元，用于解码接收的各子序列编码码流；所述恢复单元，在所有子序列成功解码时根据原始拆分的空间关系恢复原始图像帧，或在部分子序列解码成功时 根据解码成功的子序列进行空间插值计算恢复原始图像帧。

【技术特征摘要】
1、一种视频容错控制系统，其特征在于，包括位于发送端的拆分单元、编码单元以及传输单元、位于接收端的解码单元和恢复单元，其中所述拆分单元，用于将视频序列中的完整图像帧均匀地拆分为至少两个子序列；所述编码单元，用于将每一所述子序列独立编码为码流；所述传输单元，用于将各子序列的编码码流分别发送到接收端；所述解码单元，用于解码接收的各子序列编码码流；所述恢复单元，在所有子序列成功解码时根据原始拆分的空间关系恢复原始图像帧，或在部分子序列解码成功时根据解码成功的子序列进行空间插值计算恢复原始图像帧。2、 根据权利要求1所述的一种视频容错控制系统，其特征在于，所述拆 分单元将完整图〗象帧以隔4亍、隔列或隔4亍隔列方式拆分为至少两个子序列。3、 根据权利要求1所述的一种视频容错控制系统，其特征在于，所述编 码单元在对各子序列进行编码时，使各子序列的I帧间的间隔相异或各子序列 的I帧有序交错。4、 根据权利要求1所述的一种视频容错控制系统，其特征在于，所述传 输单元将各子序列的编码码流按时间顺序交替发送。5、 根据权利要求1所述的一种视频容错控制系统，其特征在于，所述发 送端还包括调节单元，用于根据网络状况进行反馈调节、空间拆分调节和/或I 帧交错调节。6、 一种视频容错控制方法，其特征在于，包括以下步骤(a) 在发送端将视频序列中的完整图像帧均匀地拆分为至少两个子序列；(b) 将每一子序列独立编码为码流，并将各子序列的编码码...

【专利技术属性】
技术研发人员：陈敬昌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：94[中国|深圳]