视频数据的发送、接收方法及其装置以及传输系统制造方法及图纸

本发明专利技术公开了一种视频数据的发送、接收方法及其装置以及传输系统，该发送方法包括：根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；发送所述辅码流和主码流。由于将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，兼顾了传输带宽和图像质量。

【技术实现步骤摘要】

本专利技术涉及视频编解码技术，尤其涉及一种视频数据的发送、接收方法及其装置以及传输系统。
技术介绍
目前，对于数字视频的访问终端已从传统个人计算机(PC)向智能手机、个人数码助理(Personal Digital Assistant，PDA)、平板等多种终端发展。数字视频信号也面临着不同的传输环境，包括无线网络、第三代移动通信(3G)网络等。不同的接收终端具有不同的处理能力和存储能力，不同的网络环境具有不同的传输带宽，这对数字视频的传输提出了很大的挑战。基于上述原因，能降低对网络的传输带宽要求的视频压缩技术也越来越受到重视。通常，数字视频中通常包含大量的冗余信息，例如：空间冗余、时间冗余和信息熵冗余。视频压缩主要目的就是去除数字视频中的冗余信息。由于视频信号数据量较大，需要很大的传输带宽，因此在传输数字视频信号之前需要对视频信号进行压缩。此外，视频压缩有两个要求：a)一定的压缩比；b)保证一定的质量。预测编码是消除数字视频中冗余信息的重要技术手段之一。预测编码即利用信号间的相关性，用前面一个或多个信号作为当前信号的预测值，对当前信号的实际值与预测值的差进行编码。在帧间预测编码中，作为当前信号预测值的图像称为参考图像，参考图像常常具有较高的质量和码率。通常，背景帧会作为后续图像的参考图像，然而，对于固定带宽和低带宽的网络传输环境，背景帧成为传输的瓶颈。这是因为，背景帧是由序列中图像建模得到的高质量背景图像，如果建模理想的话，会得到没有任何前景的一幅图像，为了后续图像高效压缩(参考背景帧)，通常对背景帧采用高质量编码方法，其编码过程就是采用了编码关键帧(I帧)的过程，编码后数据量较大，具有较高的质量。若直接传输背景帧，容易导致码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失；若降低作为背景帧的高质量背景图像的质量，将影响后续需要参考该高质量的背景图像进行编码的非背景帧的压缩效果，造成整体性能的下降。因此，现有技术中针对含有背景帧的视频数据进行传输时，存在不能兼顾传输带宽和图像质量的问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种视频数据的发送、接收方法及其装置以及传输系统，用以解决现有技术中不能兼顾传输带宽和图像质量的问题。本专利技术实施例提供一种视频数据的发送、接收方法及其装置以及传输系统，具体如下：第一方面，一种视频数据的发送方法，所述方法包括：根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；发送所述辅码流和主码流。通过这种可能的实施方式，将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。结合第一方面，在第一种可能的实现方式中，所述发送所述辅码流和主码流，包括：分时发送所述辅码流和主码流，其中，所述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流，包括：根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。结合第一方面，第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还包括：确定原始编码码流中的图像序列号的最大值小于所述原始编码码流中包含的图像帧数量；生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量；所述发送所述主码流和辅码流包括：发送主码流时，将该主码流的位置偏移量随同该主码流发送；发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。结合第一方面，第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第四种可能的实现方式中，所述原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还包括：确定原始编码码流中的图像序列号的最大值等于所述原始编码码流中包含的图像帧数量；在所述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，所述方法还包括：对分割得到的所述数据包进行编号，将编号加入相应的数据包，所述编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。第二方面，一种视频数据的接收方法，所述方法包括：接收视频数据码流，所述视频数据码流包括含有主码流标识的主码流和含有辅码流标识的辅码流，所述辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，所述主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；根据码流中包含的标识，确定接收的码流中的主码流和辅码流；将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。通过这种可能的实施方式，由于接收的是将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流以及主码流，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。结合第二方面，在第一种可能的实现方式中，接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码，包括：利用接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，将确定的主码流本文档来自技高网...

【技术保护点】
一种视频数据的发送方法，其特征在于，所述方法包括：根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；发送所述辅码流和主码流。

【技术特征摘要】
1.一种视频数据的发送方法，其特征在于，所述方法包括：
根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的
原始编码码流中的背景帧；
将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行
封装，形成辅码流；
将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码
流；
发送所述辅码流和主码流。
2.如权利要求1所述的视频数据的发送方法，其特征在于，所述发送所
述辅码流和主码流，包括：
分时发送所述辅码流和主码流，其中，所述辅码流的发送完毕时间点不晚
于需要该辅码流进行解码的主码流的发送完毕时间点。
3.如权利要求1所述的视频数据的发送方法，其特征在于，所述将确定
的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成
辅码流，包括：
根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包
的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后
进行封装，形成辅码流。
4.如权利要求1-3任一所述的视频数据的发送方法，其特征在于，所述
原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还
包括：
确定原始编码码流中的图像序列号的最大值小于所述原始编码码流中包
含的图像帧数量；
生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量
表示相对于原始编码码流中的序列头位置的偏移量；
所述发送所述主码流和辅码流包括：
发送主码流时，将该主码流的位置偏移量随同该主码流发送；
发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。
5.如权利要求1-3任一所述的视频数据的发送方法，其特征在于，所述
原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还
包括：
确定原始编码码流中的图像序列号的最大值等于所述原始编码码流中包
含的图像帧数量；
在所述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流
标识后进行封装之前，所述方法还包括：
对分割得到的所述数据包进行编号，将编号加入相应的数据包，所述编号
用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背
景帧中的位置。
6.一种视频数据的接收方法，其特征在于，所述方法包括：
接收视频数据码流，所述视频数据码流包括含有主码流标识的主码流和含
有辅码流标识的辅码流，所述辅码流是将确定的每一背景帧分割为至少两个数
据包，分别加入辅码流标识后进行封装形成的，所述主码流是将原始编码码流
中每一非背景帧加入主码流标识后进行封装形成的；
根据码流中包含的标识，确定接收的码流中的主码流和辅码流；
将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解
码。
7.如权利要求6所述的视频数据的接收方法，其特征在于，接收的每一
个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏
移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；
所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器
解码，包括：
利用接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始
编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编
码码流，供解码器解码。
8.如权利要求6所述的视频数据的接收方法，其特征在于，所述辅码流
中包括编号，所述主码流中包括图像序列号，所述图像序列号用于表示各帧图
像的播放顺序，所述编号用于确定该辅码流包含的数据包所属的背景帧的图像
序列号以及该数据包中的数据在该背景帧中的位置；
所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器
解码，包括：
利用所述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图
像序列号；
利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景
帧和主码流还原为原始编码码流，供解码器解码...

【专利技术属性】
技术研发人员：田永鸿，邢培银，王耀威，黄铁军，
申请(专利权)人：中安消技术有限公司，北京大学，
类型：发明
国别省市：北京;11