减小传输带宽的网络视频通信系统和方法技术方案

本发明专利技术提供减小传输带宽的网络视频通信系统的编码方法和系统，对于每一个编码图像，先判断其是否是必需显示的图像；如果不是，正常编码；如果是，除了选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，分别针对不同的参考帧进行运动估计和残差块计算，并分别对不同的参考帧的运动向量和残差块进行编码，并分别存储在不同的地址中。这样在解码出错时可以只恢复必需显示的图像，能够在不影响图像显示的流畅性的基础上，避免跳过重要情节而影响收看，使得用户体验更佳。

【技术实现步骤摘要】

本专利技术涉及网络视频传输领域，尤其涉及一种用于减小传输带宽、提高容错能力的网络视频通信系统及其上的编码方法。
技术介绍
现在是视频媒体网络化的时代，有很多网站能够为移动终端、电视、个人计算机提供着丰富多彩的视频节目。然而视频中的信息量极大，如高清视频，720P (1280*720)单幅图像的数据量为1280*720*24/8/1024=21600Kbit，如果每秒钟传输24帧图像，则每秒钟要传输的数据达到518. 4Mb，即带宽是518M。因此，视频数据需要压缩，很多视频网站，如Youbute将高清视频压缩,甚至到800Kbps。视频的压缩方法有很多种，但一般都采取图像间压缩方法，它是基于许多动态图像连续前后两幅图像之间具有时间相关性，即前后两幅画面之间图像变化很小的特点。图像间变化小说明连续的动态图像的相邻图像之间具有冗余信息，根据这一特性，压缩相邻图像之间的冗余量就可以进一步提高压缩量，减小压缩比。图像压缩也称为时间压缩(Temporal compression)。时间压缩，如图1A所示，正常情况下，即没有出现解码错误图像的情况下，视频解码过程的相邻图像之间进行信息参考的关系，参考的关系使用箭头表示，箭头起点图像表示依赖其他图像的解码图像，而箭头终点图像表示解码图像所依赖的被依赖图像。只有被依赖图像得到正确解码，才能正确地解码依赖它的解码图像，如图1A中，第2帧的解码依赖第I帧是否被正确解码，第3帧的解码依赖第2帧是否被正确解码,第4帧的解码依赖第3帧是否被正确解码，第5帧的解码依赖第4帧是否被正确解码。之所以当前解码图像会依赖前面的解码图像，原因是图像间编码的机制。编码时，当前图像被分为多个块，每个块在前面一个被称为参考图像(即依赖的解码图像)的图像中寻找相似的图像块，从而，用这个找到的图像块预测当前编码图像块，即得到当前块图像与相似图像块的差值。并将差值以及相似图像块相对于当前编码块的位置关系编码后传送给解码端，解码端解码时，解码得到图像块之间的差值之后还需要得到对应的相似图像块。通过解码得到的相似图像块相对于当前编码块的位置关系，从之前解码得到的依赖图像中找到对应相似图像块。将相似图像块与差值相加得到解码后的图像。如果在解码中间有一帧的码流数据出现错误，如图1B所示，第3帧的码流数据由于传输过程中的问题，解码端未能正确解码该帧，结果由于第4帧解码时需要参考第3帧的数据，因此，导致第4帧也不能被正确解码，而第5帧由于依赖第4帧的正确解码，因此也不能被正确解码。另一方面，由于网络中 数据传输的不可靠性，数据传输存在一定的丢包率，并且数据包传输的时延也不稳定。为此，移动终端、电视和个人计算机等设备为用户提供高质量的视频服务时，必需要缓存一定时间长度的视频数据，以减小波动性。然而，用户的网络带宽有时有限，如移动设备通过无线连接，数据传输的问题会更突出，在解码并观看视频时，常常因为数据接续不上而停顿。如果网络丢包率高的话，常常需要请求视频网站服务器重新发送丢送的数据包，使视频传输的问题变得更加突出。为此，本专利技术提出一种能够减少视频数据传输量，使网络视频播放更流畅的方法和系统
技术实现思路
针对现有技术中存在的上述问题，本专利技术的目的在于提供一种用于减小传输带宽的网络视频通信系统及其上的编码方法，其能够在解码出错时可以只恢复必需显示的图像，在不影响图像显示的流畅性的基础上，避免跳过重要情节而影响收看，使得用户体验更佳。为了实现上述目的，本专利技术提供一种减小传输带宽的网络视频通信系统的编码方法，其特征在于视频图像包括多个图像，对于每一个图像在编码时，需要首先判断其是否是重要图像，重要图像必需显示。当判断当前编码图像不是必需要显示的重要图像时，选择一个最优的参考帧作为第一参考帧进行编码；将当前编码图像划分成多个编码块；选择第一参考帧作为运动估计的参考帧对每一个编码块作第一运动估计；根据第一运动估计得到的第一运动向量计算出第一残差图像块；编码第一差残差图像块和第一运动向量；将第一残差图像块和第一运动向量的编码信息存储在第一地址。当判断当前编码图像是必需要显示的重要图像时，选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，在运动估计之前，先将当前编码图像分隔成多个编码块，选择第二参考帧作为运动估计的参考帧对每一个编码块作第二运动估计，选择第三参考帧作为运动估计的参考帧对每一个编码块作第三运动估计；根据第二运动估计得到的第二运动向量计算出第二残差图像块，根据第三运动估计得到的第三运动向量计算出第三残差图像块；编码第二差残差图像块和第二运动向量，编码第三差残差图像块和第三运动向量；将第二残差图像块和第二运动向量的编码信息存储在第一地址，将第三残差图像块和第三运动向量的编码信息存储在第二地址，第二地址是不同于第一地址的网站视频服务器地址。对于必需显示的重要图像，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中。无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。本专利技术还提供了一种减小传输带宽的网络视频通信系统，其特征在于该系统包括判断模块、参考帧选择模块、运动估计模块、残差计算模块、编码模块、必需显示图像存储模块、编码数据存储模块和标识加入模块。其中判断模块，其判断当前编码图像是否是必需显示的重要图像。参考帧选择模块，对于当前编码图像是必需显示图像时，则选择两个参考帧，第一个参考帧是最优参考图像，第二参考帧是前一个必需显示的图像；对于当前编码图像不是必需显示图像时，则只选择最优参考图像作为第三参考图像。运动估计模块，对于当前编码图像是必需显示图像时，在第一个参考帧和第二参考帧中分别对当前编码图像块进行运动估计，分别得到第一运动向量和第二运动向量；对于当前编码图像不是必需显示图像时，在第三参考图像中对当前编码图像块进行运动估计得到第三运动向量。残差计算模块，对于当前编码图像是必需显示图像时，根据第一参考图像中的第一运动向量计算出第一残差图像块，根据第二参考图像中的第二运动向量计算出第二残差图像块；对于当前编码图像不是必需显示图像时，根据第三参考图像中的第三运动向量计算出第三残差图像块。编码模块，对于当前编码图像是必需显示图像时，对第一运动向量和第一残差图像块编码并由编码数据存储模块将它们存储在第一地址中，对第二运动向量和第二残差图像块编码并由编码数据存储模块将它们存储在第二地址中；对于当前编码图像不是必需显示图像时，对第三运动向量和第三残差图像块编码并由编码数据存储模块将它们存储在第一地址中。必需显示图像存储模块，对于当前编码图像是必需显示图像时，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中。标识加入模块，无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。本专利技术通过跳过不必需显示的出错图像，从而减轻网络视频传输的带宽，同时让用户终端的播放更加流畅，也不会影响收看，使得用户体验更佳。 附图说明图1A是没有出现差错图像时的视频解码过程示意图。图1B是现有技术中视频解码过程中出现差错图像后造成的图像解码问题示意图。图1C是本专利技术针对视频解码过程中出现差错图像造成的图本文档来自技高网...

【技术保护点】
一种减小传输带宽的网络视频通信系统的编码方法，视频图像包括多个图像，其特征在于:对于每一个图像在编码时，需要首先判断其是否是重要图像，重要图像必需显示；当判断当前编码图像不是必需要显示的重要图像时，选择一个最优的参考帧作为第一参考帧进行编码；将当前编码图像划分成多个编码块；选择第一参考帧作为运动估计的参考帧对每一个编码块作第一运动估计；根据第一运动估计得到的第一运动向量计算出第一残差图像块；编码第一差残差图像块和第一运动向量；将第一残差图像块和第一运动向量的编码信息存储在第一地址；当判断当前编码图像是必需要显示的重要图像时，选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，在运动估计之前，先将当前编码图像分隔成多个编码块，选择第二参考帧作为运动估计的参考帧对每一个编码块作第二运动估计，选择第三参考帧作为运动估计的参考帧对每一个编码块作第三运动估计；根据第二运动估计得到的第二运动向量计算出第二残差图像块，根据第三运动估计得到的第三运动向量计算出第三残差图像块；编码第二差残差图像块和第二运动向量，编码第三差残差图像块和第三运动向量；将第二残差图像块和第二运动向量的编码信息存储在第一地址，将第三残差图像块和第三运动向量的编码信息存储在第二地址，第二地址是不同于第一地址的网站视频服务器地址；对于必需显示的重要图像，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中；无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。...

【技术特征摘要】
1.一种减小传输带宽的网络视频通信系统的编码方法，视频图像包括多个图像，其特征在于对于每一个图像在编码时，需要首先判断其是否是重要图像，重要图像必需显示； 当判断当前编码图像不是必需要显示的重要图像时，选择一个最优的参考帧作为第一参考帧进行编码；将当前编码图像划分成多个编码块；选择第一参考帧作为运动估计的参考帧对每一个编码块作第一运动估计；根据第一运动估计得到的第一运动向量计算出第一残差图像块；编码第一差残差图像块和第一运动向量；将第一残差图像块和第一运动向量的编码信息存储在第一地址； 当判断当前编码图像是必需要显示的重要图像时，选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，在运动估计之前，先将当前编码图像分隔成多个编码块，选择第二参考帧作为运动估计的参考帧对每一个编码块作第二运动估计，选择第三参考帧作为运动估计的参考帧对每一个编码块作第三运动估计；根据第二运动估计得到的第二运动向量计算出第二残差图像块，根据第三运动估计得到的第三运动向量计算出第三残差图像块；编码第二差残差图像块和第二运动向量，编码第三差残差图像块和第三运动向量；将第二残差图像块和第二运动向量的编码信息存储在第一地址，将第三残差图像块和第三运动向量的编码信息存储在第二地址，第二地址是不同于第一地址的网站视频服务器地址； 对于必需显示的重要图像，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中； 无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。2.根据权利要求1所述的方法，在编码完图像数据之后，还包括如下的解码步骤 首先确定最优参考帧，通过帧号来确定最优参考帧； 判断最优参考帧是否被正确解码； 如果是，就正常解码当前图像，即完成当前帧解码过程； 如果否，通过编码端传递过来的标识判断当前解码图像是否是必需显示的图像； 如果不是必需显示的图像，跳过当前图像的解码和显示，即完成当前帧解码过程； 如果是必需显示的图像，请求网络服务器重传当前解码图像的、对应于上一个必需显示图像作为参考图像时的运动向量编码数据和残差图像块编码数据； 使用重传的编码数据解码当前图像； 为了以后参考需要，将当前解码的必需显示图像的像素值存储在必需显示图像存储装置中，即完成当前帧解码过程。3.根据权利要求1-2中任一项所述的方法，判断当前编码图像是否是必需要显示的重要图像的方式是以下一种或多种 1)场景切换时的第一幅图像认定为必需显示图像； 2)当前编码图像是帧内编码图像时认定为必需显示图像； 3)图像对应有音频的播放则认定为必需显示图像； 4)图像中两个重要目标对象位置发生变化时的图像认定为必需显示图像。4.根据权利要求1-3中任一项所述的方法，判断当前编码图像是否是必需要显示的重要图像时使用第1)种和第2)种方式。5.一种减小传输带宽的网络视频通信系统，其特征在于该系统包括判断模块、参考帧选择模块、运动估计模块、残差计算模块、编码模块...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：渭南高新区晨星专利技术咨询有限公司，
类型：发明
国别省市：