一种插入视频关键帧的方法及装置制造方法及图纸

本发明专利技术公开了一种插入视频关键帧的方法及装置，用以解决现有技术无法兼顾视频传输效率及视频流畅度的问题。本发明专利技术方法包括：发送端实时检测相邻两帧视频图像的变化度；当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。本发明专利技术发送端包括：视频输入模块，用于获取视频帧图像；视频编码模块，用于将所述视频输入模块获取的视频帧图像进行编码；视频发送模块，用于发送经视频编码模块编码后输出的视频流；所述发送端还包括：关键帧插入模块，用于从视频输入模块中实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，指示视频编码模块将当前帧编码为关键帧。本发明专利技术可兼顾视频传输效率及视频流畅度。

【技术实现步骤摘要】

本专利技术涉及互联网及通信领域，特别是涉及一种插入视频关键帧的方法及 装置。
技术介绍
随着互联网的迅猛发展以及多媒体技术的日益成熟，视频通信的市场应用 越来越广泛，实现视频通信的方式也变得多种多样，如可视电话、即时通信、视频聊天、网络电视、IPTV以及远程监控、远程医疗等。视频通信发展的广 阔前景使其成为继话音通信之后又一重要的通信形式。实现视频通信的lj;出是高效的视频压缩算法。目前主流的视频压缩标准有MPEG4、 H264等。在这些压缩技术中，编码图像一般分为三种类型内帧(I)、 帧间帧(P)和双向帧(B)。内帧利用了空间相关性，采用与JPEG类似的方 式对静止的图像进行编码。帧间帧利用了时间相关性，使用前面的帧作为参考 帧进4亍预测。双向帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预 测之后将产生残差数据，对残差数据进行DCT变换和量化，输出编码码流即 完成视频压缩过程。其中内帧又被称为关键帧，关键帧可以被独立解码，不需 要参考其他帧的信息。因此在视频接入时起始帧必须是关键帧，此外，为了防 止在视频通信的过程中因为网络丢包而造成中断，必须在连续的视频流中间隔 插入关键帧，从而能够在丟包后恢复视频传输。但关键帧的编码特性决定了其压缩比较低，输出码流较大，因此频繁地插 入关键帧将占用更多的网络带宽，特别对于网络电视这类基于组播的流媒体应 用，为了保证用户能够较快的接入，必须以较短的时间间隔插入关键帧，但由 于其视频内容本身变化就比较大，再频繁地以内帧方式编码将造成网络流量增 大，降低^L频传输的效率。因此必须使用自适应的关键帧插入方法， 一方面确 保视频接入和传输顺利进行，另一方面在同等视频质量条件下尽可能降低网络流量。现有技术一般都釆用以固定时间间隔插入关键帧的方法，例如微软的流媒 体服务一般都以8秒为间隔插入关键帧。此外也有一些一对一的视频通信业务 (例如视频聊天)，采用以较长的时间间隔插入关键帧，当在丢包时向对端请 求立即发送关键帧。以上述固定时间间隔插入关键帧的方法将造成网络流量增加，降低一见频传 输的效率。而请求关键帧的方法无法用于一对多的视频通信业务，而且在网络 状况较差时，请求关键帧的延时可能很长，造成视频通信长时间中断。
技术实现思路
本专利技术提供一种插入视频关键帧的方法及装置，用以解决现有技术无法兼 顾视频传输效率及视频流畅度的问题。本专利技术方法包括下列步骤发送端实时检测相邻两帧视频图像的变化度； 当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。进一步，所述检测相邻两帧视频图像的变化度，包括下列步骤将当前帧 及其上一帧-现频图像分别等分成二维宏块；在当前帧中选定宏块，并分别搜索 各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与 对应选定宏块的绝对误差和SAD;统计大于第一预设值的绝对误差和SAD的 数量，并以该数量作为相邻两帧视频图像的变化度。又进一步，当所述统计出的数量大于第一阈值时，将当前帧编码为关键帧， 并插Ai见频流中。更进一步，若所述统计出的数量大于第一阈值，则所述检测相邻两帧视频 图像的变化度还包括下列步骤分别计算当前帧及其上一帧视频图像在Y分量 上的直方图；计算所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度；之后，发送端将所述差值与第二阈值进行比较，当所述差值大于 第二阈值时，将当前帧编码为关键帧，并插入視频流中。综上所述，当检测到在第二预设值设定的帧数内未插入过关键帧时，则在视频流中强制插入关键帧。本专利技术的^L频传输发送端，包括视频输入;f莫块，用于获取视频帧图像；视频编码模块，用于将所述视频输入模块获取的视频帧图像进行编码； 视频发送模块，用于发送经视频编码模块编码后输出的视频流； 关键帧插入模块，用于从视频输入模块中实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，指示视频编码模块将当前帧编码为关键帧。其中，所述关键帧插入模块进一步包括第一级量度模块，用于将当前帧 及其上一帧视频图像分别等分成二维宏块；在当前帧中选定宏块，并分别搜索 各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与 对应选定宏块的绝对误差和SAD;统计大于第一预设值的绝对误差和SAD的 数量，并以该数量作为相邻两帧视频图像的变化度。进一步，所述关键帧插入模块进一步包括第二级量度模块，当所述第一 级量度模块统计出的数量大于第一阈值时，所述第二级量度模块分别计算当前 帧及其上一帧-现频图像在Y分量上的直方图；以及所述两个直方图的差值，并 以所述差值作为相邻两帧视频图像的变化度。综上所述，所述发送端还包括用于从所述视频编码模块中获取信息的关 键帧强制插入模块，当检测到在第二预设值设定的帧数内未插入过关键帧时， 指示视频编码模块将当前帧编码为关键帧。本专利技术有益效果如下本专利技术不像现有技术那样，以固定时间间隔插入关键帧，或者在一对一视 频通信业务中当接收方丟包后向发送方请求发送关键帧；而是实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，将当前帧编码为关键 帧并插入视频流中。从而实现了根据相邻视频帧的相关性来自适应地插入关键帧。本专利技术中相邻桢的相关性越小，插入关键帧对传输效率的影响就越小。进一步，本专利技术提出的二级量度可以准确地判断帧间的相关性(即变化 度)，因此能够在保障视频接入和传输流畅进行的同时，减少因为以固定时间 间隔插入关键帧而造成的额外编码开销。附图说明图1为本专利技术方法步骤流程图2为本专利技术的^L频传输发送端结构示意图。具体实施例方式为了兼顾一见频传输效率及视频流畅度，本专利技术考虑到在编码技术中，关键 帧(I帧)的编码只利用帧内的相关性，而P帧的编码将同时利用帧内和帧间 的相关性，因此对于内容连续的视频帧，P帧的压缩效率将远高于I帧，因此 视频流中I帧过多，网络流量就会大大升高。但对于相邻的两个内容变化剧烈 的视频帧而言，由于它们的帧间相关性小，所以I帧和P帧的压缩比将相差无 几。因此在关键帧插入时，如果考虑视频流内容的变化，将视频内容发生剧烈 变化(如大运动、场景变换)的视频帧编码为关键帧，就可以在不影响视频流 压缩效率的前提下，保障在网络丢包时视频传输顺利进行。根据上述理论，本专利技术提供了一种插入视频关键帧的方法，参见图1所示， 包括下列主要步骤51、 发送端获取视频图像数据。发送端从视频源(如摄像头、视频文件等)获取视频图像数据。52、 发送端实时检测相邻两帧视频图像的变化度。第一级量度基于图像局部的变化。首先，将当前帧及其上一帧视频图像分别等分成二维宏块(宏块为NxN象素)；其次，在当前帧中选定宏块，并分别 搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD;最后，统计大于第一预设值的绝对误差 和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。基于上述第一级量度结果，若统计出的大于第一预设值的绝对误差和SAD 的数量大于第一阈值，则进一步为了达到更好的效果，还可进行基于图像全局 变化的第二级量度。首先，分别计算当前帧及其上一帧视频图像在Y分量上的 直方图；其次，计算所述两个直方图的差值，并以所述差值作为相邻两帧视频 图像的变本文档来自技高网...

【技术保护点】
一种插入视频关键帧的方法，其特征在于，包括下列步骤：　　　　发送端实时检测相邻两帧视频图像的变化度；　　　　当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。

【技术特征摘要】
1、一种插入视频关键帧的方法，其特征在于，包括下列步骤发送端实时检测相邻两帧视频图像的变化度；当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。2、 如权利要求1所述的插入视频关键帧的方法，其特征在于，所述检测 相邻两帧视频图像的变化度，包括下列步骤-将当前帧及其上一帧视频图像分别等分成二维宏块；-在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优 匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD;-统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两 帧视频图像的变化度。3、 如权利要求2所述的插入视频关键帧的方法，其特征在于，当所述统 计出的数量大于第一阈值时，将当前帧编码为关键帧，并插入视頻流中。4、 如权利要求3所述的插入视频关键帧的方法，其特征在于，若所述统 计出的数量大于第一阈值，则所述检测相邻两帧视频图像的变化度还包括下列 步骤-分别计算当前帧及其上一帧视频图像在Y分量上的直方图； -计算所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变 化度；之后，发送端将所述差值与第二阈值进行比较，当所述差值大于第二阈值 时，将当前帧编码为关键帧，并插入^f见频流中。5、 如权利要求1至4任一项所述的插入视频关键帧的方法，其特征在于， 当检测到在第二预设值设定的帧数内未插入过关键帧时，则在视频流中强制插 入关键帧。6、 一种视频传输发送...

【专利技术属性】
技术研发人员：刘俊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：94[中国|深圳]