一种视频关键帧提取方法技术

本发明专利技术请求保护一种视频关键帧提取方法，包括以下步骤：使用ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；使用全局特征峰值信噪比对关键视频序列进行关键帧粗提取得到候选关键帧序列；使用峰值信噪比建立候选关键帧序列的全局相似度，使用SURF特征点建立候选关键帧序列的局部相似度，加权融合两者获取全局相似度，并利用综合相似度对候选关键帧序列进行自适应关键帧提取，最终得到目标关键帧序列。本发明专利技术提供的视频关键帧提取方法能有效提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频关键帧的实时提取。

A video key frame extraction method

The present invention requests a protection method to extract video key frame, which comprises the following steps: using ViBe fusion algorithm of inter frame difference method to obtain the original video sequences of moving target detection, key video sequences with moving objects; using the global features of the peak signal to noise to get a sequence of candidate key frames of video sequence key key ratio the coarse frame extraction; using the peak signal-to-noise ratio of global similarity candidate key frame sequence, using local feature point sequence similarity of SURF to establish a candidate key frame, weighted fusion between global similarity, and the sequence of candidate key frames for adaptive key frame extraction using comprehensive similarity, finally obtained the sequence of target key frames. The video key frame extraction method can extract key video frames effectively, reduce the redundant information of video data, express the main content of video simply, and the algorithm complexity is not high, which is suitable for real-time extraction of key frames in surveillance video.

【技术实现步骤摘要】
一种视频关键帧提取方法
本专利技术属于视频图像处理领域，特别是一种视频关键帧提取方法。
技术介绍
随着多媒体通信技术的发展，视频监控作为安全防范的有效手段被广泛应用于诸多领域。由于全天候的视频监控，其产生了大量的视频数据，但对于用户来说，感兴趣的仅仅是视频中有显著变化的那一小部分。为了从海量视频数据中快速访问有用视频信息，研究人员提出了关键帧提取技术。关键帧是一个代表视频序列中主要内容的有限视频帧集合，而关键帧提取技术能够从原始视频中筛选出用户感兴趣的关键帧序列。近年来，关键帧的提取已经有了一定的研究。ZhongQu等人在镜头分割的基础上，提出了一种改进的基于HSV颜色空间的关键帧提取方法。但是，监控视频采用固定场景的监控设备，并没有镜头的切换，所以此法用于监控视频效果不佳。SBTTDe等人利用SIFT算法提取图像的局部特征获取关键帧，但是此法的计算速度慢，不利于实时监控。NSKumar等人利用背景差分检测运动目标提取关键帧，并且不断更新背景模型以适应复杂的环境变化。但是此法针对于水下特殊环境，局限性大。相比于一般的电影动画视频，监控视频中含有大量纯背景的冗余视频帧，将关键帧提取技术应用于监控视频中可以有效地去除冗余信息，便于用户后续的传送、存储和浏览。但是传统方法提取监控视频关键帧，存在冗余信息多，其内容不具代表性等问题。
技术实现思路
本专利技术旨在针对传统的视频关键帧提取方法，存在冗余信息多，其内容不具代表性等问题。本专利技术提出了一种视频关键帧提取方法，即基于运动目标检测及图像相似度的关键帧提取方法，该方法不仅能有效提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于实时提取。本专利技术的技术方案如下：一种视频关键帧提取方法，其包括以下步骤：1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。进一步的，所述步骤2)对待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列，包括步骤：对所述视频帧序列中当前两两相邻的视频帧，分别用ViBe算法和帧差法进行处理，并将两种方法处理后的结果进行与运算，作为当前帧运动目标检测结果；对当前帧运动目标检测结果，判断与设定阈值的大小，若大于设定阈值则将当前帧存入所述关键视频序列，否则舍去当前帧，依次循环，得到含有所述运动目标的关键视频序列。进一步的，所述步骤3)对关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列，包括步骤：从首帧开始，对所述关键视频序列将当前帧依次与后续帧计算其峰值信噪比值；对所述峰值信噪比值与设定阈值进行比较，直到峰值信噪比值比设定阈值小，将当前的后续帧存入所述候选关键帧序列，当前帧与当前后续帧之间的所有视频帧全部舍去，依次循环，得到所述候选关键帧序列。进一步的，所述步骤4)对候选关键帧序列建立视频帧综合相似度，利用其对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列，包括步骤：对候选关键帧序列使用峰值信噪比建立相邻视频帧的全局相似度；对候选关键帧序列使用SURF特征点建立相邻视频的局部相似度；对全局相似度与局部相似度进行加权融合得到相邻视频帧的综合相似度；对候选关键帧序列利用综合相似度计算划分关键帧与冗余帧的自适应阈值；对候选关键帧序列的相邻视频帧综合相似度，判断与自适应阈值的大小，若小于自适应阈值则加入所述关键帧序列，否则舍去，依次循环得到所述目标关键帧序列。进一步的，所述相邻视频帧的全局相似度包括：其中，ki,kj为所述候选关键帧序列中的相邻视频帧，P(ki,kj)表示两视频帧间的峰值信噪比，i，j均表示候选关键帧序列中的视频帧号，α表示全局相似度的归一化因子，这里设置为视频帧间峰值信噪比的最大值。进一步的，所述建立视频帧的局部相似度，首先采用SURF特征点描述图像的局部特征，包括：计算积分图像；使用积分图像完成卷积运算度；检测特征点；构建Hessian矩阵，然后构建尺度空间，确定特征点；生成描述子；分配基准方向，生成描述子特征向量；特征点匹配；通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。进一步的，所述相邻视频的局部相似度包括：其中，ki，kj为所述候选关键帧序列中的相邻视频帧，m和n分别为视频帧ki,kj的SURF特征点个数，l它们能够匹配的特征点个数。进一步的，所述相邻视频帧的综合相似度包括：S(ki,kj)＝(1-θ)Sg(ki,kj)+θSl(ki,kj)，(i≠j)其中，ki，kj为所述候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。进一步的，所述关键帧与冗余帧的自适应阈值包括：其中，Slw、Sgw分别代表所述候选关键帧序列中任意相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。本专利技术的优点及有益效果如下：本专利技术提供一种视频关键帧提取方法，该方法能有效地提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频的关键帧提取。其中：选取Vibe算法融合帧差法检测原视频中的运动目标，更合理地划分了视频结构，为后续提取工作缩小了提取范围，节省了计算量。选取全局特征峰值信噪比对关键帧进行粗提取，其计算简单，进一步缩小提取范围，减少计算量。选取全局特征峰值信噪比描述候选关键帧序列的全局相似度，局部特征SURF特征点描述候选关键帧序列的局部相似度，并加权融合得到综合相似度，更精确地描述了视频帧的相似度，保证了提取的准确率。选取候选关键帧序列综合相似度的均值作为划分关键帧与冗余帧的阈值，自适应地选取关键帧数目，保证了提取的查全率。附图说明图1是本专利技术提供优选实施例提供的一种视频关键帧提取方法流程图；图2表示视频帧，左图为视频帧ka，右图为视频帧kb具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本专利技术的一部分实施例。本专利技术解决上述技术问题的技术方案是：参见附图一，本专利技术提供一种视频关键帧提取方法，该方法包括：获取待处理视频数据。对所述待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列H＝{H1,H2,···,Hn}。在本实施例中，上述运动目标检测可以理解为：对原始视频提取视频帧序列F＝{f1,f2,···,fp}；将视频序列中的f1作为关键视频序列H中的首帧h1，输入视频序列中的fi(i＝2)，用ViBe算法和帧差法分别处理后的结果进行与运算，作为当前帧的运动目标检测结果Ri；若运动目标检测结果Ri大于设定阈值，则将当前帧存入关键视频序列Hj(j＝1)，i＝i+1，若i≤p，返回第二步；若运动目标检测结果Ri小于等于设定的阈值，则舍去当前帧，并令j＝j+1，i＝i+1，若i≤p，返回第二步；若i＞p，结束循环，得到关键视频序列H＝{H本文档来自技高网...

【技术保护点】
一种视频关键帧提取方法，其特征在于，包括以下步骤：1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。

【技术特征摘要】
1.一种视频关键帧提取方法，其特征在于，包括以下步骤：1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。2.根据权利要求1所述的视频关键帧提取方法，其特征在于，所述步骤2)对待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列，包括步骤：对所述视频帧序列中当前两两相邻的视频帧，分别用ViBe算法和帧差法进行处理，并将两种方法处理后的结果进行与运算，作为当前帧运动目标检测结果；对当前帧运动目标检测结果，判断与设定阈值的大小，若大于设定阈值则将当前帧存入所述关键视频序列，否则舍去当前帧，依次循环，得到含有所述运动目标的关键视频序列。3.根据权利要求2所述的视频关键帧提取方法，其特征在于，所述步骤3)对关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列，包括步骤：从首帧开始，对所述关键视频序列将当前帧依次与后续帧计算其峰值信噪比值；对所述峰值信噪比值与设定阈值进行比较，直到峰值信噪比值比设定阈值小，将当前的后续帧存入所述候选关键帧序列，当前帧与当前后续帧之间的所有视频帧全部舍去，依次循环，得到所述候选关键帧序列。4.根据权利要求3所述的视频关键帧提取方法，其特征在于，所述步骤4)对候选关键帧序列建立视频帧综合相似度，利用其对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列，包括步骤：对候选关键帧序列使用峰值信噪比建立相邻视频帧的全局相似度；对候选关键帧序列使用SURF特征点建立相邻视频的局部相似度；对全局相似度与局部相似度进行加权融合得到相邻视频帧的综合相似度；对候选关键帧序列利用综合相似度计算划分关键帧与冗余帧的自适应阈值；对候选关键帧序列的相邻视频帧综合相似度，判断与自适...

【专利技术属性】
技术研发人员：罗元，周寒兴，张毅，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50