一种基于镜头边界检测和聚类的视频关键帧提取方法技术

本发明专利技术公开了一种基于镜头边界检测和聚类的视频关键帧提取方法，包括：步骤1，读取视频，提取每帧视频的图像特征；步骤2，计算每帧视频与相邻的前一帧视频的图像特征差异；步骤3，运用滑动窗口自适应的方法检测镜头边界；步骤4，对每个镜头利用聚类算法提取关键帧；步骤5，计算关键帧的权重，选取权重较高的若干个关键帧，按时间排序，作为视频关键帧。本发明专利技术通过比较各视频帧的图像特征，准确地检测出镜头边界，高效地提取出每个镜头的关键帧，将权重较高的N个关键帧按时间排序后作为视频的关键帧，能够有效的代表整个视频。

【技术实现步骤摘要】

本专利技术涉及视频处理
，具体涉及一种基于镜头边界检测和聚类的视频关键帧提取方法。
技术介绍
随着互联网多媒体的快速发展，每天有海量的视频上传到互联网上，基于内容的视频检索成为亟待解决的问题。视频是图像按照时间顺序依次编码的数据流，在存储空间和计算资源有限的情况下，提取出视频的关键帧来代表视频，用关键帧来建立索引，为基于内容的视频检索提供了实现可能。因而，关键帧提取技术是实现基于内容的视频检索的关键技术之一。在视频领域，由一系列时间上不间断的帧组成的片段称为镜头。而关键帧，就是从原始视频数据中抽取静态图像帧，用概括的方式表示镜头的内容。关键帧提取技术主要有两方面的要求：一是在去除冗余的前提下，提取的关键帧能够有效反映视频内容；二是提取关键帧的算法时间复杂度较低。传统的提取关键帧方法有基于镜头边界的方法，基于运动和内容分析的方法，基于聚类的方法，以及基于压缩视频的方法。基于镜头边界的方法鲁棒性不好，容易受到视频图像变化程度的影响，且选取的关键帧不一定具有代表性。基于运动和内容分析的方法同样鲁棒性不强，且计算复杂度较高，不适用于实时场景。基于聚类的方法空间复杂度高，且不能有效保存原镜头内的时间顺序和动态信息，适用于时长较短的视频。基于压缩视频的方法无需全部解压视频流，计算复杂度较低，但是没有有效利用视频图像信息，提取的关键帧代表性较差。
技术实现思路
本专利技术提供了一种基于镜头边界检测和聚类的视频关键帧提取方法，通过比较各视频帧的图像特征，准确地检测出镜头边界，高效地提取出每个镜头的关键帧，将权重较高的N个关键帧按时间排序后作为视频的关键帧，能够有效的代表整个视频。一种基于镜头边界检测和聚类的视频关键帧提取方法，包括：步骤1，读取视频，提取每帧视频的图像特征；步骤2，计算每帧视频与相邻的前一帧视频的图像特征差异；步骤3，运用滑动窗口自适应的方法检测镜头边界；步骤4，对每个镜头利用聚类算法提取关键帧；步骤5，计算关键帧的权重，选取权重较高的若干个关键帧，按时间排序，作为视频关键帧。作为优选，步骤1包括如下步骤：步骤1-1、将每帧视频转换到HSV颜色空间，然后划分为若干图像块；步骤1-2、计算每个图像块在HSV颜色空间的直方图特征；步骤1-3、将各图像块的直方图特征拼接后，归一化得到每帧视频的图像特征。本专利技术中将每帧视频划分为5个图像块，中间为一个占据长宽各75％的椭圆，剩余部分按四个边角均分。各图像块拼接时，中间部分的权重为边角部分权重的2倍。作为优选，步骤2中，依据下式计算每帧视频与相邻的前一帧视频的图像特征差异：difft＝||Ft-Ft-1||2式中：Ft表示第t帧的图像特征；Ft-1表示第t-1帧的图像特征；difft表示第t帧和第t-1帧的图像特征差异。作为优选，步骤3中，滑动窗口用于保存描述当前镜头的视频序列，滑动窗口的第一帧是一个镜头的开始，最后一帧是一个镜头的结束。令S表示视频序列的滑动窗口，表示滑动窗口中所有图像帧的图像特征差异的平均值，diffcurr表示当前帧与前一帧的图像特征差异；设定两个阈值α和β，其中β＞α；若diffcurr≥α×diffs‾]]>且diffcurr≤β×diffs‾,]]>将当前帧添加到滑动窗口中；若将当前帧定为镜头边界，清空滑动窗口；若diffcurr<α×diffs‾,]]>忽略当前帧。作为优选，步骤4中，利用K-均值聚类算法对每个镜头中的所有视频帧的图像特征进行聚类，参数K由下式计算得到：K＝shot_num×ratio式中，shot_num表示一个镜头的帧数，ratio表示人为设定的压缩比。作为优选，步骤5中，利用下式计算权重：w=class_numtotol_num]]>式中，w表示关键帧的权重，class_num表示聚类结果中关键帧所在类的总帧数，total_num表示视频总帧数。本专利技术基于镜头边界检测和聚类的视频关键帧提取方法具有以下优点：(a)高性能的单帧图像特征。将每帧视频划分为图像块，计算每个图像块在HSV颜色空间的直方图特征，加权拼接起来作为单帧图像的特征。这种特征是为了比较相邻帧差异性设计的，能够快速提取。(b)领先的镜头边界检测算法。设计用于保存描述当前镜头的视频序列的滑动窗口来模拟镜头，设定双阈值来更新镜头和检测镜头边界，提高镜头边界检测的准确性，且检测速度很快。(c)镜头关键帧的准确选取。对一个镜头内所有帧的图像特征进行K-均值聚类，通过压缩比确定K，快速有效地选取出了最具代表性的关键帧。(d)视频关键帧的过滤。为选取出的关键帧赋予权重，过滤掉权重较低的关键帧，余下的关键帧能够有效的代表整个视频。(e)具有较好的可移植性和广泛的适用性，能够处理任意长度的视频。附图说明图1为本专利技术基于镜头边界检测和聚类的视频关键帧提取方法的流程图；图2为本专利技术基于镜头边界检测和聚类的视频关键帧提取方法中图像特征提取算法的流程图；图3为本专利技术基于镜头边界检测和聚类的视频关键帧提取方法中镜头边界检测算法的流程图。具体实施方式以下结合附图和实例，对本专利技术作进一步介绍.本专利技术提供的基于镜头边界检测和聚类的视频关键帧提取方法，在Linux系统上进行系统实现，流程如图1所示，包括如下步骤：(1)读取视频帧图像，提取每帧图像的图像特征。步骤(1)的具体实现流程如图2所示，包括如下步骤：(1.1)读取视频帧图像，并将图像转换到HSV颜色空间。(1.2)基于步骤(1.1)得到的视频帧图像，按照视觉上的特点将每个视频帧图像划分成5个部分，中间是一个占据75％长宽的椭圆，剩余部分按照4个边角均分。(1.3)根据步骤(1.2)得到的分块结果，分别计算每一个图像块在HSV颜色空间的直方图特征，根据人眼敏感度，将HSV颜色空间3个通道的量化级数分别设定为16、24和6。(1.4)根据步骤(1.3)得到的图像块的块直方图特征，将所有图像块的直方图特征拼接到一起，中间部分权重为边角各部分权重的2倍，做归一化处理，作为图像的特征。(2)根据步骤(1)获得的当前帧的图像特征，计算当前帧与上一帧的图像特征差异。步骤(2)本文档来自技高网...

【技术保护点】
一种基于镜头边界检测和聚类的视频关键帧提取方法，其特征在于，包括：步骤1，读取视频，提取每帧视频的图像特征；步骤2，计算每帧视频与相邻的前一帧视频的图像特征差异；步骤3，运用滑动窗口自适应的方法检测镜头边界；步骤4，对每个镜头利用聚类算法提取关键帧；步骤5，计算关键帧的权重，选取权重较高的若干个关键帧，按时间排序，作为视频关键帧。

【技术特征摘要】
1.一种基于镜头边界检测和聚类的视频关键帧提取方法，其特征在
于，包括：
步骤1，读取视频，提取每帧视频的图像特征；
步骤2，计算每帧视频与相邻的前一帧视频的图像特征差异；
步骤3，运用滑动窗口自适应的方法检测镜头边界；
步骤4，对每个镜头利用聚类算法提取关键帧；
步骤5，计算关键帧的权重，选取权重较高的若干个关键帧，按时间
排序，作为视频关键帧。
2.如权利要求1所述的基于镜头边界检测和聚类的视频关键帧提取方
法，其特征在于，步骤1包括如下步骤：
步骤1-1、将每帧视频转换到HSV颜色空间，然后划分为若干图像块；
步骤1-2、计算每个图像块在HSV颜色空间的直方图特征；
步骤1-3、将各图像块的直方图特征拼接后，归一化得到每帧视频的
图像特征。
3.如权利要求1所述的基于镜头边界检测和聚类的视频关键帧提取方
法，其特征在于，步骤2中，依据下式计算每帧视频与相邻的前一帧视频
的图像特征差异：
difft＝||Ft-Ft-1||2式中：Ft表示第t帧的图像特征；Ft-1表示第t-1帧的图像特征；difft表示
第t帧...

【专利技术属性】
技术研发人员：姚万超，杨朝欢，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33