基于双向时空切片聚类的视频内容关键帧提取方法技术

本发明专利技术提出一种基于双向时空切片聚类的视频内容关键帧提取方法，采用双向多行列时空切片，增加了切片的厚度，使提取到的切片能够表达更多的视频关键信息；自适应的聚类中心数量设置，无需事先设定关键帧的数量；聚类算法在距离计算中考虑了切片图像的时间属性，提升了关键帧识别的准确性；聚类结果考虑了切片的时间连续性，降低了信息冗余；从而最终提升了对视频关键信息提取的效果。对视频关键信息提取的效果。对视频关键信息提取的效果。

【技术实现步骤摘要】
基于双向时空切片聚类的视频内容关键帧提取方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于双向时空切片聚类的视频内容关键帧提取方法。

技术介绍

[0002]目前数字视频已经成为网络上信息传播的重要方式。随着网络上视频数量的大幅增加，如何快速有效地在大量的视频中找到所需要的视频片段成为人们关注的热点，这就是视频内容检索问题。
[0003]视频由连续变化的图像帧组成，我们将这些图像帧中能够有效代表视频主要内容的帧称为视频内容关键帧。视频内容关键帧提取技术是有效解决视频内容检索问题的重要手段，在视频相似性分析和视频内容摘要等方面也有重要作用。
[0004]时空切片技术是一种在时间和空间两个维度上进行视频内容摘要的技术；具体来说就是在时间维度将视频展开为多帧图像；在空间维度对图像进行切片，提取图像的一行或一列信息；最终组成一幅视频时空切片图像，作为该视频的摘要图像；对该摘要图像的处理可以得到该视频的内容关键帧等信息。
[0005]通常的时空切片处理一般只在单一方向进行切片操作，这样可能会导致无法提取到视频中的关键信息；对切片图像进行处理时也未考虑切片的时间连续性，导致提取到的内容关键帧不够准确，同时存在冗余等问题。
[0006]针对上述问题，本专利技术提出一种基于双向时空切片聚类的视频内容关键帧提取方法，采用双向多行列时空切片，提升了对视频关键信息的提取能力；自适应的聚类算法在距离计算中考虑了切片图像的时间属性，提升了关键帧识别的准确性；聚类结果考虑了切片的时间连续性，降低了信息冗余；从而最终提升了对视频关键信息提取的效果。

技术实现思路

[0007]基于双向时空切片聚类的视频内容关键帧提取方法，包括以下步骤。
[0008]步骤1，将视频按时间展开为连续的多帧图像，对每帧图像，沿图像中心点的水平和垂直方向进行切片操作，提取出横向切片图像和纵向切片图像。
[0009]所述图像中心点，指图像的正中中心位置；以该点所在的行为中心并沿水平方向，取宽度为切片宽度的图像，作为横向或水平切片图像；以该点所在的列为中心并沿垂直方向，取宽度为切片宽度的图像，作为纵向或垂直切片图像；横向切片图像和纵向切片图像后续简称为切片或切片图像。
[0010]所述切片宽度，指切片的像素宽度，可事先设定；多行或多列的时空切片可增加信息量，提升对视频关键信息提取的效果。
[0011]步骤2，对横向切片图像和纵向切片图像按时间方向分别进行拼接，形成横向视频切片图像和纵向视频切片图像。
[0012]对于横向切片图像，按照视频展开时的帧顺序进行上下拼接，形成从上到下的按
时间方向的横向视频切片图像；对于纵向切片图像，按照视频展开时的帧顺序进行左右拼接，形成从左到右的按时间方向的纵向视频切片图像；横向视频切片图像和纵向视频切片图像后续简称为视频切片图像。
[0013]步骤3，使用自适应K均值聚类算法，以每一个切片图像为聚类的基本单位；沿时间方向对横向视频切片图像和纵向视频切片图像分别进行聚类。
[0014]步骤3所述自适应K均值聚类算法，其步骤为：步骤3.1，事先设定聚类中心数量，聚类中心数量将进行自适应调整；步骤3.2，根据设定的聚类中心数量，按时间方向，将视频切片图像的每一个切片均匀分配给各聚类中心；步骤3.3，根据聚类的结果，重新计算每一类别的聚类中心，更新聚类中心；步骤3.4，对沿时间方向相邻的两个聚类中心之间的切片图像，重新计算与聚类中心的距离，从而调整相邻两个类别之间的边界；步骤3.5，按K均值聚类的迭代方法，重复步骤3.3和3.4，得到聚类结果以及关键帧候选帧；步骤3.6，合并帧数量较少的类并重新调整边界和聚类中心；若聚类结果中连续帧数量少于指定的最小帧数量阈值，则需要去掉该类别并进行合并处理，按照步骤3.4聚类边界的调整方法，将该类归入前一类或者后一类；同时按照步骤3.3更新聚类中心。
[0015]所述聚类中心，指该类别的中心，是沿时间方向的一个切片图像，可用视频的帧序号代表。
[0016]所述计算与聚类中心的距离，即计算两个切片图像间的距离，采用切片图像间的欧式距离与切片图像沿时间方向的时间距离（即帧间距离）的乘积表示；当两切片图像相似时，该值变小；当两切片帧间距离变小时，该值变小。
[0017]所述重新计算每一类别的聚类中心，可采用尝试法，选取该类中的每一个切片作为聚类中心，计算该类其余切片与该聚类中心切片的距离并累加，取累加距离最小情况时的聚类中心作为该类的聚类中心。
[0018]所述调整相邻两个类别之间的边界，或聚类边界的调整方法，是指考虑到这里的聚类是沿时间方向进行的，如对纵向视频切片图像聚类，只能出现左边的切片属于左边的聚类中心，右边的切片属于右边的聚类中心的情况，因此聚类的结果是两个类别之间的边界，而不能存在交错的情况。
[0019]以纵向视频切片图像聚类为例，切片按时间为从左到右排列；此时聚类边界的调整方法为，首先分别从左右两个聚类中心开始相向搜索切片图像，得到左侧聚类中心的右边第一个切片图像和右侧聚类中心的左边第一个切片图像，分别计算与各自聚类中心的距离并累加；然后在累加距离最小的一侧，按相向和顺序的原则，选取下一个切片图像，计算与该侧聚类中心的距离并累加；直到搜索完两个聚类中心之间的全部切片，从而得到两个类别间新的边界。
[0020]所述聚类结果，即聚类结束后沿时间方向的各类别的边界和聚类中心；此时各聚类中心切片图像对应的帧，为视频内容关键帧的候选帧，或称关键帧候选帧。
[0021]所述聚类中心数量将进行自适应调整，包括：
聚类中心数量增多时，各类别的类内距离均值会变小；自适应的聚类中心数量是指当聚类中心数量在一定范围内变化时，类内距离接近均值时的情况；将聚类中心数量在一定范围内变化，按上述方法分别进行聚类；计算每种情况时的类内距离均值；以及全部情况的类内距离均值平均值；取刚好小于类内距离均值平均值的情况，将此时的聚类中心数量，作为自适应的聚类中心数量。
[0022]步骤4，对步骤3聚类得到的两个关键帧候选帧序列进行合并操作，得到最终的视频内容关键帧。
[0023]首先对所有的关键帧候选帧按时间排序，去掉重复帧。
[0024]其次对帧间距离小于设定的最小帧间距的帧，取两帧中的任意一帧，得到最终的视频内容关键帧序列。
[0025]上述操作考虑到时空切片的时间连续性，若关键帧候选帧的帧间距较小，表明两帧较为相似，两帧之间存在较多的冗余信息，应当去除其中一帧。
[0026]与现有技术相比，本专利技术具有如下优点：通过使用双向多行列时空切片，使提取到的切片能够表达更多的视频关键信息；自适应的聚类中心设置，无需事先设定关键帧的数量；聚类时充分考虑到时空切片的时间连续性，提升了关键帧识别的准确性；减少了信息冗余。同时本专利技术具有容易理解，计算简单，鲁棒性好等优点，具有较好的视频内容关键帧提取效果。
附图说明
[0027]图1是本专利技术方法的流程示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双向时空切片聚类的视频内容关键帧提取方法，其特征在于，包括以下步骤：步骤1，将视频展开为多帧图像，提取出横向切片图像和纵向切片图像；步骤2，对横向和纵向切片图像进行拼接，形成横向和纵向视频切片图像；步骤3，使用自适应K均值聚类算法，对横向和纵向视频切片图像分别进行聚类；步骤4，对聚类得到的关键帧候选帧序列进行合并，得到最终的视频内容关键帧。2.根据权利要求1所述的方法，其特征在于，所述步骤1，包括：沿图像中心进行水平切片操作，提取出横向切片图像；沿图像中心进行垂直切片操作，提取出纵向切片图像；切片宽度可大于1。3.根据权利要求1所述的方法，其特征在于，所述步骤2，包括：对横向切片图像，按帧顺序进行上下拼接，形成从上到下的横向视频切片图像；对纵向切片图像，按帧顺序进行左右拼接，形成从左到右的纵向视频切片图像。4.根据权利要求1所述的方法，其特征在于，所述步骤3，包括：步骤3.1，事先设定聚类中心数量...

【专利技术属性】
技术研发人员：冯子亮，单强达，韩震博，窦芙蓉，何旭东，张欣，唐玄霜，朱鑫，冉旭松，李昊岳，
申请(专利权)人：四川大学，
类型：发明
国别省市：