一种运动视频的内容关键帧提取方法技术

本发明专利技术提供了一种运动视频的内容关键帧提取方法，使用动态的时空切片位置选择方法，根据运动视频的活动强度图动态得到该位置，提升了对运动视频关键信息的提取效果，使提取到的切片能更有效地表达运动视频中关键运动信息；在聚类算法的距离计算中，考虑了切片图像的相似性和时间属性，提升了对运动视频关键帧识别的准确性；上述措施最终提高了对运动视频中内容关键信息提取的效果。中内容关键信息提取的效果。中内容关键信息提取的效果。

【技术实现步骤摘要】
一种运动视频的内容关键帧提取方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种运动视频的内容关键帧提取方法。

技术介绍

[0002]目前数字视频已经成为网络上信息传播的重要方式。随着网络上视频数量的大幅增加，如何快速有效地在大量的视频中找到所需要的视频片段成为人们关注的热点，这就是视频内容检索问题。
[0003]视频由连续变化的图像帧组成，我们将这些图像帧中能够有效代表视频主要内容的帧称为视频内容关键帧。视频内容关键帧提取技术是有效解决视频内容检索问题的重要手段，在视频相似性分析和视频内容摘要等方面也有重要作用。
[0004]在运动视频分析中，往往需要进行运动类型分析、运动姿态估计、人体行为识别等，此时使用对视频关键帧的处理而不是对全部视频帧的处理，可以有效降低计算量，提升运动视频分析的效率。
[0005]时空切片技术是一种按时间和空间两个维度进行视频内容摘要的技术；具体来说就是在时间维度将视频展开为图像；在空间维度对图像进行切片，提取出图像的一行或一列信息，最终组成一幅视频时空切片图像，作为该视频的摘要图像；对该摘要图像的处理可以得到该视频的内容关键帧等信息。
[0006]通常的时空切片处理一般在固定位置进行切片，这样可能会导致无法提取到视频中的关键信息；对视频切片图像处理时也未考虑切片的时间连续性，导致提取到的内容关键帧不够准确等问题。
[0007]针对上述问题，本专利技术提出一种基于动态时空切片聚类的针对运动视频的视频内容关键帧提取方法，通过动态计算时空切片的位置，增加了对运动视频关键信息的提取效果；聚类算法的距离计算中考虑了切片图像时间属性，提升了关键帧识别的准确性；从而最终提升了对运动视频关键信息提取的效果。

技术实现思路

[0008]一种运动视频的内容关键帧提取方法，包括以下步骤。
[0009]步骤1，计算运动视频的活动强度图：步骤1.1，对运动视频各帧图像进行灰度化处理；步骤1.2，从第2帧图像开始，按像素计算与前一帧图像的灰度差绝对值，得到差值图像；步骤1.3，对差值图像进行阈值处理，将灰度值小于阈值的像素灰度清0；步骤1.4，将差值图像按像素进行灰度值累加，并进行归一化；归一化后的差值图像，称为运动视频的活动强度图。
[0010]所述运动视频，指背景变化相对较缓而前景变化相对较大的视频；运动视频的活
动强度图，可以反映前景目标变化总的效果。
[0011]步骤2，取运动视频活动强度图中灰度值最大的行，作为时空切片位置行。
[0012]对活动强度图的主体区域，按行进行灰度值累加；将累加灰度值最大的行，作为时空切片位置行。
[0013]所述活动强度图的主体区域，是指视频图像中除了上下边界外的中间区域，是视频中前景目标活动的主要区域；为防止该区域外的前景变化对内容关键帧提取的影响，我们将忽略该区域外的变化。
[0014]可选地，取运动视频活动强度图中灰度值最大的列，作为时空切片位置列；后续按列进行垂直切片操作。
[0015]步骤3，将运动视频中的每帧图像，在时空切片位置行，对图像进行水平切片操作，得到时空切片图像或切片。
[0016]所述水平切片操作，指从图像中取出一行或多行，得到的结果图像称为时空切片图像或切片图像或切片。
[0017]步骤4，对时空切片图像进行拼接，形成横向视频切片图像。
[0018]拼接时按照视频展开时的帧顺序进行上下拼接，形成从上到下的按时间方向的横向视频切片图像。
[0019]步骤5，使用K均值聚类算法，以每一个切片图像为聚类的基本单位；沿时间方向对横向视频切片图像进行聚类。
[0020]步骤5所述K均值聚类算法，其步骤为：步骤5.1，聚类初始化，按照设定的聚类中心数量，按时间方向，将横向视频切片图像的每一个切片均匀分配给各聚类或类别；步骤5.2，根据聚类结果，重新计算每一类别的聚类中心并更新；步骤5.3，对沿时间方向相邻的两个聚类中心之间的切片图像，重新计算与聚类中心的距离，从而调整相邻两个类别之间的边界；步骤5.4，按K均值聚类的迭代方法，重复步骤5.2和5.3，得到聚类结果以及关键帧候选帧。
[0021]所述聚类中心，指该类别的中心，是沿时间方向的一个切片图像，可用视频帧序号表示。
[0022]所述计算与聚类中心的距离，即计算两个切片图像间的距离，采用切片图像间的欧式距离与切片图像沿时间方向的时间距离（即帧间距离）的乘积表示；当两切片图像相似时，该值变小；当两切片帧间距离变小时，该值变小。
[0023]所述重新计算每一类别的聚类中心，可采用尝试法，选取该类的任意切片作为聚类中心，计算该类其余切片与该聚类中心切片的距离并累加，取累加距离最小情况时的聚类中心作为该类的聚类中心。
[0024]所述调整相邻两个类别之间的边界，或聚类边界的调整方法，是指考虑到这里的聚类是沿时间方向进行的，只能出现上边的切片属于上边的聚类中心，下边的切片属于下边的聚类中心的情况，因此聚类的结果是两个类别之间的边界，而不能存在交错的情况。
[0025]聚类边界的调整方法为，首先分别从上下两个聚类中心开始相向搜索切片图像，得到上面聚类中心的下方第一个切片图像和下面聚类中心的上方第一个切片图像，分别计
算与各自聚类中心的距离并累加；然后在累加距离最小的一侧，按相向和顺序的原则，选取下一个切片图像，计算与该侧聚类中心的距离并累加；直到搜索完两个聚类中心之间的全部切片，从而得到两个类别间新的边界。
[0026]所述聚类结果，即聚类结束后沿时间方向的各类别的边界和聚类中心；此时聚类中心切片图像对应的帧，为视频内容关键帧的候选帧。
[0027]步骤6，合并帧数量较少的类并重新调整类的边界。
[0028]若聚类结果中帧的数量少于指定的最小帧数量阈值，则需要去掉该类别，将其与前后类进行合并处理，可按照步骤5.3聚类边界的调整方法，将该类归入前一类或者后一类。
[0029]最终得到的聚类结果中，各聚类中心所在的帧构成的帧序列，即为最终的视频内容关键帧序列。
[0030]与现有技术相比，本专利技术具有如下优点：使用动态的时空切片位置，提升了对视频关键信息的提取效果，使提取到的切片能更有效地表达运动视频中关键运动信息；聚类算法的距离计算中考虑了切片图像时间属性，提升了对运动视频关键帧识别的准确性；上述措施最终提高了对运动视频关键信息提取的效果。同时本专利技术具有容易理解，计算简单，鲁棒性好等优点。
附图说明
[0031]图1是本专利技术方法的流程示意图。
[0032]图2是本专利技术中运动视频活动强度图的计算流程示意图。
[0033]图3是本专利技术中横向视频切片图像示意图。
具体实施方式
[0034]下面结合本专利技术实例中的附图，对本专利技术实例中的技术方案进行清楚和完整的描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是实施例的全部。
[0035]一种运动视频的内容关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动视频的内容关键帧提取方法，其特征在于，包括以下步骤：步骤1，计算运动视频的活动强度图；步骤2，取运动视频活动强度图中灰度值最大的行，作为时空切片位置行；步骤3，在时空切片位置行，对视频每帧图像进行水平切片操作，得到时空切片图像；步骤4，对时空切片图像进行拼接，形成横向视频切片图像；步骤5，使用K均值聚类算法，沿时间方向对横向视频切片图像进行聚类；步骤6，合并帧数量较少的类并重新调整边界，得到最终的视频内容关键帧。2.根据权利要求1所述的方法，所述步骤1，其特征在于，包括：步骤1.1，对运动视频各帧图像进行灰度化处理；步骤1.2，从第2帧图像开始，按像素计算与前一帧图像的灰度差绝对值，得到差值图像；步骤1.3，对差值图像进行阈值处理，将灰度值小于阈值的像素灰度清0；步骤1.4，将差值图像按像素进行灰度值累加，并进行归一化，得到运动视频的活动强度图。3.根据权利要求1所述的方法，所述步骤2，其特征在于，包括：对活动强度图的主体区域按行进行灰度值累加；将累加灰度值最大的行作为...

【专利技术属性】
技术研发人员：冯子亮，刘恒宇，韩震博，何旭东，窦芙蓉，唐玄霜，张欣，贺思睿，何思迪，张炬，
申请(专利权)人：四川大学，
类型：发明
国别省市：