一种用于自制视频的视频摘要方法及系统技术方案

本发明专利技术公开了一种用于自制视频的视频摘要方法及系统，用以解决现有的生成自制视频的视频摘要费时并且耗费人力的问题。该方法包括：使用密集近邻聚类方法对原始视频进行分段以生成多个视频片段；对所述视频片段的重要级别进行评估；通过贪婪选择策略对重要级别在预设范围内的视频片段进行采样以生成视频摘要。本发明专利技术通过无监督学习方法对视频片段进行重要度评估，确保使用连贯翔实的视频帧生成的视频摘要，且不需要人工标注的视频摘要来辅助分析视频内在的结构，节约了大量人力和时间。

A video summarization method and system for homemade video

The invention discloses a video summarization method and a system for self-made video, which can solve the problems of time-consuming and manpower-consuming for generating video summarization of self-made video. The method includes: using dense nearest neighbor clustering method to segment the original video to generate multiple video clips; evaluating the importance level of the video clips; sampling the important level video clips in the preset range by greedy selection strategy to generate video summary. The method evaluates the importance of video clips by unsupervised learning method, ensures the use of coherent and detailed video summary generated by video frames, and does not need manual annotation of video summary to assist in analyzing the inherent structure of video, thus saving a lot of manpower and time.

【技术实现步骤摘要】
一种用于自制视频的视频摘要方法及系统
本专利技术涉及视频摘要
，尤其涉及一种用于自制视频的视频摘要方法及系统。
技术介绍
随着智能手机与摄像头设备的发展和普及，视频可以更加容易地被获取和存储。从而也随之产生了大量的用户自制视频数据。因此，视频检索的需求也随之而升，并耗费大量的时间、人力和物力资源。然而，用户在录制视频时通常很少考虑其时长、内容以及视角选择，从而导致自制视频包括冗长、劣质以及未经编辑的内容(例如光照、晃动、动态背景等)。在此背景下，视频摘要技术在辅助用户快速浏览重要事件方面起着重要的作用。视频摘要技术旨在从原始视频中取样来缩短其长度，但仍能传达重要内容。近年来，视频摘要技术已经引起人们的广泛关注，尤其针对用户录制的自制视频。针对用户自制视频摘要技术的关键在于如何确定原始视频中重要的内容和事件。然而，目前还没有明确的标准来衡量视频片段内容的重要性，即使用户本身也无法给出一个普适的准则来获取视频摘要。人们使用了很多监督学习方法来预测视频的内在结构，然而，监督学习方法的主要难点在于收集用户标注的摘要非常费时。此外，由于用户自制视频的主观性，每个视频都需要多个不同人工标注的摘要。目前只有很少的数据集包括足够的人工标注的视频摘要。
技术实现思路
本专利技术要解决的技术问题目的在于提供一种用于自制视频的视频摘要方法及系统，用以解决现有的生成自制视频的视频摘要费时并且耗费人力的问题。为了实现上述目的，本专利技术采用的技术方案为：一种用于自制视频的视频摘要方法，包括步骤：使用密集近邻聚类方法对原始视频进行分段以生成多个视频片段；对所述视频片段的重要级别进行评估；通过贪婪选择策略对重要级别在预设范围内的视频片段进行采样以生成视频摘要。进一步地，所述使用密集近邻聚类方法对原始视频进行分段以生成视频片段的步骤具体包括：将视频帧输入深度卷积神经网络以计算标签类别分布的概率；基于所述视频帧特征构建深度语义图模型；通过密集近邻聚类法找出图模型的捆绑中心簇并根据所述捆绑中心簇生成多个视频片段。进一步地，所述基于所述视频帧特征构建深度语义图模型的步骤具体包括:构造一个图模型G(V，W)，其中，V＝{Fi}是所述的基于视频帧的图模型的顶点；W＝{wij}是所述的基于视频帧的图模型的顶点Fi和Fj之间的边；所述的基于视频帧的图模型的顶点Fi和Fj之间的相对熵计算如下：其中，i和j是帧序列，是视频帧Fi的标签k的概率；是视频帧Fj的标签k的概率。进一步地，所述对所述视频片段的重要级别进行评估的步骤具体包括：根据所述图模型G(V，W)计算顶点Fi的重要性；其中，d是阻尼因子且范围在0到1之间；计算视频片段的重要级别平均值：其中，tend和tstart是视频片段Sn的末位视频帧和起始视频帧。进一步地，所述通过贪婪选择策略对预设范围内的视频片段进行采样以生成视频摘要的步骤具体包括：在限定时间长度以下，选择重要级别之和最大的视频片段进行采样以生成视频摘要：其中，xn属于{0,1}，当值为1时则标识该视频片段被选定，反之为0。一种用于自制视频的视频摘要系统，包括：分段模块，用于使用密集近邻聚类方法对原始视频进行分段以生成多个视频片段；评估模块，用于对所述视频片段的重要级别进行评估；生成模块，用于通过贪婪选择策略对重要级别在预设范围内的视频片段进行采样以生成视频摘要。进一步地，所述分段模块具体包括：输入单元，用于将视频帧输入深度卷积神经网络以计算标签类别分布的概率；构建单元，用于基于所述视频帧特征构建深度语义图模型；生成单元，用于通过密集近邻聚类法找出图模型的捆绑中心簇并根据所述捆绑中心簇生成多个视频片段。进一步地，所述输入单元具体包括:构造一个图模型G(V，W)，其中，V＝{Fi}是所述的基于视频帧的图模型的顶点；W＝{wij}是所述的基于视频帧的图模型的顶点Fi和Fj之间的边；所述的基于视频帧的图模型的顶点Fi和Fj之间的相对熵计算如下：其中，i和j是帧序列，是视频帧Fi的标签k的概率；是视频帧Fj的标签k的概率。进一步地于，所述评估模块具体包括：第一计算单元，用于根据所述图模型G(V，W)计算顶点Fi的重要性；其中，d是阻尼因子且范围在0到1之间；第二计算单元，用于计算视频片段的重要级别平均值：其中，tend和tstart是视频片段Sn的末位视频帧和起始视频帧。进一步地，所述生成模块具体包括：选择单元，用于在限定时间长度以下，选择重要级别之和最大的视频片段进行采样以生成视频摘要：其中，xn属于{0,1}，当值为1时则标识该视频片段被选定，反之为0。本专利技术与传统的技术相比，有如下优点：本专利技术通过无监督学习方法对视频片段进行重要度评估，确保使用连贯翔实的视频帧生成的视频摘要，且不需要人工标注的视频摘要来辅助分析视频内在的结构，节约了大量人力和时间。附图说明图1是实施例一提供的一种用于自制视频的视频摘要方法流程图；图2是实施例二提供的一种用于自制视频的视频摘要结构示意图。具体实施方式以下是本专利技术的具体实施例并结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。实施例一本实施例提供了一种用于自制视频的视频摘要方法，如图1所示，包括步骤：S11：使用密集近邻聚类方法对原始视频进行分段以生成视频片段；S12：对视频片段的重要级别进行评估；S13：通过贪婪选择策略对预设范围内的视频片段进行采样。视频摘要技术可以应用在实际生活中，例如分析监控视频、视频浏览、动作识别以及生成视频日志，它将给交通及治安等领域带来革命性的技术进步。科学界和业界人士普遍认为，未来的视频系统，尤其是针对用户自制的视频，都会采用视频摘要系统，所以这是一项具有广泛应用前景的技术，会在将来的交通及治安监控等设备上被广泛应用。视频摘要可以将原始视频的内容精练地展示给用户，对于今后的视频监控的发展起到基础性作用，并且对于图像处理和计算机视觉领域的研究有着重要的理论价值和广泛的工程实际意义。本实施例针对用户自制视频，提出一种基于重复图片检测和视频帧相对标识程度的无监督学习视频摘要方法。本实施例构造了以图模型为基础的方法，其中项点对应视频帧，边对应每两帧语义概率分布的相对熵，并根据其包含的信息量对视频帧或片段进行排序。本实施例中，步骤S11为使用密集近邻聚类方法对原始视频进行分段以生成多个视频片段。其中，步骤S11具体包括：将视频帧输入深度卷积神经网络以计算标签类别分布的概率；基于所述视频帧特征构建深度语义图模型；通过密集近邻聚类法找出图模型的捆绑中心簇并根据所述捆绑中心簇生成多个视频片段。其中，所述基于所述视频帧特征构建深度语义图模型的步骤具体包括:构造一个图模型G(V，W)，其中，V＝{Fi}是所述的基于视频帧的图模型的顶点；W＝{wij}是所述的基于视频帧的图模型的顶点Fi和Fj之间的边；所述的基于视频帧的图模型的顶点Fi和Fj之间的相对熵计算如下：其中，i和j是帧序列，是视频帧Fi的标签k的概率；是视频帧Fj的标签k的概率。具体的，在保证视频帧之间语义一致的前提下，本项目使用了一种捆绑中心聚类方法将视频帧分为互不相交的片段。该方法基于深度语义图模型矩阵的聚合，将视频分割成若干片段。因此，在计算视频帧之间的相似度时，为了有效的表达语义信息，本实施例使用一组本文档来自技高网...

【技术保护点】
1.一种用于自制视频的视频摘要方法，其特征在于，包括步骤：使用密集近邻聚类方法对原始视频进行分段以生成多个视频片段；对所述视频片段的重要级别进行评估；通过贪婪选择策略对重要级别在预设范围内的视频片段进行采样以生成视频摘要。

【技术特征摘要】
1.一种用于自制视频的视频摘要方法，其特征在于，包括步骤：使用密集近邻聚类方法对原始视频进行分段以生成多个视频片段；对所述视频片段的重要级别进行评估；通过贪婪选择策略对重要级别在预设范围内的视频片段进行采样以生成视频摘要。2.根据权利要求1所述的一种用于自制视频的视频摘要方法，其特征在于，所述使用密集近邻聚类方法对原始视频进行分段以生成视频片段的步骤具体包括：将视频帧输入深度卷积神经网络以计算标签类别分布的概率；基于所述视频帧的特征构建深度语义图模型；通过密集近邻聚类法找出图模型的捆绑中心簇并根据所述捆绑中心簇生成多个视频片段。3.根据权利要求2所述的一种用于自制视频的视频摘要方法，其特征在于，所述基于所述视频帧特征构建深度语义图模型的步骤具体包括:构造一个图模型G(V，W)，其中，V＝{Fi}是所述的基于视频帧的图模型的顶点；W＝{wij}是所述的基于视频帧的图模型的顶点Fi和Fj之间的边；所述的基于视频帧的图模型的顶点Fi和Fj之间的相对熵计算如下：其中，i和j是帧序列，是视频帧Fi的标签k的概率；是视频帧Fj的标签k的概率。4.根据权利要求3所述的一种用于自制视频的视频摘要方法，其特征在于，所述对所述视频片段的重要级别进行评估的步骤具体包括：根据所述图模型G(V，W)计算顶点Fi的重要性；其中，d是阻尼因子且范围在0到1之间；计算视频片段的重要级别平均值：其中，tend和tstart是视频片段Sn的末位视频帧和起始视频帧。5.根据权利要求4所述的一种用于自制视频的视频摘要方法，其特征在于，所述通过贪婪选择策略对预设范围内的视频片段进行采样以生成视频摘要的步骤具体包括：在限定时间长度以下，选择重要级别之和最大的视频片段进行采样以生成视频摘要：其中，xn属于{0,1}，当值为1时则标识该视频片...

【专利技术属性】
技术研发人员：雷卓，张茜，邱国平，
申请(专利权)人：宁波诺丁汉大学，
类型：发明
国别省市：浙江,33