多视频摘要生成方法、系统、设备及存储介质技术方案

本申请公开了一种多视频摘要生成方法、系统、设备及存储介质，所述多视频摘要生成方法包括：获取视频图像；确定所述视频图像中包含目标人脸的第一视频帧集合，以及所述第一视频帧集合的人脸识别率；重组所述第一视频帧集合，得到视频帧片段，并基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要。本申请属于视频图像处理领域，针对多视频数据集，本申请结合人脸识别，以人为主要目标，根据聚类算法，具有多样性和代表性的视频摘要，减少人工干预工作量，有助于视频检索和视频监控，提高了视频的视觉信息聚类效果。提高了视频的视觉信息聚类效果。提高了视频的视觉信息聚类效果。

【技术实现步骤摘要】
多视频摘要生成方法、系统、设备及存储介质


[0001]本申请涉及视频图像处理领域，尤其涉及一种多视频摘要生成方法、系统、设备及存储介质。

技术介绍

[0002]视频数据在近几年呈现出爆炸式的增长，在人们的日常生活中占据越来越重要的地位。广大用户对视频信息的呈现、编辑、浏览和检索等交互需求也越来越突出，尤其是视频摘要，能够从原视频中提取出有意义的部分，并将它以某种方式进行组合，形成简洁的、能够充分表现视频语义内容的概要。
[0003]现有技术中基于复杂的图聚类的多视频摘要方法是一个比较经典的方法。该方法通过提取视频相应信息和视频的关键帧，构建复杂的图，并在此基础上利用图聚类算法实现摘要。但是由于同一主题下的多个视频包含的内容具有多样性和冗余性，仅用聚类的方法虽然满足了视频内容的最大覆盖条件，但是针对多视频摘要，视频的视觉信息聚类效果较差。

技术实现思路

[0004]本申请的主要目的在于提供一种多视频摘要生成方法、系统、设备及存储介质，旨在解决现有技术中针对多视频摘要，视觉信息聚类效果较差的技术问题。
[0005]为实现以上目的，本申请提供一种多视频摘要生成方法，所述多视频摘要生成方法包括：
[0006]获取视频图像；
[0007]确定所述视频图像中包含目标人脸的第一视频帧集合，以及所述第一视频帧集合的人脸识别率；
[0008]重组所述第一视频帧集合，得到视频帧片段，并基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要。
[0009]可选地，所述基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要的步骤，包括：
[0010]确定所述视频帧片段的第一特征向量；
[0011]将所述第一特征向量与所述人脸识别率进行结合，得到第二特征向量；
[0012]对所述第二特征向量进行聚类，得到所述视频摘要。
[0013]可选地，所述确定所述视频帧片段的第一特征向量的步骤，包括：
[0014]对所述视频帧片段进行特征提取，得到第三特征向量；
[0015]降低所述第三特征向量的空间维度，得到所述视频帧片段的第一特征向量。
[0016]可选地，所述对所述第二特征向量进行聚类，得到所述视频摘要的步骤，包括：
[0017]基于所述第二特征向量，建立向量矩阵；
[0018]将所述向量矩阵输入至预设加权模糊聚类的目标函数，基于所述目标函数，选取
所述第二特征向量中的所述视频摘要。
[0019]可选地，所述确定所述视频图像中包含目标人脸的第一视频帧集合的步骤，包括：
[0020]对所述视频图像进行人脸检测，得到所述视频图像中包含人脸的第二视频帧集合；
[0021]提取所述第二视频帧集合的人脸特征，并将所述人脸特征分别与预设目标人脸特征库进行对比，得到所述第二视频帧集合中每个视频帧的人脸识别率；
[0022]基于所述第二视频帧集合中每个视频帧的人脸识别率，筛选得到所述包含目标人脸的第一视频帧集合。
[0023]可选地，所述基于所述第二视频帧集合中每个视频帧的人脸识别率，筛选得到所述包含目标人脸的第一视频帧集合的步骤，包括：
[0024]分别判断所述第二视频帧集合中每个视频帧的人脸识别率是否超过预设人脸识别阈值；
[0025]输出超过所述预设人脸识别阈值的视频帧，并合并所述超过所述预设人脸识别阈值的视频帧，得到所述包含目标人脸的第一视频帧集合。
[0026]可选地，所述视频图像至少包含两个，所述对所述视频图像进行人脸检测，得到所述视频图像中包含人脸的第二视频帧集合的步骤，包括：
[0027]将所述至少两个视频图像分别分配至对应的分析节点进行人脸检测；
[0028]所述分析节点对每一所述视频图像的视频帧进行人脸检测，输出包含人脸的视频帧，并合并所述包含人脸的视频帧，得到所述第二视频帧集合。
[0029]本申请还提供一种多视频摘要生成系统，所述多视频摘要生成系统包括：
[0030]获取模块，用于获取视频图像；
[0031]确定模块，用于确定所述视频图像中包含目标人脸的第一视频帧集合，以及所述第一视频帧集合的人脸识别率；
[0032]聚类模块，用于重组所述第一视频帧集合，得到视频帧片段，并基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要。
[0033]本申请还提供一种多视频摘要生成设备，所述多视频摘要生成设备包括：存储器、处理器以及存储在存储器上的用于实现所述多视频摘要生成方法的程序，
[0034]所述存储器用于存储实现多视频摘要生成方法的程序；
[0035]所述处理器用于执行实现所述多视频摘要生成方法的程序，以实现所述多视频摘要生成方法的步骤。
[0036]本申请还提供一种存储介质，所述存储介质上存储有实现多视频摘要生成方法的程序，所述实现多视频摘要生成方法的程序被处理器执行以实现所述多视频摘要生成方法的步骤。
[0037]本申请提供的一种多视频摘要生成方法、系统、设备及存储介质，与现有技术中针对多视频摘要，视觉信息聚类效果较差相比，在本申请中，获取视频图像；确定所述视频图像中包含目标人脸的第一视频帧集合，以及所述第一视频帧集合的人脸识别率；重组所述第一视频帧集合，得到视频帧片段，并基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要。即在本申请中，针对多视频数据集，本申请结合人脸识别，以人为主要目标，根据聚类算法，具有多样性和代表性的视频摘要，减少人工干预工作量，有助于视频检索和
视频监控，提高了视频的视觉信息聚类效果。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；
[0040]图2为本申请多视频摘要生成方法第一实施例的流程示意图；
[0041]图3为本申请多视频摘要生成方法第一实施例中步骤S300的细化流程示意图。
[0042]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0043]应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0044]如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
[0045]本申请实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视频摘要生成方法，其特征在于，所述多视频摘要生成方法包括：获取视频图像；确定所述视频图像中包含目标人脸的第一视频帧集合，以及所述第一视频帧集合的人脸识别率；重组所述第一视频帧集合，得到视频帧片段，并基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要。2.如权利要求1所述的多视频摘要生成方法，其特征在于，所述基于所述人脸识别率，对所述视频帧片段进行聚类，得到视频摘要的步骤，包括：确定所述视频帧片段的第一特征向量；将所述第一特征向量与所述人脸识别率进行结合，得到第二特征向量；对所述第二特征向量进行聚类，得到所述视频摘要。3.如权利要求2所述的多视频摘要生成方法，其特征在于，所述确定所述视频帧片段的第一特征向量的步骤，包括：对所述视频帧片段进行特征提取，得到第三特征向量；降低所述第三特征向量的空间维度，得到所述视频帧片段的第一特征向量。4.如权利要求2所述的多视频摘要生成方法，其特征在于，所述对所述第二特征向量进行聚类，得到所述视频摘要的步骤，包括：基于所述第二特征向量，建立向量矩阵；将所述向量矩阵输入至预设加权模糊聚类的目标函数，基于所述目标函数，选取所述第二特征向量中的所述视频摘要。5.如权利要求1所述的多视频摘要生成方法，其特征在于，所述确定所述视频图像中包含目标人脸的第一视频帧集合的步骤，包括：对所述视频图像进行人脸检测，得到所述视频图像中包含人脸的第二视频帧集合；提取所述第二视频帧集合的人脸特征，并将所述人脸特征分别与预设目标人脸特征库进行对比，得到所述第二视频帧集合中每个视频帧的人脸识别率；基于所述第二视频帧集合中每个视频帧的人脸识别率，筛选得到所述包含目标人脸的第一视频帧集合。6.如权利要求5所述的多视频摘要生成方法，其特征在于，...

【专利技术属性】
技术研发人员：季双双，孟希羲，姜伟刚，周彬涵，伍新爽，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：