基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器技术

本发明专利技术涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括：针对监控视频，每隔一定的时间抽取帧，并使用卷积神经网络提取得到视频帧组的视觉特征组；使用图像直方图找到视频帧组断点以设置聚群数量，对视频帧组进行分类；利用聚类得到的视频帧组聚群，分聚群进行备选帧的筛选；计算每个聚群的所有备选帧的代表性得分；计算每个聚群的特异性得分；根据特异性得分高低舍弃一部分聚群，剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧，并按其在原始视频的时序进行排列生成视频摘要。始视频的时序进行排列生成视频摘要。始视频的时序进行排列生成视频摘要。

【技术实现步骤摘要】
基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器


[0001]本专利技术涉及视频
，特别涉及一种基于代表性和特异性得分的非 监督监控视频摘要生成方法。

技术介绍

[0002]监控视频，通常摄像机固定、背景不变、某些时段内容长时间不变，某 些时段内容变化频繁。对其进行摘要是一种在保留相对完整的、有变化内容的前 提下，创建短片快速了解视频内容浏览的技术。基于短片生成的视频摘要任务一 般分为片段分割、帧权重评估和片段选择几项基本环节组成。由于对视觉兴趣点、 紧凑性(即冗余度较小)、以及内容全面多样性的不同要求，不同的观众在不同的 时间会产生不同的视频摘要标准及结果。但无论何种摘要生成标准，考虑视频所 有帧之间的语义关系以及它们是如何相互关联的，才是生成满意摘要结果的关 键。
[0003]近年来受深度学习巨大成功的启发，目前的方法通常将视频摘要用 RNN/LSTM/GRU等网络模型来解决帧序列评分问题。该类模型能够长期捕获帧间 的依赖关系，但由于其模型需要大量数据进行监督学习，建立时序依赖关系，计 算复杂度及模型迁移性不佳。对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于代表性和特异性得分的非监督监控视频摘要生成方法，其特征在于包括以下步骤：步骤一，针对一个需要生成摘要的监控视频，每隔一定的时间抽取视频帧，形成视频帧组，并使用卷积神经网络提取得到视频帧组的视觉特征组；步骤二，使用图像直方图找到视频帧组的断点，利用这些断点将视频帧组分为n段，将n设置为聚群数量，使用聚类方法对视频帧组进行分类得到n个聚群，在全局范围内完成对视觉特征组的学习；步骤三，对每一个聚群进行备选帧组的筛选，其中第i个聚群的备选帧组由距离第i个聚群中心最近的m个视频帧组成；步骤四，计算每个聚群对应的备选帧组内的所有备选帧的代表性得分，其中任意一个备选帧组内的第i个备选帧的代表性得分的计算方法为：针对该备选帧组中的第i个备选帧，根据其在原视频时间轴上的位置，计算与其相邻一定时间范围内的视频帧的相似度平均值，该平均值即为第i个备选帧的代表性得分；步骤五，计算每个聚群对应的特异性得分，其中第i个聚群特异性得分的计算方法为：针对该聚群中的聚心帧的视觉特征x
i
，计算其与除此帧所在聚群外的其余所有聚群中的聚心帧的不相似度平均值，该平均值即为第i个聚群的特异性得分；步骤六，根据特异性得分，舍弃一部分得分低的聚群；从剩余聚群的备选帧组中选择用于生成视频摘要的选定帧，其中第n个剩余聚群的选定帧选取方法具体为：根据代表性得分大小，对第n个聚群对应的备选帧组中的所有备选帧排序，分数高的前j个备选帧即为该备选帧组的选定帧；对剩余聚群的选定帧，按照选定帧在原视频的时间顺序重新组合，最终形成视频摘要。2.根据权利要求1所述的基于代表性和特异性得分的非监督监控视频摘要生成方法，其特征在于所述断点的确定方法为：将视频帧转换为HSV色彩空间，提取视频帧在H,S,V三个通道的图像直方图，按照时序从前向后比较相邻两帧的图像直方图差异性，若差值超过一定阈值则认为此处为一个断点。3.根据权利要求1所述的基于代表性和特异性得分的非监督监控视频摘要生成方法，其特征在于，所述聚类方法包括K
‑
means聚类方法。4.根据权利要求1所述的基于代表性和特异性得分的非监督监控视频摘要生成方法...

【专利技术属性】
技术研发人员：任柯燕，张文济，张云路，袁帅，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：