一种基于活动事件时空重组的视频摘要生成方法技术

一种基于活动事件时空重组的视频摘要生成方法，先对原始视频进行预处理，去除空白帧，再对预处理后的视频进行结构化分析：以原始视频中活动目标为对象，提取其中所有关键活动目标的事件视频，并弱化各活动目标事件间的时间关联，按照其活动范围不相冲突的原则对各活动目标事件进行时序重组；同时参照用户的视觉感受合理提取背景图像，生成延时的动态背景视频；最后将这些活动目标事件与延时动态背景视频实现无缝缝合，形成时间短、内容精、信息全面的视频摘要，且最终生成的视频摘要能同时出现多个活动目标。该方法能够高效、快速地生成用于视频浏览或检索的视频摘要，且该视频摘要能够更合理地表达视频的语义信息，更加符合用户的视觉感受。

【技术实现步骤摘要】
一种基于活动事件时空重组的视频摘要生成方法
本专利技术涉及一种智能分析技术，确切地说，涉及一种基于活动事件时空重组的视频摘要生成方法，属于计算机人工智能、数字视频图像处理和视频监控或视频检索的
技术背景在社会公共安全领域，视频监控系统已经成为维护社会治安、加强社会管理的一个重要技术手段。成千上万的监控摄像头设置在城市的大街小巷、各个企事业的不同场合，执行其昼夜不停地录像使命。这些海量视频文件的特点是存储的数据量大、时间长，通过录像寻找相关线索时需要耗费大量的人力、物力和时间，效率极其低下。因此，在视频监控系统中，如何对原始视频进行浓缩、高效、快速地处理，对海量视频数据中用户感兴趣的内容进行分析并提取所需要的内容，以便作为快速搜寻和过滤的重点，具有重要的指导意义。视频摘要就是一种快速浏览与检索视频的有效工具。视频摘要是对视频的结构和内容进行分析，从原始视频中提取出有意义的内容，并将其以设定方式重新组合，形成简洁、能充分表现视频语义内容的概要，同时也可作为原始视频文件的索引，以供用户快速寻找到每个事件的具体信息。目前，视频摘要主要分为两类：静态视频摘要和动态视频摘要。其中，静态视频摘要是从视频流中抽取有代表性的多个图像，即通过一系列关键帧组成相应的语义单元，用于概括描述视频内容。关键帧是反映视频主要内容的一帧或多帧图像，它的使用可以大大减少视频索引的数据量，同时也为查询和检索视频提供了一个组织框架。选取关键帧的准则是考虑各帧之间的非相似性，以包括颜色、运动为衡量标准的视觉特性来抽取关键帧。Tonomura等人最早提出把每组镜头的第一帧作为关键帧。随后，Zhao等人使用最近邻特征线的方法获取关键帧。Narasimha等人用神经网络的方法提取关键帧。动态视频摘要是提供整个视频内容的基本描述的粗略印象，侧重于摘要内容的全面或最重要的片段。以上两种视频摘要的共性是要严格遵循时间顺序，并以损失大量活动信息为代价来达到快速浏览视频的目的，因此其不能很好地表达视频的语义信息，且无法应用在监控视频的场景。
技术实现思路
有鉴于此，本专利技术的目的是在不丢失大量视频图像信息的基础上，提供一种基于活动事件时空重组的视频摘要生成方法，用于高效、快速地生成完成用于视频浏览或检索的视频摘要。本专利技术的思路为：先对原始视频进行去除空白帧的预处理，再对预处理后的视频进行结构化分析，提取原始视频中所有关键的活动事件，并弱化各个活动目标事件间的时间关联，按照其活动范围不相冲突的原则对活动目标事件进行时序重组，同时参照用户的视觉感受合理提取背景图像，生成延时动态背景视频，最后将这些活动目标事件与延时动态背景视频进行无缝缝合，形成结构紧凑、简短精练、内容丰富且信息全面的视频摘要，最终生成的视频摘要会同时出现多个活动目标。该视频摘要同时也可作为原始视频文件的索引，用于视频检索和快速浏览。实践证明，本专利技术方法能够生成良好的视频摘要。为了达到上述目的，本专利技术提供了一种基于活动事件时空重组的视频摘要生成方法，其特征在于：先对原始视频进行预处理，去除空白帧，再对预处理后的视频进行结构化分析：以原始视频中的活动目标为对象，提取其中所有关键活动目标的事件视频，并弱化各个活动目标事件之间的时间关联，按照其活动范围不相冲突的原则对各个活动目标事件进行时间上的重新组合；同时参照用户的视觉感受合理提取背景图像，生成延时的动态背景视频；最后将这些活动目标事件与延时动态背景视频实现无缝缝合，形成时间简短、内容精练、信息全面的视频摘要，且最终生成的视频摘要能够同时出现多个活动目标；所述方法包括下列操作步骤：(1)对原始视频进行预处理：删除其中活动目标没有运动或变化的空白帧，以避免空白帧对后续分析视频时的干扰，节省系统资源和提高系统运行速度；该步骤包括下列操作内容：(11)运用背景差分算法提取活动目标的轮廓；(12)分别计算所获得的各个前景中每个活动目标的轮廓面积，再判断计算得到的每个活动目标的轮廓面积是否大于自定义设置的轮廓面积阈值，以判定该轮廓是否为噪声；若是，则保存该轮廓所在帧；若否，则判定该轮廓为噪声，剔除当前帧；(2)对预处理后的视频进行结构化分析：对各个活动目标进行检测、跟踪和描述，以形成多个活动目标事件；其中每个活动目标事件是视频中同一个活动目标运动或变化所位于的帧的集合；该步骤包括下列操作内容：(21)检测活动目标：运用背景减除法提取初步的前景团块，再对前景团块进行腐蚀膨胀的形态学处理和以图像形式保存每个前景目标区域所在的团块，并插入至该活动目标事件的运动视频中；同时，保存该团块的包括标识、起始时间和结束时间、持续时间的各个运动轨迹信息；(22)采用连通区域一致性分析法判断步骤(21)中检测到的前景目标是否为新的活动目标；所述连通区域是图像中的像素值相同、且位置相邻的前景像素组成的图像区域，连通区域分析是寻找图像中的各个连通区域并加以标记；(23)采用基于均值漂移(MeanShift)权重的粒子滤波算法，实时跟踪新的活动目标或团块，并实时记录各个活动目标或团块的轨迹信息，以及截取当前图像中各个团块所占的图像区域，再分别添加至各自的活动目标视频中；(24)收集各个活动目标或团块运动或变化在视频中所位于的帧，形成各个活动目标事件；(3)生成视频摘要：采用贪心算法对各个活动目标事件的时间进行重新排序，再建立延时的动态背景视频，最后将收集的两种视频实现无缝缝合，以使视频内容在时间和空间上进一步紧凑浓缩为视频摘要；该步骤包括下列操作内容：(31)对活动目标事件进行重新组合：为了能够快速浏览或检索视频，在提取原始视频中所有重要活动目标后，采用贪心算法对各个活动目标事件的时序进行重新排列，以使视频内容在时间和空间上得到进一步浓缩；该步骤(31)包括下列操作内容：(31A)对活动目标事件执行预处理：为避免出现监控场景中经常出现的两种情况：视频中存在多个目标的活动时间明显较长，或整个监控视频中仅有一个活动目标事件、且其活动时间较长，要对各个目标活动事件进行预处理，即“切片”操作：将活动目标事件按照自定义的时间长度阈值进行切分，形成对应的时长较短的多个活动目标事件；(31B)利用贪心算法对活动目标事件进行时序重组：在保证活动目标运动范围的空间信息不变的前提下，对活动目标事件在原始视频的时间轴上进行平移，使得视频摘要中每帧出现的活动目标数量最大化；该步骤(31B)包括下述五个操作步骤：(a)按照原始视频中每个活动目标事件中的目标活动起始时间的先后顺序，对视频中各个活动目标事件进行排序，得到排序后的各个活动目标事件依次为：事件1、事件2、.....、事件n，其中，自然数n为活动目标事件的总数；(b)设置第1个活动目标事件、即事件1的插入视频的初始时间为零，则该事件1中活动时长最大的目标的活动时长GroupT1＝Max(T1,T2，....,Ti,...,Tn)，其中，自然数下标i为活动目标事件序号，Ti为该活动时长最大的目标在序号为i的事件中的活动时长；这样就得到第1个活动目标事件的插入时间为GroupT1；然后，按照上述方法分别依次计算每个活动目标事件的插入视频时间GroupTi；(c)定义两个活动目标事件之间允许的最大时间冲突阈值Con_max，即两个活动目标事件本文档来自技高网...

【技术保护点】
一种基于活动事件时空重组的视频摘要生成方法，其特征在于：先对原始视频进行预处理，去除空白帧，再对预处理后的视频进行结构化分析：以原始视频中的活动目标为对象，提取其中所有关键活动目标的事件视频，并弱化各个活动目标事件之间的时间关联，按照其活动范围不相冲突的原则对各个活动目标事件进行时间上的重新组合；同时参照用户的视觉感受合理提取背景图像，生成延时的动态背景视频；最后将这些活动目标事件与延时动态背景视频实现无缝缝合，形成时间简短、内容精练、信息全面的视频摘要，且最终生成的视频摘要能够同时出现多个活动目标；所述方法包括下列操作步骤：（1）对原始视频进行预处理：删除其中活动目标没有运动或变化的空白帧，以避免空白帧对后续分析视频时的干扰，节省系统资源和提高系统运行速度；（2）对预处理后的视频进行结构化分析：对各个活动目标进行检测、跟踪和描述，以形成多个活动目标事件；其中每个活动目标事件是视频中同一个活动目标运动或变化所位于的帧的集合；（3）生成视频摘要：采用贪心算法对各个活动目标事件的时间进行重新排序，再建立延时的动态背景视频，最后将收集的两种视频实现无缝缝合，以使视频内容在时间和空间上进一步紧凑浓缩为视频摘要。...

【技术特征摘要】
1.一种基于活动事件时空重组的视频摘要生成方法，其特征在于：先对原始视频进行预处理，去除空白帧，再对预处理后的视频进行结构化分析：以原始视频中的活动目标为对象，提取其中所有关键活动目标的事件视频，并弱化各个活动目标事件之间的时间关联，按照其活动范围不相冲突的原则对各个活动目标事件进行时间上的重新组合；同时参照用户的视觉感受合理提取背景图像，生成延时的动态背景视频；最后将这些活动目标事件与延时动态背景视频实现无缝缝合，形成时间简短、内容精练、信息全面的视频摘要，且最终生成的视频摘要能够同时出现多个活动目标；所述方法包括下列操作步骤：(1)对原始视频进行预处理：删除其中活动目标没有运动或变化的空白帧，以避免空白帧对后续分析视频时的干扰，节省系统资源和提高系统运行速度；该步骤包括下列操作内容：(11)运用背景差分算法提取活动目标的轮廓；(12)分别计算所获得的各个前景中每个活动目标的轮廓面积，再判断计算得到的每个活动目标的轮廓面积是否大于自定义设置的轮廓面积阈值，以判定该轮廓是否为噪声；若是，则保存该轮廓所在帧；若否，则判定该轮廓为噪声，剔除当前帧；(2)对预处理后的视频进行结构化分析：对各个活动目标进行检测、跟踪和描述，以形成多个活动目标事件；其中每个活动目标事件是视频中同一个活动目标运动或变化所位于的帧的集合；该步骤包括下列操作内容：(21)检测活动目标：运用背景减除法提取初步的前景团块，再对前景团块进行腐蚀膨胀的形态学处理和以图像形式保存每个前景目标区域所在的团块，并插入至该活动目标事件的运动视频中；同时，保存该团块的包括标识、起始时间和结束时间、持续时间的各个运动轨迹信息；(22)采用连通区域一致性分析法判断步骤(21)中检测到的前景目标是否为新的活动目标；所述连通区域是图像中的像素值相同、且位置相邻的前景像素组成的图像区域，连通区域分析是寻找图像中的各个连通区域并加以标记；(23)采用基于均值漂移(MeanShift)权重的粒子滤波算法，实时跟踪新的活动目标或团块，并实时记录各个活动目标或团块的轨迹信息，以及截取当前图像中各个团块所占的图像区域，再分别添加至各自的活动目标视频中；(24)收集各个活动目标或团块运动或变化在视频中所位于的帧，形成各个活动目标事件；(3)生成视频摘要：采用贪心算法对各个活动目标事件的时间进行重新排序，再建立延时的动态背景视频，最后将收集的两种视频实现无缝缝合，以使视频内容在时间和空间上进一步紧凑浓缩为视频摘要；该步骤包括下列操作内容：(31)对活动目标事件进行重新组合：为了能够快速浏览或检索视频，在提取原始视频中所有重要活动目标后，采用贪心算法对各个活动目标事件的时序进行重新排列，以使视频内容在时间和空间上得到进一步浓缩；该步骤(31)包括下列操作内容：(31A)对活动目标事件执行预处理：为避免出现监控场景中经常出现的两种情况：视频中存在多个目标的活动时间明显较长，或整个监控视频中仅有一个活动目标事件、且其活动时间较长，要对各个目标活动事件进行预处理，即“切片”操作：将活动目标事件按照自定义的时间长度阈值进行切分，形成对应的时长较短的多个活动目标事件；(31B)利用贪心算法对活动目标事件进行时序重组：在保证活动目标运动范围的空间信息不变的前提下，对活动目标事件在原始视频的时间轴上进行平移，使得视频摘要中每帧出现的活动目标数量最大化；该步骤(31B)包括下述五个操作步骤：(a)按照原始视频中每个活动目标事件中的目标活动起始时间的先后顺序，对视频中各个活动目标事件进行排序，得到排序后的各个活动目标事件依次为：事件1、事件2、.....、事件n，其中，自然数n为活动目标事件的总数；(b)设置第1个活动目标事件、即事件1的插入视频的初始时间为零，则该事件1中活动时长最大的目标的活动时长GroupT1＝Max(T1,T2，....,Ti,...,Tn)，其中，自然数下标i为活动目标事件序号，Ti为该活动时长最大的目标在序号为i的事件中的活动时长；这样就得到第1个活动目标事件的插入时间为GroupT1；然后，按照上述方法分别依次计算每个活动目标事件的插入视频时间GroupTi；(c)定义两个活动目标事件之间允许的最大时间冲突阈值Con_max，即两个活动目标事件的活动时长能在时间轴上重叠范围；再以事件1为基准，依次计算和判断后续各个事件i与其发生冲突的时间值Con_xi是否不大于Con_max；若Con_xi<Con_max，则确定事件i与事件1能够同时发生，两者属于同一事件集，且其活动时长互不冲突，再标记...

【专利技术属性】
技术研发人员：马华东，李文生，张海涛，魏汪洋，杨军杰，高一鸿，黄灏，赵晓萌，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11