可解决多目标碰撞及遮挡问题的视频摘要生成方法技术

一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，包括背景重建模块、目标检测模块、目标跟踪模块、目标轨迹后处理模块、目标轨迹生成模块、视频摘要生成模块。本发明专利技术是一种基于对象的动态视频摘要生成方式，该方法对监控视频进行智能分析处理，对源视频中的目标进行检测和跟踪，并提取目标位置大小等轨迹信息，通过轨迹的组合优化生成包含所有目标的浓缩视频，该方法能够有效降低视频空间冗余和时间冗余。

【技术实现步骤摘要】
可解决多目标碰撞及遮挡问题的视频摘要生成方法
本专利技术属于视频监控和图像智能分析
，涉及一种可解决多目标碰撞及遮挡问题的视频摘要生成方法。
技术介绍
视频监控系统作为一种广泛使用的技术防范手段，在城市社会治安综合防控体系建设中发挥着越来越重要的作用。然而，不断增多的各类摄像头日夜不停的摄像，使“看得见”的问题得到了很好的解决，但是海量的视频资料，查找起来犹如大海捞针，传统的以人海战术为主的视频线索查找已经无法应对大数据时代的视频侦查。随着系统规模的不断扩大，如何快速准确地在海量视频里浏览并查找线索，已成亟待解决的问题。视频摘要作为目前智能视频分析技术的重要组成部分，同时也成为视频监控系统事后分析处理的关键手段。视频摘要有效地解决了海量视频资料带来的数据冗余、浏览和查找费时费力、存储不便等疑难问题。在视频监控系统中对原始视频进行浓缩，进一步提高浏览速度并锁定检索对象，对于加快破案速度和破案效率具有重要的意义。视频监控领域的视频摘要技术主要有两种形式：静态视频摘要中的基于关键帧的视频摘要和动态视频摘要中的基于对象的视频摘要。基于关键帧的视频摘要的最小单位是“帧”，在时间上进行减少的同时，却留下了很多的空间冗余信息，并且不能完整表示每个目标的运动轨迹，不利于视频目标检索。基于对象的视频摘要的最小单位是“对象”，打破了“帧”不可分的限制，可以最大限度地减少时间冗余信息和空间冗余信息，保持了视频的动态特性，能在监控安防中快速响应紧急事件，定位到事件相关的“对象”，但是，监控视频中对象的运动轨迹大部分是不相关的，这些不相关的对象轨迹会产生一定的视频空间冗余和时间冗余，因此，造成了处理复杂和摘要生成困难的问题。近年来，越来越多的研究人员针对视频摘要的生成方法进行了深入的研究，也就是解决如何将对象的运动轨迹在时空上进行组合优化的问题。常见的优化算法有模拟退火算法、遗传算法、粒子群算法等，此类算法存在性能不稳定、复杂度高、实现困难、效率低下等不足，在实际应用中不易采用。例如，以色列BriefCam公司已开发出视频摘要(VideoSynopsis)相关的系统，其专利号为US831127和US8102406，该系统的主要思想来源于以色列科学家AlexRav-Acha于2006年提出了基于对象的视频摘要(VideoSynopsis)技术的总体框架，这是一种视频一视频的转化模式。但是该方法在视频摘要生成过程中采用了两种方法，其中一种方法是将对象的运动轨迹进行切片，一个单独的对象被分为若干个切片，每个切片有着更短的时间间隔，而所有切片被同时播放则会出现动态频闪效应，并且对切片的安排处理采用模拟退火算法来最小化能量函数，该方法过分追求时间上的浓缩，得到的摘要视频中一幅画面同一个人出现多次，视觉感观不够自然。基于模拟退火的方法，依赖于初始解的选择，初始解选择不好，很难获得很好的排列使得能量函数很小。CN201310294711.X的专利技术专利公开了一种用于双层视频摘要的轨迹最优组合方法，该方法提出了一种新的最优化能量函数的方法，降低了最优解求取过程中运算次数，避免了局部最优解的问题，也避免了轨迹密度不均匀的情况，但是该方法并没有考虑由于源视频中目标之间存在的碰撞和遮挡造成的目标轨迹不完整或目标本身提取不完整的问题。CN201410001188.1的专利技术专利“一种视频浓缩方法和系统”提出一种视频摘要的生成方法是对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储，然后将前景目标和背景图像进行融合，生成压缩视频。该方法旨在浓缩视频长度的同时，尽可能防止多目标之间的碰撞和遮挡，并没有考虑源视频中目标之间存在碰撞和遮挡情况下的有效处理方法。CN201410709377.4的专利技术专利“一种视频摘要的生成方法及系统”公开了一种视频摘要的生成方法，该方法生成视频摘要时，发生过遮挡或粘连的目标不仅各自具有完整的轨迹，还保持了其在原始视频中与其他目标的遮挡或粘连关系。但是该方法是针对当原始视频中的目标在某一时刻发生粘连或遮挡等行为，且两个目标分割不开变成同一个目标时，跟踪只能延续其中一个目标，在遮挡或粘连结束后才能继续跟踪另一个目标的情况，提出了一种以组为单位，多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，最后选取代价值最小的方案来确定每组在生成视频摘要中的开始时刻，最后完成视频摘要的生成。因此，该方法存在目标追踪不准确、易丢失目标以及最小代价值计算复杂度高的不足。CN201410755692.0的专利技术专利公开了一种基于树状运动目标轨迹的视频摘要生成方法，该方法允许几个发生粘连、交叉、遮挡等多个目标，以目标树的形式进行描述，并以目标树为单位调整起始位置，最终生成视频摘要。该方法数据结构复杂，进行碰撞检测时目标遍历和位置调整次数较多，使得摘要生成过程耗时。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，该方法能够有效实现单个目标的跟踪，在源视频中多个运动目标间发生紧随碰撞或交叉遮挡情况时，在生成的视频摘要中可有效保持目标间原有的隐性相关关系，并保证原目标及其轨迹的完整性，同时可最大限度地保持目标间的时序一致性。本专利技术的技术方案如下：一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，其特征在于包括以下步骤：(1)采用自适应的混合高斯模型对视频帧图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型；(2)使用步骤(1)中得到的前景图像检测新进入场景的所有团块，然后将较小的团块和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号；(3)在步骤(2)对目标进行检测的基础上，实现对目标的跟踪；(4)采用卡尔曼滤波对跟踪团块的位置信息进行修正。(5)在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中。(6)根据步骤(5)得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要。上述步骤(3)进一步包括：(31)从前景图像提取当前帧的所有团块，并计算团块的质心、宽度和高度，并添加到新团块列表；(32)对每一个已被跟踪的团块，利用卡尔曼滤波预测该团块在当前帧的位置和大小；(33)对每一个新团块，通过与已被跟踪团块位置和大小及其卡尔曼预测的位置和大小进行碰撞分析，并将与该团块产生紧随碰撞、交叉遮挡的所有目标的ID编号保存在已被跟踪目标的碰撞标识数组]中；(34)对已被跟踪的目标团块进行判断，若存在碰撞，则采用带权重的粒子滤波进行跟踪预测得到目标团块；若不存在碰撞，则寻找距离上一帧里的团块最近的当前帧的团块作为目标团块；最后将得到的目标团块添加到跟踪轨迹。上述步骤(6)进一步包括：(61)对轨迹生成模块得到的运动轨迹文件中的所有目标按照ID编号进行非降序排序；(62)对排序后的所有目标的运动轨迹进行分析，创建存在碰撞分析的运动轨迹列表，通过对每个目标的碰撞标识数本文档来自技高网...

【技术保护点】
一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，其特征在于包括以下步骤：(1)采用自适应的混合高斯模型对视频帧图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型；(2)使用步骤(1)中得到的前景图像检测新进入场景的所有团块，然后将较小的团块和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号：(3)在步骤(2)对目标进行检测的基础上，实现对目标的跟踪；(4)采用卡尔曼滤波对跟踪团块的位置信息进行修正。(5)在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中。(6)根据步骤(5)得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要。

【技术特征摘要】
1.一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，其特征在于包括以下步骤：(1)采用自适应的混合高斯模型对视频帧图像进行处理，对每一个像素判定其是前景还是背景，得到前景图像和背景图像，并实时重建背景模型；(2)使用步骤(1)中得到的前景图像检测新进入场景的所有团块，然后将较小的团块和与已经被跟踪团块有重叠的团块丢弃，并通过图像边界检测和运动一致性检测进行筛选，丢弃不合标准的团块，将真正的新团块保存到团块列表中，并对所有新团块进行顺序ID编号：(3)在步骤(2)对目标进行检测的基础上，实现对目标的跟踪；(4)采用卡尔曼滤波对跟踪团块的位置信息进行修正。(5)在每条轨迹结束时生成运动目标的运动轨迹，主要包括ID编号、起始帧号、终止帧号、碰撞标识数组、所有团块的位置和大小信息，并将其导出到运动轨迹文件中。(6)根据步骤(5)得到的目标运动轨迹文件，对所有目标的运动轨迹进行组合优化，并按照该组合优化方案将运动目标与生成的背景图像进行融合，生成视频摘要。2.根据权利要求1所述的可解决多目标碰撞及遮挡问题的视频摘要生成方法，其特征在于，所述步骤(3)进一步包括：(31)从前景图像提取当前帧的所有团块，并计算团块的质心、宽度和高度，并添加到新团块列表；(32)对每一个已被跟踪的团块，利用卡尔曼滤波预测该团块在当前帧的位置和大小；(33)对每一个新团块，通过与已被跟踪团块位置和大小及其卡尔曼预测的位置和大小进行碰撞分析，并将与该团块产生紧随碰撞、交叉遮挡的所有目标的ID编号保存在已被跟踪目标的碰撞标识数组]中；(34)对已被跟踪的目标团块进行判断，若存在碰撞，则采用带权重的粒子滤波进行踉踪预测得到目标团...

【专利技术属性】
技术研发人员：张丹普，张晓林，王亚静，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：北京,11