一种带有徘徊异常提示的分层视频摘要方法技术

本发明专利技术提供了一种带有徘徊异常提示的分层视频摘要方法，适合于视频监控场景下的海量视频快速浏览。步骤：利用高斯混合模型对输入视频进行背景训练和前景检测；基于前景对运动的行人进行跟踪，获取每个行人跟踪的数据集；针对行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算；最小化视频层次的能量函数，在每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；根据行人跟踪信息，进行运动轨迹的拟合及运动方向的判断；判断是否有徘徊行为发生；最小化行人层次的能量函数，从行人跟踪数据集中筛选出最具代表性的几张图片；将行人的多种信息融合到背景图像上，生成行人层次的摘要。

【技术实现步骤摘要】

本专利技术属于计算机视频处理
，具体为一种带有徘徊异常提示的分层视频 摘要方法，适合于视频监控场景下的海量视频快速浏览。
技术介绍
随着社会的不断发展，视频数据正在以爆炸性的方式增长，这使得快速了解视频 内容变得越来越困难。特别是在监控视频场景下，海量的监控视频数据被摄像头每天24小 时不间断地记录下来。此外，异常事件的发生都带有不频繁和时间短的特点，这使得从海量 视频数据中找出感兴趣的视频或事件变得更加困难。目前，计算机视觉技术在智能视频监 控中发挥着越来越重要的作用。在海量视频快速浏览方面，视频摘要技术能将每段视频的 内容进行浓缩概括，从而极大地节省浏览者的时间，提高工作效率。 目前在视频监控领域，视频摘要方法主要分为基于视频整体内容和基于个人 信息两大类。基于视频整体内容的方法仅仅将原视频中重要的信息浓缩成一段时间很 短的视频，这使得浏览者能够快速知道原始视频的主要信息（参见：Yael Pritch，Alex Rav-Acha, and Shmuel Peleg, "Nonchronological Video Synopsis and Indexing, ''IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.30,no, 11, pp. 1971-1984, 2008)，但是这类方法面临如下两个问题：1)无法快速知道视频中感兴趣 对象的详细信息2)对于视频中的异常事件例如徘徊行为并没有做出提示。基于个人活 动信息的方法（Fu，Wei and Wang, Jinqiao and Zhao, Chaoyang and Lu, Hanqing and Ma, Songde, "Object-centered narratives for video surveiIlance^in International Conference on Image Processing(ICIP) ,2012, pp. 29-32)只能提取出感兴趣行人的信 息，一方面提取的信息并没有包含对异常的提示例如徘徊行为，另一方面对于视频的主要 内容并没有进行概括。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足之处，提出了一种新的视频摘要方 法---带有徘徊异常提示的分层次视频摘要方法，不仅可以快速地了解原始视频的内容， 而且还能查看感兴趣行人的各种具体信息。 本专利技术是通过以下技术方案实现的，本专利技术将视频摘要分为视频层次和行人层次 两个层次，而且行人层次的视频摘要具有徘徊异常提示的功能。视频层次的摘要浓缩概括 了原始视频的主要内容，行人层次的摘要反映了行人的多种信息，包括运行轨迹、运动方 向、行为变化及是否有徘徊行为等。浏览者不仅可以快速地了解原始视频的内容，而且还能 查看感兴趣行人的各种具体信息，从而不仅可以快速地了解原始视频的内容，而且还能查 看感兴趣行人的各种具体信息。 具体地，所述方法包括以下步骤： 第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据 集。 第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计 算和视觉注意力计算，用于生成视频层次的能量函数； 第三步：最小化第二步生成的能量函数，在第一步每个行人数据集中筛选出一个 最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要； 第四步：根据第一步的行人跟踪的数据集，进行运动轨迹的拟合及运动方向的判 断，用于生成行人层次的摘要信息； 第五步：根据第一步的行人跟踪的数据集判断是否有徘徊行为发生； 第六步：根据第一步的行人跟踪的数据集进行特征提取，包括空间分布、行人外表 变化、图像亮度及碰撞程度，生成行人层次的能量函数，然后对其进行最小化，目的是从第 一步的行人跟踪数据集中筛选出最具信息量的图片集合，用于生成行人层次的摘要信息； 第七步：将第四到第六这三步获得的多种行人信息融合到背景图像上，生成行人 层次的摘要。 与现有技术相比，本专利技术具有如下的有益效果： 1)本专利技术提出了一种分层次视频摘要框架，浏览者可以快速地从宏观和微观两个 层面了解原始视频的信息；2)视频摘要带有徘徊行为提示功能，浏览者可以很方便地知道 原视频中是否有徘徊异常发生。本专利技术不仅可以快速地了解原始视频的内容，而且还能查 看感兴趣行人的各种具体信息，极大地节省浏览者的时间，提高工作效率。【附图说明】 通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、 目的和优点将会变得更明显： 图1为本专利技术带有徘徊异常提示的分层视频摘要方法总流程框图。 图2为本专利技术一实施例中视频层次的特征提取示意图； 图3为本专利技术一实施例中视频层次的视频摘要示意图； 图4(a)、图4(b)、图4(c)分别是为本专利技术一实施例中运动轨迹拟合、徘徊检测和 有信息量图片的示意图； 图5为本专利技术一实施例中行人层次的视频摘要示意图。【具体实施方式】 下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术 人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术 的保护范围。 实施例 本实施例采用的图像帧来自数据库PETS2006中的行人监控视频。 本实施例涉及的带有徘徊异常提示的分层次视频摘要方法，包括如下具体步骤： 第一步：如图1中预处理部分所示，对数据进行预处理，得到每个行人的跟踪数据 集。 第二步：如图2所示，针对行人跟踪数据集进行特征提取，具体包括：人脸检测、亮 度计算和视觉注意力计算。 让T = It1, . . .，tM}表示M个行人的跟踪数据集，其中匕=. . . 表示行 人X1的跟踪数据集； 让视觉注意力A(Jj)代表图像的重要性或吸引力： 其中D(IK，I1)表示像素点、和I 1在Lab颜色空间的距离，表示图像# 的面积，；S/代表视频中第i个行人的第j个跟踪结果； 让焉〇^)代表图像的明暗程度： 其中仁表示图像W的灰度图； 让&^^)代表图像中是否有正脸检测到： Q 第三步：如图3所示，最小化视频层次的能量函数，在每个行人数据集中筛选出一 个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要。 具体步骤为： 1.将图像特征总能量表示为 其中J = K…表示从第一步每个行人跟踪集合中挑选一张代表性图片 的集合，表示第i个行人跟踪集合中第^张图像被选中，M表示输入视频中的行人数量， 表示图像视觉注意力，私($)表示图像亮度，士(<)表示图像中是否有正脸检测 到， 0< α，β，γ <1，α+β + γ =1。 2.将图像间重叠程度表示为 CN 105138689 A m ~P 4/5 页 其中X1 n X j表示两幅图像之间重叠的区域。表示从第一步每个 行人跟踪集合中挑选一张代表性图片的集合，表示第i个行人跟踪集合中第^张图像 被选中，M表示输入视频中的行人数量。 3.视频层次的能量函数表示为 E(L) = Εδ (L) +λ Εω (L) 其中：ΕΛ (L)表示图像特征总能量，ΕΩ 本文档来自技高网...

【技术保护点】
一种带有徘徊异常提示的分层视频摘要方法，其特征在于，所述方法将视频摘要分为视频层次和行人层次两个层次，行人层次的摘要具有徘徊异常提示的功能；所述方法包括以下步骤：第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据集；第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算，用于生成视频层次的能量函数；第三步：最小化第二步生成的能量函数，用于从第一步每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；第四步：根据第一步的行人跟踪的数据集，进行运动轨迹的拟合及运动方向的判断，用于生成行人层次的摘要信息；第五步：根据第一步的行人跟踪的数据集判断是否有徘徊行为发生；第六步：根据第一步的行人跟踪的数据集进行特征提取，包括空间分布、行人外表变化、图像亮度及碰撞程度，生成行人层次的能量函数，然后对其进行最小化，目的是从第一步的行人跟踪数据集中筛选出最具信息量的图片集合，用于生成行人层次的摘要信息；第七步：将第四步到第六步获得行人的多种信息融合到背景图像上，生成行人层次的摘要，该摘要具有徘徊异常提示的功能。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨华，卢瑞鹏，朱继，郑世宝，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31