一种监控视频中人群异常行为检测方法、装置及计算设备制造方法及图纸

本申请公开了一种监控视频中人群异常行为检测方法、装置及计算设备。所述方法包括：从原始视频序列的外观和前景两个通道分别提取场景级运动特征；采用SDAE学习所述场景级运动特征；采用DBN‑PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分；根据所述两个通道的异常事件的评分给出人群异常行为检测结果。所述装置包括：特征提取模块、学习模块、识别模块和检测模块。所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请所述的方法。

【技术实现步骤摘要】
一种监控视频中人群异常行为检测方法、装置及计算设备
本申请涉及图像处理领域，特别是涉及监控视频中的人群异常行为检测技术。
技术介绍
现有的基于深度学习的视频监控中异常人群检测技术中，有些只使用了短期的外观和动作信息，不能完全表征涉及复杂语境的视频中的活动，还有一些使用高级深度学习模型(例如带有时间数据的全卷积神经网络FCNS或卷积神经网络CNN等)，计算复杂度较高。虽然目前已有一些基于深度学习的异常检测方法，但大多数都只使用了短期的外观和运动信息，而不是使用视频中上下文环境，因此只能针对普通的异常对象(例如静止到站立和在人群中闲逛等异常活动等)检测，此外，它们不能保证高速、低计算复杂度或两者兼而有之。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种监控视频中人群异常行为检测方法，包括：利用一个场景级运动特征通道从原始视频图像序列中提取行人的运动轨迹，得到第一连续运动图，利用另一个场景级运动特征通道从原始视频的前景图像序列中提取行人的运动轨迹，得到第二连续运动图；利用SDAE从所述第一连续运动图和所述第二连续运动图中学习场景级运动特征表示，得到场景级运动特征的高级特征；采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分；根据两个场景级运动特征通道的异常事件的评分给出人群异常行为检测结果。可选地，所述的采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分包括：利用所述SDAE输出的高级特征，用所述PSVM对所述DBN进行训练，给出异常事件及所述异常事件的评分。可选地，所述的根据两个场景级运动特征通道的异常事件的评分给出人群异常行为检测结果包括：采用延迟融合方案将所述两个场景级运动特征通道的异常事件的评分进行合并；根据合并结果对所述异常事件进行评分。根据本申请的另一个方面，提供了一种监控视频中人群异常行为检测装置，包括：特征提取模块，其配置成利用一个场景级运动特征通道从原始视频图像序列中提取行人的运动轨迹，得到第一连续运动图，利用另一个场景级运动特征通道从原始视频的前景图像序列中提取行人的运动轨迹，得到第二连续运动图；学习模块，其配置成利用SDAE从所述第一连续运动图和所述第二连续运动图中学习场景级运动特征表示，得到场景级运动特征的高级特征征；识别模块，其配置成采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分；和检测模块，其配置成根据两个场景级运动特征通道的异常事件的评分给出人群异常行为检测结果。可选地，所述的采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分的具体方法为：利用所述SDAE输出的高级特征，用所述PSVM对所述DBN进行训练，给出异常事件及所述异常事件的评分。可选地，所述的检测模块包括：合并子模块，其配置成采用延迟融合方案将所述两个场景级运动特征通道的异常事件的评分进行合并；和评分子模块，其配置成根据合并结果对所述异常事件进行评分。根据本申请的第三个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请所述的方法。本申请的监控视频中人群异常行为检测方法、装置及计算设备，由于采用了由去噪自编码器(SDAE)、深度信念网络(DBN)和基于平面的一类支持向量机组成的多任务混合深度学习框架，因此不仅可以进行短期的异常对象检测，还可以实现长期的异常动作和行为检测，保证了检测的准确性和效率。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请一个实施例的一种监控视频中人群异常行为检测方法的示意性流程图；图2是根据本申请一个实施例的DBN-PSVM组件的结构示意图；图3是根据本申请一个实施例的一种监控视频中人群异常行为检测装置的结构示意图；图4是根据本申请一个实施例的一种计算设备的结构示意图；图5是根据本申请一个实施例的一种计算机可读存储介质的结构示意图。具体实施方式本申请一个实施例提出的一种监控视频中人群异常行为检测方法，考虑了视频的能够描述移动对象的活动的场景属性，并使用无监督的方法。不使用手工制作的特性，而是深入研究人群特征。所述无监督混合架构能够有效地学习独立的正常和异常数据。为此，本实施例使用从原始视频序列的外观和前景中提取的两个独立的场景级运动特征通道来标识对象的活动轨迹，两个独立的运动通道构成了无监督混合架构的输入，然后根据所述活动轨迹获得运动特征，利用这些运动通提取的特征，用基于平面的一类支持向量机(PSVM)训练两层深度信念网络(DBN)，生成异常分数，最后，通过一种用于异常事件检测的延迟融合方案将来自这两个分支的异常分数合并起来。图1是根据本申请一个实施例的一种监控视频中人群异常行为检测方法的示意性流程图。所述方法一般性地可包括：步骤S1、利用一个场景级运动特征通道从原始视频图像序列中提取行人的运动轨迹，得到第一连续运动图，利用另一个场景级运动特征通道从原始视频的前景图像序列中提取行人的运动轨迹，得到第二连续运动图；本实施例的方法使用两个分支进行学习：分支一、原始图像序列表示视频的特征分支二、前景图像序列的特征表示所述前景图像序列是使用高斯混合模型提取的；对于上述两个分支，本实施例使用两个单独的与场景无关的场景级运动特征通道来提取物体的运动轨迹，所述运动轨迹也称之为连续运动图；步骤S2、利用SDAE从所述第一连续运动图和所述第二连续运动图中学习场景级运动特征表示，得到场景级运动特征的高级特征：将上述步骤S1获得的运动轨迹与所述SDAE一起用于提取高级特征；SDAE通常的输入是随机从不同帧中选取的图像块，使用原始图像序列和前景序列这两个运动通道的原因是应用环境非常拥挤，并且像光流这样被广泛使用的特性不能可靠地表示运动模式，然而，一些场景无关的属性可以在场景级描述群体的行为，因此，可以使用集合性作为一种属性来表示个体在集体运动中一致行动的程度，这种方式适用于检测人在正常速度流中的闲逛，这是在MCG数据集中观察到的最常见的反常行为；SDAE能够自动提取和学习每个通道的高级特征，通过非线性变换找到主特征方向，SADE的去噪能力有助于获得对输入中的损坏不那么敏感的健壮特性；步骤S3、采用DBN-PSVM本文档来自技高网...

【技术保护点】
1.一种监控视频中人群异常行为检测方法，包括：/n利用一个场景级运动特征通道从原始视频图像序列中提取行人的运动轨迹，得到第一连续运动图，利用另一个场景级运动特征通道从原始视频的前景图像序列中提取行人的运动轨迹，得到第二连续运动图；/n利用SDAE从所述第一连续运动图和所述第二连续运动图中学习场景级运动特征表示，得到场景级运动特征的高级特征；/n采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分；/n根据两个场景级运动特征通道的异常事件的评分给出人群异常行为检测结果。/n

【技术特征摘要】
1.一种监控视频中人群异常行为检测方法，包括：
利用一个场景级运动特征通道从原始视频图像序列中提取行人的运动轨迹，得到第一连续运动图，利用另一个场景级运动特征通道从原始视频的前景图像序列中提取行人的运动轨迹，得到第二连续运动图；
利用SDAE从所述第一连续运动图和所述第二连续运动图中学习场景级运动特征表示，得到场景级运动特征的高级特征；
采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分；
根据两个场景级运动特征通道的异常事件的评分给出人群异常行为检测结果。


2.根据权利要求1所述的方法，其特征在于，所述的采用DBN-PSVM组件识别所述SDAE的输出结果中的异常事件，并对所述异常事件进行评分包括：
利用所述SDAE输出的高级特征，用所述PSVM对所述DBN进行训练，给出异常事件及所述异常事件的评分。


3.根据权利要求1或2所述的方法，其特征在于，所述的根据两个场景级运动特征通道的异常事件的评分给出人群异常行为检测结果包括：
采用延迟融合方案将所述两个场景级运动特征通道的异常事件的评分进行合并；
根据合并结果对所述异常事件进行评分。


4.一种监控视频中人群异常行为检测装置，包括：
特征提取模块，其配置成利用一个场景级运动特征通道从原始视频图像...

【专利技术属性】
技术研发人员：樊硕，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11