基于视频分析的人群行为异常检测制造技术

此处提出了通过分析描绘人群的图像来检测人群行为异常的方法和系统，包括：使用至少一个机器学习模型，从描绘人群的场景的一个或多个捕获图像中提取第一特征集，所述至少一个机器学习模型通过训练数据集训练，所述训练数据集包括描绘人群正常行为的多个图像；使用至少一种光流分析算法从描绘所述场景的多个连续图像中提取第二特征集，所述至少一种光流分析算法用于估计所述人群中至少部分人的运动模式；通过将所述第一特征集与所述第二特征集进行拼接，创建拼接特征集；以及检测所述人群中一人或多人的行为中的至少一个异常，所述至少一个异常由应用于所述拼接特征集的一种或多种分类算法检测到的相应的离群值所识别。多种分类算法检测到的相应的离群值所识别。多种分类算法检测到的相应的离群值所识别。

【技术实现步骤摘要】
【国外来华专利技术】基于视频分析的人群行为异常检测


[0001]本专利技术在其部分实施例中涉及基于对描绘人群的图像的分析来检测人群行为中的异常，更具体地但不限于，涉及基于对使用两个独立图像分析模型从描绘人群的图像中提取出的特征的分析来检测人群行为中的异常。

技术介绍

[0002]随着世界各地部署海量摄像头，日益迅增的摄像头被部署来监控公共区域，尤其是人群可能会聚集的区域和位置，这使得摄像头的拍摄素材非常广泛且便于访问。
[0003]因此自然需要监控这些摄像头捕获的图像，以便识别人群的异常行为和/或人群中的一人或多人的异常行为，例如暴力、蓄意破坏、恐慌性踩踏和/或汽车事故等，并相应地采取一个或多个行动。
[0004]尽管许多监控系统是由亲自观看屏幕上显示的人群图像的操作人员人工操作，但是通过分析描绘人群的图像来自动识别和/或推断人群行为的自动化方法和系统的研究、开发和部署仍在不断演变。此类方法和系统可以采用计算机视觉、图像处理和其他基于计算的方法、算法、技术和/或实现方式来分析图像。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种解决方案，减轻或解决传统解决方案的缺点和问题。独立权利要求主旨为解决上述及其它目的。进一步有利的实施例可在附属权利要求中找到。
[0006]本专利技术的目的在于提供一种用于检测人群中异常行为的解决方案，尤其是检测可能造成破坏和/或伤害的潜在威胁的人群行为异常。
[0007]根据本专利技术的第一方面，提供了通过分析描绘人群的图像来检测人群行为异常的系统，包括用于执行代码的一个或多个处理器，用于：
[0008]‑
使用一个或多个机器学习模型，从描绘人群的场景的一个或多个捕获图像中提取第一特征集，所述一个或多个机器学习模型通过训练数据集训练，所述训练数据集包括描绘人群正常行为的多个图像；
[0009]‑
使用一种或多种光流分析算法从描绘所述场景的多个连续图像中提取第二特征集，所述一种或多种光流分析算法用于估计所述人群中至少部分人的运动模式；
[0010]‑
通过将所述第一特征集与所述第二特征集进行拼接，创建拼接特征集；
[0011]‑
检测所述人群中一人或多人的行为中的一个或多个异常，所述一个或多个异常由应用于所述拼接特征集的一种或多种分类算法检测到的一个或多个相应的离群值所识别；以及
[0012]‑
输出所述一个或多个异常的指示。
[0013]根据本专利技术的第二方面，提供了一种通过分析描绘人群的图像来检测人群行为异常的计算机实现的方法，包括：
[0014]‑
使用一个或多个机器学习模型，从描绘人群的场景的一个或多个捕获图像中提取第一特征集，所述一个或多个机器学习模型通过训练数据集训练，所述训练数据集包括描绘人群正常行为的多个图像；
[0015]‑
使用一种或多种光流分析算法从描绘所述场景的多个连续图像中提取第二特征集，所述一种或多种光流分析算法用于估计所述人群中至少部分人的运动模式；
[0016]‑
通过将所述第一特征集与所述第二特征集进行拼接，创建拼接特征集；
[0017]‑
检测所述人群中一人或多人的行为中的一个或多个异常，所述一个或多个异常由应用于所述拼接特征集的一种或多种分类算法检测到的一个或多个相应的离群值所识别；以及
[0018]‑
输出所述一个或多个异常的指示。
[0019]应用两路径分析(其中应用了两个不同的分析域(ML模型和光流)从图像中提取特征)可以显著提高人群行为异常检测的准确性和/或可靠性，因为这两个特征提取域可以互补和/或互相增强，从而增强该(拼接)特征集并降低错误的概率，例如，漏报和/或误报等等。此外，使用包含了描绘正常行为的图像的训练数据集(样本数据)对所述一个或多个ML模型进行训练可以是非常有效的，因为有很多此类描绘正常人群行为的图像(因为很容易就可以捕获行为正常的人群的图像)。
[0020]在所述第一和/或第二方面的进一步实现方式中，在使用所述训练数据集训练所述一个或多个机器学习模型之前，通过使用一种或多种诸如k均值聚类算法等聚类算法去除在所述一个或多个图像中识别的一个或多个离群值来调整所述训练数据集。调整所述训练数据集以去除可能指示至少一个人群行为异常的离群值，可以确保所述至少一个训练数据集仅包括描绘正常行为的图像，从而将所述一个或多个ML模型合理地拟合到正常人群行为。
[0021]在所述第一和/或第二方面的可选实现方式中，通过使用额外的人群数据集训练所述一个或多个机器学习模型来提高所述一个或多个机器学习模型的性能，所述额外的人群数据集包括大规模人群视频数据集，所述大规模人群视频数据集用于解释被命名为“谁在哪里做什么”(Who do What at some Where，简称WWW)的拥挤场景。通过特别选择和/或配置用于人群行为解释的所述额外的训练数据集来微调所述一个或多个ML模型，可以显著提高所述一个或多个ML模型从描绘人群的图像中提取所述第一特征集的性能。
[0022]在所述第一和/或第二方面的进一步实现方式中，一个或多个所述机器学习模型由残差卷积神经网络(convolutional neural network，简称CNN)使用。如ResNet
‑
50和/或其类似物等残差CNN是一种高度探索的神经网络，其对于深度学习实现例如人群行为异常检测可以非常有效，从而使得残CNN成为可靠和高效的实现选择。
[0023]在所述第一和/或第二方面的进一步实现方式中，所述一个或多个处理器用于通过将从所述一个或多个训练后的机器学习模型的全局平均池化层提取的特征堆叠在一起来创建所述第一特征集。对从所述一个或多个ML模型的全局平均池化层提取的特征进行堆叠，明确地说，所述残差CNN可以产生准确可靠的(第一)特征集。
[0024]在所述第一和/或第二方面的进一步实现方式中，对于所述一个或多个图像，所述全局平均池化层的尺寸为2048。大小为2048的全局平均池化层足够大，以便准确地提取特征以创建所述第一特征集。此外，所述全局平均池化层的此种大小并不会太大，从而避免了
所述ML模型过度复杂以及训练和/或应用该模型所需的计算资源。
[0025]在所述第一和/或第二方面的可选实现方式中，所述一个或多个处理器还用于通过将所述一种或多种光流分析算法从构成各个所述多个连续图像中的多个非重叠块中的每一块提取的多个光流方向堆叠在一起来创建所述第二特征集。将所述一个或多个图像拆分(分割)成所述非重叠块可显著改善在一个或多个所述图像中检测到的所述一个或多个离群值的定位，因为所述一个或多个离群值可追溯至所述场景中的特定较小区域。
[0026]在所述第一和/或第二方面的进一步实现方式中，用于识别所述拼接特征集中的离群值的一种或多种所述分类算法由k个最近邻居(k
‑
nearest neighbor，简称k
‑
NN)算法所使用，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种通过分析描绘人群的图像来检测人群行为异常的系统，其特征在于，包括：用于执行代码的至少一个处理器，用于：使用至少一个机器学习模型，从描绘人群的场景的至少一个捕获图像中提取第一特征集，所述至少一个机器学习模型通过训练数据集训练，所述训练数据集包括描绘人群正常行为的多个图像；使用至少一种光流分析算法从描绘所述场景的多个连续图像中提取第二特征集，所述至少一种光流分析算法用于估计所述人群中至少部分人的运动模式；通过将所述第一特征集与所述第二特征集进行拼接，创建拼接特征集；检测所述人群中至少一人的行为中的至少一个异常，所述至少一个异常由应用于所述拼接特征集的至少一种分类算法检测到的相应的离群值所识别；以及输出所述至少一个异常的指示。2.根据权利要求1所述的系统，其特征在于，在使用所述训练数据集训练所述至少一个机器学习模型之前，通过使用至少一种聚类算法去除在所述至少一个图像中识别的至少一个离群值来调整所述训练数据集。3.根据权利要求1所述的系统，其特征在于，还包括：通过使用额外的人群数据集训练所述至少一个机器学习模型来提高所述至少一个机器学习模型的性能，所述额外的人群数据集包括大规模人群视频数据集，所述大规模人群视频数据集用于解释被命名为“谁在哪里做什么”(Who do What at some Where，简称WWW)的拥挤场景。4.根据前述权利要求任一项所述的系统，其特征在于，所述至少一个机器学习模型由残差卷积神经网络使用。5.根据前述权利要求任一项所述的系统，其特征在于，所述至少一个处理器用于通过将从所述至少一个训练后的机器学习模型的全局平均池化层提取的特征堆叠在一起来创建所述第一特征集。6.根据前述权利要求任一项所述的系统，其特征在于，对于所述至少一个图像，所述全局平均池化层的尺寸为2048。7.根据前述权利要求任一项所述的系统，其特征在于，所述...

【专利技术属性】
技术研发人员：米兰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：