基于要素挖掘和视频分析的异常行为人群检测方法和装置制造方法及图纸

本发明专利技术公开了一种基于要素挖掘和视频分析的异常行为人群检测方法和装置，方法包括：S100、构建异常人群行为事件的场景特征知识要素推理树；S200、获取各类事件中人群的运动特征参数，生成对应的时间序列特征数据；S300、基于获取的各类事件中人群的运动特征参数，建立异常人群行为模式数据库；S400、训练LSTM分类器；S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入LSTM分类器，输出当前视频中的人群行为模式；S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入场景特征知识要素推理树，判断是否发生异常人群行为事件，若是则输出关于事件性质的检测结果。本发明专利技术可以精确地检测到群体异常行为，减少误报率。减少误报率。减少误报率。

【技术实现步骤摘要】
基于要素挖掘和视频分析的异常行为人群检测方法和装置


[0001]本专利技术涉及异常人群行为检测领域，具体涉及一种基于要素挖掘和视频分析的异常行为人群检测方法和装置。

技术介绍

[0002]突发性群体事件的发生、扩散受到发生时间、发生地点等环境特征的影响，因此，通常对突发性群体事件的预测预警通过抽取影响事件的要素建立指标体系并以此为基础建立基于指标的事件风险预警模型，或者通过机器学习的方式建立基于指标的机器学习模型，但是这种方法是对事件整体态势的预警，对特定场景下异常人群行为或事件的精准预警指导性比较有限。视频监控为分析特定场景下人群行为提供了便利，在突发性群体事件的预警中起到了重要作用，但是传统的视频监控“只记录不判断”，需靠人眼辨识群体异常行为，而人的精力是有限的，在长时间大范围的查看视频监控时容易发生漏报的情况，因此，如何使监控系统自动检测异常行为并报警是目前亟待解决的问题。
[0003]对视频中人群运动特征的提取和分析，对于异常行为或事件的检测至关重要，影响着检测的准确性。目前，在对视频中人群行为进行分析时，通常提取人群的光流特征、轨迹特征、动态纹理特征以及时空上下文特征。对于异常行为的检测机制大致可以分为监督学习、无监督学习和半监督学习三种方式，监督学习的方式多为建立异常行为检测分类模型，二分类模型一般将样本数据分为“正常行为”和“异常行为”两类，多分类模型分为“正常行为”以及“同方向运动”、“突然逃跑”等多种异常行为。监督学习利用标记为“正常行为”和“异常行为”的标签数据训练模型，模型将对输入的特征数据映射为输出，根据匹配程度分类为“正常行为”或者“异常行为”。无监督学习的方法通过观测数据的统计特性学习正常行为和异常行为的运动模式，无需对数据进行训练，直接构建运动模式模型。半监督学习是一种介于监督学习与无监督学习之间的方式，它只对正常行为的样本数据进行训练，将与正常模型不匹配的运动特征数据判别为异常行为。
[0004]目前，基于视频特征的异常人群行为或事件检测方法缺乏对事件场景特征的分析，在对异常人群行为或事件进行辨识时只关注了群体行为的异常，忽略了群体异常行为的时空背景，导致误判率较高。对视频中人群特征的提取和分析是建立群体异常行为检测模型的关键，目前，基于视频特征的异常人群行为或事件的检测方法在对视频中人群进行分析时大多只针对视频图像中人群的基本表观特征，忽略了视频图像深层次的语义特征，缺乏对群体突发聚集性事件中人群行为模式的认识。

技术实现思路

[0005]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于要素挖掘和视频分析的异常行为人群检测方法和装置，可以精确地检测到群体异常行为，减少误报率。
[0006]为实现上述目的，本专利技术采用的技术方案如下：
[0007]一种基于要素挖掘和视频分析的异常行为人群检测方法，包括：
[0008]S100、从案例文本数据库中抽取异常人群行为事件的各场景特征，通过关联规则算法挖掘各场景特征之间的关联规则，基于各场景特征之间的关联规则，构建异常人群行为事件的场景特征知识要素推理树，各场景特征包括：发生日期、发生地点、参与人数、人群行为模式和事件性质；
[0009]S200、基于异常人群行为事件的人群行为视频数据库，获取各类事件中人群的运动特征参数，生成对应的时间序列特征数据；
[0010]S300、基于获取的各类事件中人群的运动特征参数，建立异常人群行为事件的异常人群行为模式数据库；
[0011]S400、基于所述异常人群行为模式数据库，训练LSTM分类器，所述 LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型；
[0012]S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入所述LSTM分类器，输出当前视频中的人群行为模式；
[0013]S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入所述场景特征知识要素推理树，判断是否发生异常人群行为事件，若是则输出关于事件性质的检测结果。
[0014]进一步，如上所述的方法，S100包括：
[0015]从案例文本数据库中抽取异常人群行为事件的各场景特征；
[0016]通过关联规则算法从各场景特征之间寻找频繁项集，将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集，将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则；
[0017]将各场景特征之间的强关联规则转化为概率值，对各场景特征进行统计分析；
[0018]基于统计分析结果，建立场景特征知识要素推理树，对概率值小于预设阈值的分支进行剪枝操作。
[0019]进一步，如上所述的方法，S200包括：
[0020]通过目标检测器对所述人群行为视频数据库中每个事件的人群进行检测，通过Deep
‑
Sort算法对检测到的每个个体进行跟踪，获取各类事件中人群的运动特征参数，跟踪过程包括：运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配，所述运动特征参数包括人数、速度、角度、加速度、角速度。
[0021]进一步，如上所述的方法，所述跟踪过程包括：
[0022]1)运动状态估计：在图像坐标系中，通过一个8维空间估计目标轨迹在某一个时刻的状态其中，(u,v)为预测框的中心位置，x,y为横纵坐标，r为纵横比，h为预测框高度，通过卡尔曼滤波器进行轨迹的预测和更新，(u,v,r,h)为预测变量；
[0023]2)轨迹处理：为每条轨迹设置计数器，计数器在卡尔曼滤波预测期间递增，当跟踪结果和检测结果匹配上时，将该计数器置零，如果一条轨迹在给定时间内没有匹配上检测结果，将该条轨迹删除；
[0024]对于在某帧出现无法与当前所有跟踪结果匹配的检测结果时，为该目标创建新的轨迹，如果连续三帧新创建的轨迹对目标的预测结果不能与检测结果匹配，则将该条轨迹删除，如果在三帧内能够匹配，则确认出现了新的目标轨迹；
[0025]3)运动匹配度和外观匹配度：Deep
‑
Sort算法利用马氏距离和特征余弦距离两个指标度量检测框和预测框之间匹配程度；
[0026]4)级联匹配：从小到大对消失时间相同的轨迹进行匹配，优先考虑常见的目标，以此来解决马氏距离带来的不确定性问题。
[0027]进一步，如上所述的方法，所述人群行为视频数据库中包括异常行为和正常行为的视频数据；
[0028]所述异常行为1的群体特征表现为人群聚集，所述异常行为2的群体特征表现为定向匀速运动，所述异常行为3的群体特征表现为多方向快速运动，所述异常行为4的群体特征表现为同方向快速运动，所述正常行为的群体特征表现为多方向匀速运动；
[0029]所述异常人群行为模式数据库中包括：人群聚集、定向匀速运动、多方向快速运动、同方向快速运动、多方向匀速运动五种人群行为模式。
[0030]进一步，如上所述的方法，S400包括：
[0031]以人群聚集、定向匀速运动、多方向快本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于要素挖掘和视频分析的异常行为人群检测方法，其特征在于，包括：S100、从案例文本数据库中抽取异常人群行为事件的各场景特征，通过关联规则算法挖掘各场景特征之间的关联规则，基于各场景特征之间的关联规则，构建异常人群行为事件的场景特征知识要素推理树，各场景特征包括：发生日期、发生地点、参与人数、人群行为模式和事件性质；S200、基于异常人群行为事件的人群行为视频数据库，获取各类事件中人群的运动特征参数，生成对应的时间序列特征数据；S300、基于获取的各类事件中人群的运动特征参数，建立异常人群行为事件的异常人群行为模式数据库；S400、基于所述异常人群行为模式数据库，训练LSTM分类器，所述LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型；S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入所述LSTM分类器，输出当前视频中的人群行为模式；S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入所述场景特征知识要素推理树，判断是否发生异常人群行为事件，若是则输出关于事件性质的检测结果。2.根据权利要求1所述的方法，其特征在于，S100包括：从案例文本数据库中抽取异常人群行为事件的各场景特征；通过关联规则算法从各场景特征之间寻找频繁项集，将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集，将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则；将各场景特征之间的强关联规则转化为概率值，对各场景特征进行统计分析；基于统计分析结果，建立场景特征知识要素推理树，对概率值小于预设阈值的分支进行剪枝操作。3.根据权利要求1所述的方法，其特征在于，S200包括：通过目标检测器对所述人群行为视频数据库中每个事件的人群进行检测，通过Deep
‑
Sort算法对检测到的每个个体进行跟踪，获取各类事件中人群的运动特征参数，跟踪过程包括：运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配，所述运动特征参数包括人数、速度、角度、加速度、角速度。4.根据权利要求3所述的方法，其特征在于，所述跟踪过程包括：1)运动状态估计：在图像坐标系中，通过一个8维空间估计目标轨迹在某一个时刻的状态其中，(u,v)为预测框的中心位置，x,y为横纵坐标，r为纵横比，h为预测框高度，通过卡尔曼滤波器进行轨迹的预测和更新，(u,v,r,h)为预测变量；2)轨迹处理：为每条轨迹设置计数器，计数器在卡尔曼滤波预测期间递增，当跟踪结果和检测结果匹配上时，将该计数器置零，如果一条轨迹在给定时间内没有匹配上检测结果，将该条轨迹删除；对于在某帧出现无法与当前所有跟踪结果匹配的检测结果时，为该目标创建新的轨迹，如果连续三帧新创建的轨迹对目标的预测结果不能与检测结果匹配，则将该条轨迹删
除，如果在三帧内能够匹配，则确认出现了新的目标轨迹；3)运动匹配度和外观匹配度：Deep
‑
Sort算法利用马氏距离和特征余弦距离两个指标度量检测框和预测框之间匹配程度；4)级联匹配：从小到大对消失时间相同的轨迹进行匹配，优先考虑常见的目标，以此来解决马氏距离带来的不确定性问题。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述人群行为...

【专利技术属性】
技术研发人员：孙小芳，陈鹏，顾海硕，
申请(专利权)人：中国人民公安大学，
类型：发明
国别省市：