面向大型多人车厢场景的异常行为分析方法技术

本发明专利技术公开了一种面向大型多人车厢场景的异常行为分析方法，包括步骤如下：利用人体姿态估计算法对车厢内监控视频进行数据提取，得到单人或多人空间骨架节点序列；训练单人行为识别网络，该网络对输入的单人空间骨架节点序列进行识别，判断该人是否存在跌倒的异常行为；训练多人行为识别网络，该网络通过对输入的多人空间骨架节点序列进行识别，进而判断是否存在异常行为；4）对多人行为识别网络的输出结果进行信息融合以对多人行为做进一步判断，根据单人和多人行为识别结果。本发明专利技术有效的解决了以卷积神经网络和循环神经网络等模型为代表的深度学习方法不能将视频中的空间和时序信息有效结合起来的问题，提高了异常行为识别的准确度。

【技术实现步骤摘要】
面向大型多人车厢场景的异常行为分析方法
本专利技术涉及一种面向大型多人车厢场景的异常行为分析方法，属于智能车联网

技术介绍
随着科技的发展、人们环保意识的提升，有越来越多的人选择高铁、公交等大型公共交通工具出行，出行的安全问题也因此受到社会的关注。对于跌倒、打斗、偷盗等损害出行者生命和财产安全的行为往往通过监控视频进行分析，然而，传统的视频监控存在以下缺陷：1、只具备一些简单的监控、视频存储、视频回放等功能，监控的过程中往往需要工作人员在旁边进行全天实时连续看守。由于人的注意力集中时间具有间断性，并且会因为长时间大脑的高度集中而造成疲劳，这样就不可避免的会出现漏检、误检的情况；2、由于监控室的监控屏幕越来越多，需要更多的工作人员进行实时的看守，导致人力资源成本的骤增。综上所述，如何在现有技术的基础上提出实时与准确兼顾的异常行为识别方法成为了目前业内人士所亟待解决的问题。
技术实现思路
为了克服现有技术中存在的不足，本专利技术提供一种面向大型多人车厢场景的异常行为分析方法，以解决现有技术中实际场景中因光照变化、目标相互遮挡等干扰因素使得车厢场景的异常行为识别方法的鲁棒性不高，准确性受限的问题。为实现上述目的，本专利技术的一种面向大型多人车厢场景的异常行为分析方法，包括步骤如下：1)利用人体姿态估计算法对车厢内监控视频进行数据提取，得到单人或多人空间骨架节点序列；2)训练单人行为识别网络，该网络对输入的单人空间骨架节点序列进行识别，判断该人是否存在异常行为；<br>3)训练多人行为识别网络，该网络通过对输入的多人空间骨架节点序列进行识别，进而判断是否存在异常行为；4)对多人行为识别网络的输出结果进行信息融合以对多人行为做进一步判断，根据单人和多人行为识别结果，发出提示通知。优选地，所述步骤1)中采用热成像摄像机进行车辆内视频数据的采集。优选地，所述步骤1)具体包括：11)对车厢内监控视频进行预处理，即对视频按一定的跳帧的方式提取得到图片集；12)利用人体姿态估计算法对上述11)中提取的图片集进行人体姿态检测，即通过人体结构关系优化算法连人体关键关节坐标点实现对人体姿态的检测；通过卷积神经网络CNN1(VGG网络模型)对图像进行特征提取生成图像特征图，该神经网络输入的图片为经过预处理的热成像图片；再分别用卷积神经网络CNN2_1和卷积神经网络CNN2_2(全连接网络模型)对图像特征图进行分布式处理，CNN2_1用来检测人体关节坐标区域并通过非极大值抑制算法进行优化得到最优的人体关节坐标点，CNN2_2用来检测人体结构关系区域并通过人体结构关系向量优化算法得到人体结构区域；根据人体关节坐标点和人体结构区域得到目标抽象姿态。优选地，所述步骤2)中的单人行为识别网络采用长短期记忆网络(LSTM，LongShort-TermMemory)，以上述步骤1)中得到的单人空间骨架节点序列以每五帧做为一个帧序列训练样本，并作为作为长短期记忆网络的基本处理单元，正常运动情况下人体的姿态与跌倒过程中人体的姿态是完全不同，因此，该网络将通过提取输入的人体空间骨架信息运动特征、姿态特征等来判断是否有跌倒的异常行为。优选地，所述步骤3)中的多人行为识别网络采用卷积神经网络与长短期记忆网络混合模型，首先，将每5帧的人体空间骨架节点序列划分为一组输入到网络中，利用卷积神经网络提取各帧人体空间骨架序列的空间特征，然后将卷积神经网络的输出调整规模依次输入到长短期记忆网络来获取序列的时序特征，并计算各个时刻长短期记忆网络输出的平均值，预测最后的分类结果。优选地，所述步骤3)中的异常行为具体为打架、斗殴、偷盗、跟踪等行为。优选地，所述步骤4)中所述的信息的融合步骤是为了解决在多人识别的实际场景中，由于多人的相互交叠所造成的异常行为识别准确性不高的问题。本方法将采用的融合方法是基于D-S证据理论的融合。首先，根据多人异常行为识别网络输出出现异常行为的概率得到异常行为、非异常行为的基础概率分配以及预估方法判别结果的不确定性；然后根据上述得到的三个结果计算融合后所得结果的不确定性；最后根据融合结果，采用一定的判别准则，确定获得最大支持度的可能性，并得出是否出现异常行为。本专利技术的有益效果：本专利技术的方法结合了红外热成像监控、深度神经网络与信息融合算法，通过在车厢前后放置两个红外热成像摄像头来提取视频信息，以此为基础实现对神经网络输出的信息融合、增加深度神经网络的红外特征，从而解决实际场景中因光照变化、目标相互遮挡等干扰因素使得这类行为识别方法的鲁棒性不高，准确性受限的问题。此外，本专利技术采用的CNN和LSTM混合模型的深度神经网络模型，有效的解决了以卷积神经网络和循环神经网络等模型为代表的深度学习方法不能将视频中的空间和时序信息有效结合起来的问题，大大提高了异常行为识别的准确度。附图说明图1为人体姿态估计算法原理图。图2为LSTM结构图。图3为CNN和LSTM混合模型。图4为基于D-S证据理论知识融合流程图。图5为异常行为识别流程图。具体实施方式为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。如图5所示，本专利技术的一种面向大型多人车厢场景的异常行为分析方法，主要包括如下：采用人体姿态估计算法对人体空间骨架节点序列进行获取，并且该步骤增加了热成像图片输入；单人和多人异常行为识别网络，所述两个神经网络均采用LSTM对异常行为进行判断；信息的融合，根据多人行为识别的结果进行信息融合，进而提高异常行为识别的准确性。示例中：1、提取人体空间骨架节点序列；对经过预处理后的连续图片利用人体姿态估计算法对进行人体姿态检测，得到人体空间骨架节点序列，即通过人体结构关系优化算法连人体关键关节坐标点实现对人体姿态的检测。如图1所示，人体姿态检测是由三个卷积神经网络组成的。卷积神经网络CNN1(VGG网络模型)对图像进行特征提取生成特征图；再分别用卷积神经网络CNN2_1和卷积神经网络CNN2_2(全连接网络模型)对图像特征图进行分布式处理，CNN2_1用来检测人体关节坐标区域并通过非极大值抑制算法进行优化得到最优的人体关节坐标点，CNN2_2用来检测人体结构关系区域并通过人体结构关系向量优化算法得到人体结构区域；根据人体关节坐标点和人体结构区域得到目标抽象姿态。2、单人异常行为识别网络；该识别网络采用LSTM，该神经网络属于一种特殊的循环神经网络(RNN)，由于RNN具有记忆功能，因此其经常用于处理序列数据。但是传统的RNN模型在采用BPTT算法对网络各层权重进行更新时，RNN在各个时刻均会有两个输入，在输入样本的同时，每个时刻均会把前一个时刻的输出作为输入。这就类似于卷积神经网络的参数共享，等于加入多层卷积神经网络，时间越长等同的卷积神经网络层数越深，内存消耗越大，最终引发梯度本文档来自技高网...

【技术保护点】
1.一种面向大型多人车厢场景的异常行为分析方法，其特征在于，包括步骤如下：/n1)利用人体姿态估计算法对车厢内监控视频进行数据提取，得到单人或多人空间骨架节点序列；/n2)训练单人行为识别网络，该网络对输入的单人空间骨架节点序列进行识别，判断该人是否存在异常行为；/n3)训练多人行为识别网络，该网络通过对输入的多人空间骨架节点序列进行识别，进而判断是否存在异常行为；/n4)对多人行为识别网络的输出结果进行信息融合以对多人行为做进一步判断，根据单人和多人行为识别结果，发出提示通知。/n

【技术特征摘要】
1.一种面向大型多人车厢场景的异常行为分析方法，其特征在于，包括步骤如下：
1)利用人体姿态估计算法对车厢内监控视频进行数据提取，得到单人或多人空间骨架节点序列；
2)训练单人行为识别网络，该网络对输入的单人空间骨架节点序列进行识别，判断该人是否存在异常行为；
3)训练多人行为识别网络，该网络通过对输入的多人空间骨架节点序列进行识别，进而判断是否存在异常行为；
4)对多人行为识别网络的输出结果进行信息融合以对多人行为做进一步判断，根据单人和多人行为识别结果，发出提示通知。


2.根据权利要求1所述的面向大型多人车厢场景的异常行为分析方法，其特征在于，所述步骤1)中采用热成像摄像机进行车辆内视频数据的采集。


3.根据权利要求1所述的面向大型多人车厢场景的异常行为分析方法，其特征在于，所述步骤1)具体包括：
11)对车厢内监控视频进行预处理，即对视频按一定的跳帧的方式提取得到图片集；
12)利用人体姿态估计算法对上述11)中提取的图片集进行人体姿态检测，即通过人体结构关系优化算法连人体关键关节坐标点实现对人体姿态的检测；通过卷积神经网络CNN1对图像进行特征提取生成图像特征图，该神经网络输入的图片为经过预处理的热成像图片；再分别用卷积神经网络CNN2_1和卷积神经网络CNN2_2对图像特征图进行分布式处理，CNN2_1用来检测人体关节坐标区域并通过非极大值抑制算法进行优化得到最优的人体关节坐标点，CNN2_2用来检...

【专利技术属性】
技术研发人员：宋智军，张晖，李可欣，叶剑，张铁监，
申请(专利权)人：多伦科技股份有限公司，南京邮电大学，
类型：发明
国别省市：江苏;32