一种基于深度学习的地铁公交异常滞留的识别方法技术

本发明专利技术涉及地铁公交管理技术领域，尤其是一种基于深度学习的地铁公交异常滞留的识别方法；它包括以下步骤：1)旅客识别；2)旅客标记；3)旅客行为特征提取；4)特征分类和识别；5)判断是否发出预警；先用简单的人体识别对所有旅客进行标记，然后进行行为识别，行为异常的进一步标记，再进行情绪识别，异常的再次进行标记，并提出预警，可精准提出预警，还对滞留人员进行识别和预警。员进行识别和预警。

【技术实现步骤摘要】
一种基于深度学习的地铁公交异常滞留的识别方法


[0001]本专利技术涉及地铁公交管理
，尤其是一种基于深度学习的地铁公交异常滞留的识别方法。

技术介绍

[0002]在地铁、公交等公共交通工具上，有时会出现旅客异常滞留的情况，例如被家长遗忘在车厢的孩童，行动缓慢的残障人士或者长者，精神异常人士，甚至还有寻讯滋事者。目前尚未有专门针对异常滞留旅客的识别方法，只能依靠巡查人员进行巡逻以及视频监察人员进行巡视，工作效率较低。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供一种利用大数据和深度学习对异常滞留进行识别的方法。
[0004]本专利技术的技术方案为：
[0005]一种基于深度学习的地铁公交异常滞留的识别方法，其特征在于：它包括以下步骤：
[0006]1)旅客识别；
[0007]2)旅客标记；
[0008]3)旅客行为特征提取；
[0009]4)特征分类和识别；
[0010]5)判断是否发出预警。
[0011]其中步骤1中通过摄像头获取视频图像，通过人体识别算法得到所有人体信息，通过预先设置好并存储在数据库中的工作人员人体信息进行比对，对比结果为工作人员则不进行下一步操作，对比结果为非工作人员则进行下一步操作。
[0012]其中步骤2中通过行人再识别方法对每一个旅客进行标记，其中行人再识别方法包括以下步骤：
[0013]S11采用标准Resenet50模型作为图像层次的特征提取器，输入是一系列的图片帧，景观特征提取器，输出是一系列的图像层次特征，也就是一个矩阵，然后通过实践建模方法将图像层次的特征聚合成一个片段层次的特征；
[0014]S12采用三元组损失函数来训练网络；
[0015]S13每个旅客都被系统识别并标记。
[0016]其中步骤3中采用异常行为识别算法对每个旅客的行为进行识别，所述异常行为识别算法包括以下步骤：
[0017]S21将视频图像中的第一帧作为关键帧，然后将每一帧与关键帧相比，选取阈值，如果两帧间比较的特征差异超过阈值则将该帧更新为关键帧，由于地铁或者公交车内背景是几乎不变的，发生了变化必然是旅客造成的，该方法非常简单，对于算力要求极低；
[0018]S22对关键帧的图像进行基于Radon变换的特征提取，所谓的Radon变换就是f(x，y)沿着包含该函数的平面内的一组直线的线性积分；
[0019]S23得到运动目标的关键帧，对每一帧作Radon变换而且获取最小外接矩形的高宽比例，将其存储ui，将运动描述用矩阵Am*n表示，同时把获得的最小外接矩形的高宽比例存放在ui最后一个的位置；
[0020]S24对特征数据进行降维处理，通过将特征数据做投影处理，将数据压缩；
[0021]S25采用一对一SVM分类器对特征数据进行分类，分类包括坐、站立、行走、逃窜、蹲、躺卧。
[0022]其中步骤4中将上一步骤中逃窜、蹲和躺卧对应的旅客进一步标记为准异常旅客，通过表情识别算法对其进行识别，情绪异常的分类为异常旅客，通知决策者对其进行关注，到达终点站后再次对异常旅客进行追踪，如果还能在视频图像中查找到该旅客则标记为滞留旅客，通知决策者对其进行关注。
[0023]其中步骤5中判断是否进行预警的方法为：
[0024]对异常旅客的情绪进行分类，分别为愤怒、厌恶、恐惧、惊讶、高兴、平静、伤心，其中分类为愤怒、厌恶、恐惧、惊讶的进行预警；
[0025]对滞留旅客的滞留时间进行分类，分别为50秒、150秒和250秒，普通旅客在正常情况下用50秒已经足够从公交车或者地铁车厢离开，超过50秒就应该有所注意，超150秒必然是存在异常，可以通过车内广播等手段进行善意提醒，超过250秒则必须马上派出工作人员进行现场处置。
[0026]本专利技术的有益效果为：先用简单的人体识别对所有旅客进行标记，然后进行行为识别，行为异常的进一步标记，再进行情绪识别，异常的再次进行标记，并提出预警，可精准提出预警，还对滞留人员进行识别和预警。本专利技术没有多所有旅客都进行表情识别，减少了工作量，但由于正常旅客在正常乘车过程中遇到异常旅客必然会产生异常动作，例如逃窜，同样可以间接引发系统关注和预警，故不需要对车上所有旅客进行表情识别。
具体实施方式
[0027]下面结合具体实施方式作进一步说明：
[0028]一种基于深度学习的地铁公交异常滞留的识别方法，其特征在于：它包括以下步骤：
[0029]1)旅客识别；
[0030]2)旅客标记；
[0031]3)旅客行为特征提取；
[0032]4)特征分类和识别；
[0033]5)判断是否发出预警。
[0034]其中步骤1中通过摄像头获取视频图像，通过人体识别算法得到所有人体信息，通过预先设置好并存储在数据库中的工作人员人体信息进行比对，对比结果为工作人员则不进行下一步操作，对比结果为非工作人员则进行下一步操作。
[0035]其中步骤2中通过行人再识别方法对每一个旅客进行标记，其中行人再识别方法包括以下步骤：
[0036]S11采用标准Resenet50模型作为图像层次的特征提取器，输入是一系列的图片帧，景观特征提取器，输出是一系列的图像层次特征，也就是一个矩阵，然后通过实践建模方法将图像层次的特征聚合成一个片段层次的特征；
[0037]S12采用三元组损失函数来训练网络；
[0038]S13每个旅客都被系统识别并标记。
[0039]其中步骤3中采用异常行为识别算法对每个旅客的行为进行识别，所述异常行为识别算法包括以下步骤：
[0040]S21将视频图像中的第一帧作为关键帧，然后将每一帧与关键帧相比，选取阈值，如果两帧间比较的特征差异超过阈值则将该帧更新为关键帧，由于地铁或者公交车内背景是几乎不变的，发生了变化必然是旅客造成的，该方法非常简单，对于算力要求极低；
[0041]S22对关键帧的图像进行基于Radon变换的特征提取，所谓的Radon变换就是f(x，y)沿着包含该函数的平面内的一组直线的线性积分；
[0042]S23得到运动目标的关键帧，对每一帧作Radon变换而且获取最小外接矩形的高宽比例，将其存储ui，将运动描述用矩阵Am*n表示，同时把获得的最小外接矩形的高宽比例存放在ui最后一个的位置；
[0043]S24对特征数据进行降维处理，通过将特征数据做投影处理，将数据压缩；
[0044]S25采用一对一SVM分类器对特征数据进行分类，分类包括坐、站立、行走、逃窜、蹲、躺卧。
[0045]其中步骤4中将上一步骤中逃窜、蹲和躺卧对应的旅客进一步标记为准异常旅客，通过表情识别算法对其进行识别，情绪异常的分类为异常旅客，通知决策者对其进行关注，到达终点站后再次对异常旅客进行追踪，如果还能在视频图像中查找到该旅客则标记为滞留旅客，通知决策者对其进行关注。
[0046]其中步骤5中判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的地铁公交异常滞留的识别方法，其特征在于：它包括以下步骤：1)旅客识别；2)旅客标记；3)旅客行为特征提取；4)特征分类和识别；5)判断是否发出预警。2.根据权利要求1所述的一种基于深度学习的地铁公交异常滞留的识别方法，其特征在于：其中步骤1中通过摄像头获取视频图像，通过人体识别算法得到所有人体信息，通过预先设置好并存储在数据库中的工作人员人体信息进行比对，对比结果为工作人员则不进行下一步操作，对比结果为非工作人员则进行下一步操作。3.根据权利要求2所述的一种基于深度学习的地铁公交异常滞留的识别方法，其特征在于：其中步骤2中通过行人再识别方法对每一个旅客进行标记，其中行人再识别方法包括以下步骤：S11采用标准Resenet50模型作为图像层次的特征提取器，输入是一系列的图片帧，景观特征提取器，输出是一系列的图像层次特征，也就是一个矩阵，然后通过实践建模方法将图像层次的特征聚合成一个片段层次的特征；S12采用三元组损失函数来训练网络；S13每个旅客都被系统识别并标记。4.根据权利要求3所述的一种基于深度学习的地铁公交异常滞留的识别方法，其特征在于：其中步骤3中采用异常行为识别算法对每个旅客的行为进行识别，所述异常行为识别算法包括以下步骤：S21将视频图像中的第一帧作为关键帧，然后将每一帧与关键帧相比，选取阈值，如果两帧间比较的特征差异超过阈值则将该帧更新为关键帧；S22对关键帧的...

【专利技术属性】
技术研发人员：常伟，余捷全，
申请(专利权)人：广东毓秀科技有限公司，
类型：发明
国别省市：