一种基于动作识别的轨道交通异常人员检测方法技术

本发明专利技术公开了一种基于动作识别的轨道交通异常人员检测方法，属于航空监视领域。使用无人机巡检铁路，并对视频进行抽帧，通过对SSD检测模型进行训练并使用，获取每张视频帧图像中各个人员的位置信息，并将包含人员的局部区域截取出来，对关键点检测模型和Resnet‑18衣着分类模型进行训练；使用关键点检测模型预测每个人的关节坐标，将某时间段内的关节坐标组成人体骨架序列，输入LSTM动作识别模型，识别每个人的动作类别。通过Resnet‑18衣着分类模型进行人员的衣着分类。根据每个人的动作类别以及对应的外貌服饰，判断此人是否为工作人员。本发明专利技术解决了传统人力巡检或者路基巡检成本巨大的问题，具有较高的实用性和鲁棒性。

A Method for Detecting Abnormal Personnel in Rail Transit Based on Action Recognition

【技术实现步骤摘要】
一种基于动作识别的轨道交通异常人员检测方法
本专利技术属于航空监视领域，具体是一种基于动作识别的轨道交通异常人员检测方法，用于铁路异常人员监测。
技术介绍
在铁路的日常运营维护过程中会存在一定的人员流动，例如，铁路工人的正常检修、行人横穿铁路或者不法分子企图对铁路造成破坏等等现象。这些人员的异常出现严重影响铁路正常运营，造成不必要的人员伤亡和财产损失。为了避免这类危险的发生，铁路方面通常采用对铁路进行巡检或者使用防护网等措施，以防止人员的异常侵入所造成的损失。传统的巡检方式有如下几种，均存在这一定的缺陷：如1)、工作人员定期巡检，这种方式不仅浪费大量人力，而且巡检速度很慢，效率低；2)、路基监视系统，例如定点安置摄像头或者检查点等，这种方式需要布置大量路基设施，成本较高，而且难以覆盖所有危险区域，容易造成遗漏。基于空基的巡检系统能很好的解决上述问题，获得更好的巡检效果，而且基于空基异常行人检测方法成为目前航空监视领域的一个重要课题，具有重大的实际应用意义。面向铁路轨道交通的空基异常人员检测方法，需要精确的定位人员的位置，由于空基视频高度不定，所以拍摄的人员图像大小不同，对人员检测模型的鲁棒性提出了考验。其次，由于异常人员与工作人员的难区分性，传统的人员检测算法往往会对工作人员产生误报。这些都是空基异常人员检测方法亟待解决的问题。
技术实现思路
本专利技术针对上述问题，提出了一种基于动作识别的轨道交通异常人员检测方法，解决了空基异常人员监视的鲁棒性问题以及异常人员与工作人员的难以区分问题，同时也给其他领域的异常人员检测问题提供了参考。具体步骤如下：步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频。步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中各个人员的位置信息；首先训练SSD检测模型，具体过程为：抽取部分视频帧图像作为训练样本，对每张视频帧图像分别人工标注出人员位置信息；然后，对训练样本进行数据增强操作，最后，使用随机梯度下降方式训练SSD检测模型。使用训练好的SSD检测模型对所有的视频帧图像进行预测，得到每张视频帧图像中的每个人的位置信息；步骤四、利用每张视频帧图像中各个人员的位置信息将包含人员的局部区域截取出来，抽取部分局部区域截图作为训练样本，对关键点检测模型和Resnet-18衣着分类模型进行训练；首先，对训练样本进行数据增强，然后采用随机梯度下降的方式训练关键点检测模型和Resnet-18衣着分类模型。步骤五、使用训练好的关键点检测模型，对所有包含人员的局部区域截图进行预测，得到每一帧图像中每个人的关节坐标；首先，将每张局部区域截图统一缩放到256×128的大小；然后，将统一缩放后的局部区域截图输入关键点检测模型，采用CNN回归坐标或者使用HourGlass结构预测关节热度图等方法，检测各个统一缩放后的局部区域截图中对应的各个关节坐标；人体关节坐标根据人体骨架划分，包括：头部、脖子、左手腕、左手肘、左肩膀、右手腕、右手肘、右肩膀、左脚踝、左膝盖、左胯部、右脚踝、右膝盖和右胯部。步骤六、将某时间段内的连续t帧图像中每个人的关节坐标组成对应的人体骨架序列。首先，统计关键点检测模型输出的每张图中人体的关节坐标的个数k；计算每一时刻的关节坐标为k*2的数组；继而得到t个时刻内该图中所有的关节坐标组成的人体骨架序列信息尺度为t*k*2；步骤七、将每个人的人体骨架序列输入LSTM动作识别模型，通过对骨架序列进行动作识别，判断每个人的动作类别。首先，抽取部分人体骨架序列作为训练样本，进行数据增强操作后，采用随机梯度下降的方式训练LSTM动作识别模型。然后，将每个人的尺度为t*k*2的人体骨架序列输入训练好的LSTM动作识别模型，得到每个人在各种动作类别下的分类置信概率分布。最后，选择分类置信概率最大值对应的动作类别为该人的动作类型。动作类别包括：检查铁轨、更换设施、横穿、翻越和破坏等。步骤八、同时，将所有的局部区域截图分别输入训练好的Resnet-18衣着分类模型，进行人员的衣着分类，判断每个人是否穿工作服。衣着类别包括：穿工作服和没有穿工作服。步骤九、根据每个人的动作类别以及对应的外貌服饰，判断此人是否为工作人员，如果是，不予处理，否则为异常人员，发出报警，描述其行为以及出现的位置。本专利技术的优点在于：1)、一种基于动作识别的轨道交通异常人员检测方法，为可行且可靠的空基铁路巡检方法，解决了传统人力巡检或者路基巡检成本巨大的问题。2)、一种基于动作识别的轨道交通异常人员检测方法，不仅能对出现在铁路上的每个人进行定位，而且还能通过人员动作和衣着等特征对其有效分类，具有较高的实用性和鲁棒性。附图说明图1为本专利技术一种基于动作识别的轨道交通异常人员检测方法的流程图；图2为本专利技术一种基于动作识别的轨道交通异常人员检测装置的原理图。具体实施方式为了使本专利技术能够更加清楚地理解其技术原理，下面结合附图具体、详细地阐述本专利技术实施例。本专利技术一种基于动作识别的轨道交通异常人员检测方法，对铁路日常运营维护进行巡检，降低运维成本，并且区分工作人员与异常人员，及时排查出铁路上的风险人员，对异常情况产生报警，提高铁路运营的安全性。如图2所示，本专利技术训练基于卷积神经网络的SSD(SingleShotDetection)检测模型，关键点检测模型，LSTM动作识别模型，Resnet-18衣着分类模型以及DNN人员类型分类模型，并对其进行测试，达到相应的效果后投入使用；采用多尺度的输出来提高检测对飞行高度和角度的鲁棒性。首先使用视频采集装置对铁路进行巡检，采集实时的铁路视频，抽帧后使用SSD人员检测装置，检测出现在铁路上的所有人员不同尺度的所在位置，将所有人员区域截取后得到对应人员区域的局部视频片段，并行进行两步处理：对人员区域的局部视频片段进行关键点检测模型，检测其对应关键点的位置，得到每个人的人体骨架序列。然后，通过LSTM神经网络，对骨架序列进行动作识别，识别出每个人的行为动作；同时，将获得的人员区域的局部视频片段送入Resnet-18衣着分类模型，对每个人衣着进行分类，判断是否穿有工作服。最后，根据每个人的动作以及服饰特征，通过DNN人员类别分类模型判断是否为正常工作人员，对异常人员进行报警。如图1所示，具体步骤如下：步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频。无人机拍摄的铁路光学视频实时传回服务器，在服务器中进行处理；步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中出现在铁路上的各个人员的位置信息；检测铁轨视频帧图像中的人员可以有多种方法，包括使用铁路的连续结构判断人员出现的位置、利用相似度滤波来找出人出现的区域，还有使用深度学习检测模型等。由于无人机巡检过程中不能保证对所有的铁轨段采用相同的高度、相同的角度进行拍摄，所以得到的铁轨上人员的图像是形态各异的，采用铁路的连续结构的方法或者相似度滤波的方法不够鲁棒，不能适应各种不同的情况。为了解决以上问本文档来自技高网...

【技术保护点】
1.一种基于动作识别的轨道交通异常人员检测方法，其特征在于，具体步骤如下：步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频；步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中各个人员的位置信息；步骤四、利用每张视频帧图像中各个人员的位置信息将包含人员的局部区域截取出来，抽取部分局部区域截图作为训练样本，对关键点检测模型和Resnet‑18衣着分类模型进行训练；首先，对训练样本进行数据增强，然后采用随机梯度下降的方式训练关键点检测模型和Resnet‑18衣着分类模型；步骤五、使用训练好的关键点检测模型，对所有包含人员的局部区域截图进行预测，得到每一帧图像中每个人的人体关节坐标；首先，将每张局部区域截图统一缩放到256×128的大小；然后，将统一缩放后的局部区域截图输入关键点检测模型，采用CNN回归坐标或者使用Hour Glass结构预测关节热度图，检测各个统一缩放后的局部区域截图中对应的各个关节坐标；步骤六、将某时间段内的连续t帧图像中每个人的关节坐标组成对应的人体骨架序列；首先，统计关键点检测模型输出的每张图中人体的关节坐标的个数k；计算每一时刻的关节坐标为k*2的数组；继而得到t个时刻内该图中所有的关节坐标组成的人体骨架序列信息尺度为t*k*2；步骤七、将每个人的人体骨架序列输入LSTM动作识别模型，通过对骨架序列进行动作识别，判断每个人的动作类别；步骤八、同时，将所有的局部区域截图分别输入训练好的Resnet‑18衣着分类模型，进行人员的衣着分类，判断每个人是否穿工作服；衣着类别包括：穿工作服和没有穿工作服；步骤九、根据每个人的动作类别以及对应的外貌服饰，判断此人是否为工作人员，如果是，不予处理，否则为异常人员，发出报警，描述其行为以及出现的位置。...

【技术特征摘要】
1.一种基于动作识别的轨道交通异常人员检测方法，其特征在于，具体步骤如下：步骤一、使用搭载光学摄像头的无人机对铁路进行巡检，采集实时的铁路视频；步骤二、服务器对无人机采集到的视频进行抽帧，得到若干视频帧图像；步骤三、抽取部分视频帧图像作为训练样本训练SSD检测模型，并利用训练好的SSD检测模型获取每张视频帧图像中各个人员的位置信息；步骤四、利用每张视频帧图像中各个人员的位置信息将包含人员的局部区域截取出来，抽取部分局部区域截图作为训练样本，对关键点检测模型和Resnet-18衣着分类模型进行训练；首先，对训练样本进行数据增强，然后采用随机梯度下降的方式训练关键点检测模型和Resnet-18衣着分类模型；步骤五、使用训练好的关键点检测模型，对所有包含人员的局部区域截图进行预测，得到每一帧图像中每个人的人体关节坐标；首先，将每张局部区域截图统一缩放到256×128的大小；然后，将统一缩放后的局部区域截图输入关键点检测模型，采用CNN回归坐标或者使用HourGlass结构预测关节热度图，检测各个统一缩放后的局部区域截图中对应的各个关节坐标；步骤六、将某时间段内的连续t帧图像中每个人的关节坐标组成对应的人体骨架序列；首先，统计关键点检测模型输出的每张图中人体的关节坐标的个数k；计算每一时刻的关节坐标为k*2的数组；继而得到t个时刻内该图中所有的关节坐标组成的人体骨架序列信息尺度为t*k*2；步骤七、将每个人的人体骨架序列输入LSTM动作识别模型，通过对骨架序列进行动作识别，判断每个人的动作类别；步骤八、同时，将所有的局...

【专利技术属性】
技术研发人员：曹先彬，罗晓燕，王昊臣，王帅，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11