一种铁路机车视频智能违章识别的检索方法技术

本发明专利技术公开了一种铁路机车视频智能违章识别的检索方法，所述方法包括以下步骤：图像获取；对获取的图片根据深度学习网络Faster

【技术实现步骤摘要】
一种铁路机车视频智能违章识别的检索方法


[0001]本专利技术涉及轨道交通
，具体涉及一种铁路机车视频智能违章识别的检索方法。

技术介绍

[0002]在铁路机务系统的日常分析中，用户需要通过对大量机车视频进行观看，才可以发现驾驶员在操纵机车的整个作业过程中的违章问题，一个机务段正常300台机车，一趟车平均运行8小时，一天一个机务段大概产生2400小时的机车视频，分析人员需要将这2400小时的视频全部看完才能完成整个分析工作。依据存在以下问题：1）用人成本高：用户需要安排多个分析人员才能完成每天的分析工作，用人成本较高。
[0003]2）工作强度高：分析人员需要长时间盯着视频观看，才能发现乘务员作业过程中的违章问题。
[0004]目前主流的机车视频智能违章识别方法基于深度学习技术，将视频片段输入网络框架进行时序特征和图像特征的提取，识别检索出违章行为。基于视频片段的分析方法耗时严重，无法满足每日视频分析速度要求。
[0005]现有的视频智能违章识别检索方法，可分为两类，一类以视频整段图片序列作为输入，一类以单张图片作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种铁路机车视频智能违章识别的检索方法，其特征在于：所述方法包括以下步骤：S1：图像获取：通过ffmpeg读取机车监控视频，每秒抓取一张图像；S2：目标检测：对S1中获取的图片根据深度学习网络Faster
‑
Rcnn进行目标检测，获取当前图片中是否包含机车乘务员以及违章行为目标；S3：特征提取：对S1中的图像进行处理，获取当前机车运行速度；根据每秒提取视频帧数为时间推算基础，获取该目标行为的持续时间；S4：综合分析：根据S3中获取的机车运行速度、目标行为的持续时间对S2中检测的违章行为目标进行条件筛选，剔除不符合条件的违章行为；S5：作业分析：将筛选后的含有违章行为目标的违章图片及发生时间与LKJ列车数据进行对比，根据LKJ列车数据记录的机车运行时间以及该运行时间机车乘务员做出的手势和动作，对比分析出乘务人员应做未做的动作；根据LKJ列车数据记录的机车速度和对应时间机车所处的位置，进一步筛选出满足条件的违章动作；将乘务人员违章行为对应图像进行实时保存；S6：统计与输出：对违章行为在发生时间段及发生次数进行概率性统计。2.根据权利要求1所述的铁路机车视频智能违章识别的检索方法，其特征在于：所述深度学习网络Faster
‑
Rcnn包括模型训练；所述模型训练包括以下步骤：根据机车监控视频提取图像进行目标标记制作数据集；将数据集中的检测目标根据违章行为动作类别进行标签分组；将带有分类标签的图片缩放大小为M*N送入深度学习网络Faster
‑
Rcnn进行模型训练，获取最终目标检测模型。3.根据权利要求2所述的铁路机车视频智能违章识别的检索方法，其特征在于：所述深度学习网络Faster
‑
Rcnn进行模型训练包括：1）首先将数据集中的图像通过backboon进行特征提取，该层使用的是ResNet_50网络；经过4个pooling层，得到的特征图记为C2,C3,C4,C5层，特征图的shape分别为：[1, M/2, N/2, 256]、[1, M/8, N/8, 512]、[1, M/16, N/16, 1024]、[1, M/32, N/32, 2048]；2）经过backbone获取的4张特征图，经过FPN层后，会获得M5,M4,M3,M2特征图；将M2,M3,M4,M5特征图经过一个3*3的卷积核，得到P2,P3,P4,P5特征图；经P5特征图进行下采样获取P6特征图；5张特征图的shape为：[1,M/2, N/2, 256]、[1, M/4, N/4, 512]、[1, M/8, N/8, 1024]、[1, M/16, N/16, 2048]、[1, M/32, N/32, 256]；3）RPN网络通过一系列固定参考框anchors对P2,P3,P4,P5,P6特征...

【专利技术属性】
技术研发人员：赵东源，苏亚伟，贺振坤，荣坤，
申请(专利权)人：河南思维信息技术有限公司，
类型：发明
国别省市：