一种地铁司机驾驶动作检测方法及系统技术方案

本发明专利技术提供了一种地铁司机驾驶动作检测方法及系统，包括：获取待检测视频数据；利用预先训练好的动作检测模型对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；并基于所述目标物体所在区域，对所述目标物体进行动作识别，获得动作类别

【技术实现步骤摘要】
一种地铁司机驾驶动作检测方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及一种地铁司机驾驶动作检测方法及系统
。

技术介绍

[0002]城市轨道交通的快速发展，对列车运营安全提出了更高的要求
。
列车司机是确保列车安全运行的重要角色，司机需要根据实际完成的步骤，用手指来确认，以确保没有遗漏任何一个步骤，这些手势表明当前设备处于正常运行状态
。
司机完成的动作类别，对判断对应设备当前是否处于正常运行状态至关重要
。
因此，要求实时检测司机动作类别，为判断设备运行正常提供依据，保证列车安全可靠运行
。
[0003]目前，针对地铁司机的动作检测，以人工查阅监控视频为主，劳动强度大，效率低，实时性差，自动化和智能化程度不高，难以满足日益增长的运营安全的需求
。

技术实现思路

[0004]本专利技术的实施例提供了一种地铁司机驾驶动作检测方法及系统，以克服现有技术的缺陷
。
[0005]为了实现上述目的，本专利技术采取了如下技术方案
。
[0006]第一方面，本专利技术提供一种地铁司机驾驶动作检测方法，包括：
[0007]获取待检测视频数据；
[0008]利用预先训练好的动作检测模型对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；并基于所述目标物体所在区域，对所述目标物体进行动作识别，获得动作类别
。
[0009]可选地，所述预先训练好的动作检测模型包括目标检测网络以及动作识别网络；
[0010]所述利用预先训练好的动作检测模型对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；并基于所述目标物体所在区域，对所述目标物体进行动作识别，获得动作类别，包括：
[0011]利用所述目标检测网络对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；
[0012]基于所述目标物体所在区域，利用所述动作识别网络对所述目标物体进行动作识别，获得动作类别
。
[0013]可选地，所述动作识别网络包括依次连接的第一卷积模块
、
空间增强模块
、
多组置换单元以及第二卷积模块；
[0014]所述基于所述目标物体所在区域，利用所述动作识别网络对所述目标物体进行动作识别，获得动作类别，包括：
[0015]利用所述第一卷积模块对所述待检测视频数据进行卷积处理，获得第一卷积后特征图；
[0016]利用所述空间增强模块对所述第一卷积后特征图进行空间增强，获得增强后特征图；
[0017]利用所述多组置换单元对所述增强后特征图进行时空特征提取，获取时空特征；
[0018]利用所述第二卷积模块对所述时空特征进行卷积处理，获得第二卷积后特征图；
[0019]根据所述第二卷积后特征图以及所述目标物体所在区域对应的锚框进行
ROI
对齐以及
ROI
池化，获得与锚框对应的特征信息；
[0020]利用全连接层对所述与锚框对应的特征信息进行动作识别，获得动作类别
。
[0021]可选地，所述多组置换单元包括依次连接的第一置换单元
、
第二置换单元以及第三置换单元；
[0022]所述第一置换单元包括依次连接的第一置换模块
、a
个第二置换模块以及置换注意力模块；
[0023]所述第二置换单元包括依次连接的第一置换模块
、b
个第二置换模块以及置换注意力模块；
[0024]所述第三置换单元包括依次连接的
c
个第二置换模块以及置换注意力模块；
[0025]其中，所述第一置换模块包括第一置换模块的第一分支
、
第二分支
、
第三分支
、
第四分支
、
拼接层以及通道置换层；
[0026]所述第二置换模块包括通道划分层
、
第二置换模块的第一分支
、
第二分支
、
第三分支
、
拼接层以及通道置换层；
[0027]所述第三分支包括依次连接的
1x1x1
的卷积层
、5x5x5
的深度可分离卷积层以及
1x1x1
的卷积层；
[0028]所述第四分支包括依次连接的
5x5x5
的深度可分离卷积层以及
1x1x1
的卷积层
。
[0029]可选地，方法还包括：
[0030]利用所述置换注意力模块对第一置换模块或第二置换模块输出的特征图进行通道分组，获得多组特征图；
[0031]利用所述置换注意力模块中的通道注意力机制与空间注意力机制分别对所述多组特征图进行处理，对应获得每组特征图的通道重要性系数与空间重要性系数；
[0032]基于所述通道重要性系数与空间重要性系数，利用所述置换注意力模块对所述多组特征图进行拼接融合，并采用通道置换对融合后的特征图进行组间通信，获得置换注意力模块输出的特征图
。
[0033]可选地，所述利用所述空间增强模块对所述第一卷积后特征图进行空间增强，获得增强后特征图，包括：
[0034]利用所述空间增强模块对所述第一卷积后特征图沿通道维度分别进行全局平均池化和全局最大池化，并将平均池化后特征图和最大池化后特征图进行拼接，获得拼接后池化特征图；
[0035]利用所述空间增强模块中的
3D
卷积层对所述拼接后池化特征图进行特征提取，并利用所述空间增强模块中的激活函数对
3D
卷积层输出的特征图进行激活，获得激活后特征图；
[0036]对所述激活后特征图与所述第一卷积后特征图进行相乘，获得相乘后的特征图作为增强后特征图
。
[0037]可选地，所述目标检测网络为
MobileNetV2
‑
SSDLite。
[0038]可选地，所述目标检测网络包括依次连接的二维标准卷积层
、
多层第一瓶颈层
、
二维标准卷积层以及多层第二瓶颈层
。
[0039]可选地，所述预先训练好的动作检测模型基于训练视频数据与其对应的标签数据训练得到，所述训练视频数据为驾驶室内司机的动作视频数据
。
[0040]第二方面，本专利技术还提供一种地铁司机驾驶动作检测系统，包括：
[0041]区域检测与动作识别模块，用于利用预先训练好的动作检测模型对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；并基于所述目标物体所在区域，对所述目标物体进行动作识别，获得动作类别
。
[0042]本专利技术有益效果：本专利技术提供的地铁司机驾驶动作检测方法及系统，利用预先训练好的动作检测模型对所述待检测视频数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种地铁司机驾驶动作检测方法，其特征在于，包括：获取待检测视频数据；利用预先训练好的动作检测模型对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；并基于所述目标物体所在区域，对所述目标物体进行动作识别，获得动作类别
。2.
根据权利要求1所述的地铁司机驾驶动作检测方法，其特征在于，所述预先训练好的动作检测模型包括目标检测网络以及动作识别网络；所述利用预先训练好的动作检测模型对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；并基于所述目标物体所在区域，对所述目标物体进行动作识别，获得动作类别，包括：利用所述目标检测网络对所述待检测视频数据中目标物体进行目标检测，获取目标物体所在区域；基于所述目标物体所在区域，利用所述动作识别网络对所述目标物体进行动作识别，获得动作类别
。3.
根据权利要求2所述的地铁司机驾驶动作检测方法，其特征在于，所述动作识别网络包括依次连接的第一卷积模块
、
空间增强模块
、
多组置换单元以及第二卷积模块；所述基于所述目标物体所在区域，利用所述动作识别网络对所述目标物体进行动作识别，获得动作类别，包括：利用所述第一卷积模块对所述待检测视频数据进行卷积处理，获得第一卷积后特征图；利用所述空间增强模块对所述第一卷积后特征图进行空间增强，获得增强后特征图；利用所述多组置换单元对所述增强后特征图进行时空特征提取，获取时空特征；利用所述第二卷积模块对所述时空特征进行卷积处理，获得第二卷积后特征图；根据所述第二卷积后特征图以及所述目标物体所在区域对应的锚框进行
ROI
对齐以及
ROI
池化，获得与锚框对应的特征信息；利用全连接层对所述与锚框对应的特征信息进行动作识别，获得动作类别
。4.
根据权利要求3所述的地铁司机驾驶动作检测方法，其特征在于，所述多组置换单元包括依次连接的第一置换单元
、
第二置换单元以及第三置换单元；所述第一置换单元包括依次连接的第一置换模块
、a
个第二置换模块以及置换注意力模块；所述第二置换单元包括依次连接的第一置换模块
、b
个第二置换模块以及置换注意力模块；所述第三置换单元包括依次连接的
c
个第二置换模块以及置换注意力模块；其中，所述第一置换模块包括第一置换模块的第一分支
、
第二分支
、
第三分支
、
第四分支
、
拼接层以及通道置换层；所述第二置换模块包括通道划分层
、
第二置换模块的第一分支
、
第二分支
、
第三分支<...

【专利技术属性】
技术研发人员：魏秀琨，沈星，张唯，高利华，李欣，马垚，汤庆锋，高方庆，管青鸾，张慧贤，刘志强，胡新杨，葛承宇，蔡坤林，丁亚宁，吉杨，郭海鹏，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：