一种基于图像的机车乘务员作业自动分析系统技术方案

本发明专利技术公开了一种基于图像的机车乘务员作业自动分析系统，该系统包括：图像获取模块，通过监控获取乘务员图像；目标检测模块，目标检测获取乘务员和操作对象；特征提取模块，对提取的乘务员和操作对象进行匹配，使用多流网络模型进行交互行为特征提取；交互识别模块，对进行特征融合并进识别交互行为；作业规范性分析模块，根据交互行为识别结果，对机车乘务员作业进行规范性评分；输出与报警模块，根据规范性评分，判断行为是否规范。本发明专利技术自动分析机车乘务员作业规范性，例如试闸、起步、调速、制动等作业行为，保证起步稳定，杜绝臆测行车，减少违章作业，对提升机车安全管理水平、降低安全事故发生率和保证机车安全稳定运行具有重要意义。有重要意义。有重要意义。

【技术实现步骤摘要】
一种基于图像的机车乘务员作业自动分析系统


[0001]本专利技术涉及视频监控及模式识别
，具体涉及一种基于图像的机车乘务员作业自动分析系统，该系统依赖于一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法。

技术介绍

[0002]在铁路列车运行过程中，机车乘务员在驾驶室对操作对象进行作业，控制机车行驶和前进，作业行为包括试闸、起步、调速、制动等，作业行为的规范性对于列车的稳定运行具有至关重要的意义。然而，在现实机车操控场景中可能存在安全隐患。一方面，新手机车乘务员对作业缺乏经验，可能会产生错误作业行为；另一方面，机车乘务员与操作对象进行交互，由于机车乘务员可能产生疲劳、疏忽等现象，导致不规范的作业行为。因此，机车乘务员不规范甚至错误的作业行为不仅会影响列车正常运行，严重时可能造成列车停运甚至侧翻等重大安全事故，对国民经济造成巨大损失，危害社会安全稳定。
[0003]近年来，随着计算机技术和深度学习算法的发展，基于图像的模式识别领域得到了飞速发展，为了理解图像中场景所呈现的语义信息，计算机需要识别不同对象之间的联系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的机车乘务员作业自动分析系统，其特征在于，包括以下模块：1)监控视频模块：拍摄和获取机车操控室的视觉场景图像；2)目标检测模块：检测图像中的人和物体，即机车乘务员和操作对象；3)特征提取模块：进行人
‑
物体匹配，即将检测到的机车乘务员和操作对象匹配，然后进行深度特征提取；4)交互识别模块：对提取的深度特征进行特征融合，然后进行人物交互行为识别，即机车乘务员的作业行为识别；5)作业规范性分析模块：将机车乘务员作业行为进行规范性评分得到作业分析结果；6)输出与报警模块：输出乘务员作业分析结果，对于不规范的作业行为进行报警。2.根据权利要求1所述的一种基于图像的机车乘务员作业自动分析系统，其特征在于，提出一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，即利用人物交互行为识别的方法对机车乘务员与操作对象的作业行为进行预测，这里的人指的是机车乘务员，交互物体指的是操作对象，该网络模型由局部流、全局流和成对流组成，并包含设计的局部信息模块、全局信息模块和信息融合模块。3.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，其特征在于，使用基于Faster R
‑
CNN作为目标检测器，并使用Res
‑
Net50作为特征主干处理所获取图像得到大小为H
×
W
×
1024的特征图。4.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，其特征在于，通过所提出的局部信息模块提取人和物体的局部区域特征。5.根据权利要求2所述的一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法和权利要求4所提出的局部信息模块，其特征在于，提出一种基于人和物体的全局信息模块提取以人和物体为中...

【专利技术属性】
技术研发人员：夏利民，李锐，韦昌宏，
申请(专利权)人：中南大学，
类型：发明
国别省市：