机车司机行为识别方法、装置及系统制造方法及图纸

本发明专利技术提供了一种机车司机行为识别方法、装置及系统，该机车司机行为识别方法包括：预先定义包含多类司机行为的待训练图像集合；利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。本发明专利技术通过深度学习算法，可以对司机日常的几类操作进行自动识别；同时，通过对图像自动化的检索，可以解脱繁重的人工工作，提高了分析的效率和准确性。

Locomotive driver behavior identification method, device and system

The invention provides a locomotive driver behavior recognition method, device and system, including the locomotive driver behavior recognition method: predefined contains many types of driver behavior to a set of training images; using neural network algorithm to the training image set for model training, formation behavior training model; real-time monitoring image acquisition cab and the real-time monitoring of image input to the behavior training model, identify the driver is behavior category. The learning algorithm can automatically identify the depth of several kinds of daily operations; at the same time, through the image retrieval automation, can do heavy manual work, improves the efficiency and accuracy of analysis.

【技术实现步骤摘要】
机车司机行为识别方法、装置及系统
本专利技术是关于轨道交通机车车辆安全监测技术，特别是关于驾车驾驶室中的一种机车司机行为识别方法、装置及系统。
技术介绍
交通安全现在已经成为一个普遍被关注的社会问题，而加强对铁路交通安全的管控已经迫在眉睫，目前机车上安装了机车车载安全防护系统(简称6A系统)的视频监控设备，目前对该视频监控设备的视频数据的地面分析任务通常采用人工浏览察看方式，一方面分析全部机车的视频录像需要配备大量且足够的地面视频数据分析人员和设备，分析效率低，特别对于特定事件查找的情况下，分析工作量巨大，且容易遗漏。另一方面，由于是事后做人工分析，无法对乘务员在机车运行过程中不当行为进行实时提醒。视频分析与识别技术在机车环境下的应用目前还是空白，究其原因，主要是机车环境下与常规应用有较大区别。例如机车运行中震动幅度较大，成像模糊，影响视频画面的稳定、列车运行过程中光照变化比较大，极大地影响了识别的准确度、机车环境下识别对象差异较大，也会影响视频识别的适应性等。此外，列车在进站和出站过程中，可能会出现强光照的情况，此时，受强光照的影响，视频分析与识别效果将会降低，当光线恢复正常，识别效果也随之改善，如何降低光照变化的影响，提高算法的鲁棒性是业界面临的技术难点之一。
技术实现思路
本专利技术提供一种机车司机行为识别方法、装置及系统，可以对司机日常的几类操作进行自动识别，同时通过对图像自动化的检索，解脱繁重的人工工作，提高分析的效率和准确性。为了实现上述目的，本专利技术实施例提供了一种机车司机行为识别方法，该机车司机行为识别方法包括：预先定义包含多类司机行为的待训练图像集合；利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。一实施例中，所述多类司机行为包括：离岗、接打电话、向前挥手、在岗、站立、睡觉。一实施例中，在利用神经网络算法对所述待训练图像集合进行模型训练之前，该机车司机行为识别方法还包括：在所述待训练图像集合中的各图像上标注目标框。一实施例中，所述目标框相关信息包括目标框的起始位置、宽度及高度，所述机车司机行为识别方法还包括：对所述目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。一实施例中，利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型，包括：利用前向卷积网络对所述待训练图像集合进行逐级抽象化，得到鲁棒的训练模型；利用反馈网络对所述鲁棒的训练模型进行权重调节，得到所述行为训练模型。一实施例中，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别，包括：将所述实时监控图像输入所述行为训练模型，利用增加了Detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。为了实现上述目的，本专利技术实施例还提供了一种机车司机行为识别装置，包括：预定义单元，用于预先定义包含多类司机行为的待训练图像集合；模型训练单元，用于利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；行为识别单元，用于采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。一实施例中，所述多类司机行为包括：离岗、接打电话、向前挥手、在岗、站立、睡觉。一实施例中，该机车司机行为识别装置还包括：标注单元，用于在所述待训练图像集合中的各图像上标注目标框。一实施例中，所述目标框相关信息包括目标框的起始位置、宽度及高度，所述机车司机行为识别装置还包括：归一化单元，用于对所述目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。一实施例中，所述模型训练单元包括：抽象化模块，用于利用前向卷积网络对所述待训练图像集合进行逐级抽象化，得到鲁棒的训练模型；模型训练模块，用于利用反馈网络对所述鲁棒的训练模型进行权重调节，得到所述行为训练模型。一实施例中，所述行为识别单元具体用于：将所述实时监控图像输入所述行为训练模型，利用增加了Detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。为了实现上述目的，本专利技术实施例还提供了一种机车司机行为识别系统，包括：摄像机，用于采集机车驾驶室的实时监控图像；视频智能识别板卡，内置行为识别模块，所述行为识别模块用于利用神经网络算法，根据所述实时监控图像及预先训练出的行为训练模型识别出司机行为所属的类别；存储设备，用于存储利用神经网络算法对预先定义包含多类司机行为的待训练图像集合进行模型训练得到的行为训练模型，还用于存储已识别的视频图像，所述行为训练模型包括多类司机行为；报警设备，接收所述行为识别模块基于司机行为所属的类别生成的报警信息执行报警。本专利技术通过深度学习算法，可以对司机日常的几类操作进行自动识别；同时，通过对图像自动化的检索，可以解脱繁重的人工工作，提高了分析的效率和准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的机车司机行为识别系统的结构示意图；图2为本专利技术实施例的机车司机行为识别方法流程图；图3为本专利技术实施例的模型训练阶段流程图；图4为本专利技术实施例的行为判别阶段流程图；图5为本专利技术实施例的机车司机行为识别装置的结构示意图一；图6为本专利技术实施例的机车司机行为识别装置的结构示意图二；图7为本专利技术实施例的模型训练单元的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。近几年来，视频分析与识别技术已取得突飞进展，各项理论成果层出不穷。目前，该技术的理论成果已广泛应用于交通、安防、金融、建筑、医学、军事等领域，主要应用有人脸识别、视频客流统计、疲劳状态检测、人群聚集度检测、移动物体跟踪等，取得了令人瞩目的研究成果。视频分析与识别技术在以上领域或方向的成功运用为在机车6A系统的应用提供了有效的指引，一方面，近几年，硬件的计算处理能力得到极大的提升，为该技术的推广应用提供了平台的支持；另一方面，以上领域的工程经验或者成果也可以作为6A视频智能诊断系统应用实施的借鉴。视频中人体的动作识别不同于图像的检测与识别，动作是一连贯的子动作构成的序列，传统的图像检测大都不能有效的识别复杂场景中的动作，另外，视频图像的处理同时面临光照、遮挡、旋转等因素的影响，导致传统动作识别的精度并不高。近几年，作为国际的前沿和热点之一，深度学习技术在图像和语音识别等领域获得巨大成功，深度学习在图像识别领域变现出非常明显的优越性，其识别率已经远远超过传统识别算法，本专利技术考虑将机器学习(深度学习)的相关技术应用于机车司机行为识别当中，以便获得更好的人体行为识别效果。图1为本专利技术实施例的本文档来自技高网...

【技术保护点】
一种机车司机行为识别方法，其特征在于，包括：预先定义包含多类司机行为的待训练图像集合；利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。

【技术特征摘要】
1.一种机车司机行为识别方法，其特征在于，包括：预先定义包含多类司机行为的待训练图像集合；利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。2.根据权利要求1所述的机车司机行为识别方法，其特征在于，所述多类司机行为包括：离岗、接打电话、向前挥手、在岗、站立、睡觉。3.根据权利要求1所述的机车司机行为识别方法，其特征在于，在利用神经网络算法对所述待训练图像集合进行模型训练之前，还包括：在所述待训练图像集合中的各图像上标注目标框。4.根据权利要求3所述的机车司机行为识别方法，其特征在于，所述目标框相关信息包括目标框的起始位置、宽度及高度，所述机车司机行为识别方法还包括：对所述目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。5.根据权利要求1所述的机车司机行为识别方法，其特征在于，利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型，包括：利用前向卷积网络对所述待训练图像集合进行逐级抽象化，得到鲁棒的训练模型；利用反馈网络对所述鲁棒的训练模型进行权重调节，得到所述行为训练模型。6.根据权利要求1所述的机车司机行为识别方法，其特征在于，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别，包括：将所述实时监控图像输入所述行为训练模型，利用增加了Detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。7.一种机车司机行为识别装置，其特征在于，包括：预定义单元，用于预先定义包含多类司机行为的待训练图像集合；模型训练单元，用于利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；行为识别单元，用于采集机车驾驶室的...

【专利技术属性】
技术研发人员：申宇燕，延九磊，刘峰，况志强，卢万平，刘志杰，
申请(专利权)人：中国铁道科学研究院，北京纵横机电技术开发公司，中国铁道科学研究院机车车辆研究所，
类型：发明
国别省市：北京,11