驻站联络员异常行为检测方法、装置、设备、介质和程序制造方法及图纸

本发明专利技术涉及一种驻站联络员异常行为检测方法、装置、设备、介质和程序，方法包括：利用预设摄像头采集驻站联络员预设时长的连续帧数据，利用预先训练的人员跟踪检测模型根据所述连续帧数据获取分类人员图像集合，提取所述分类人员图像集合的图像融合特征信息，获取根据所述分类人员图像集合对驻站联络员进行行为描述的行为描述文本，通过编码获取所述行为描述文本的行为文本特征，根据所述图像融合特征信息以及所述行为文本特征优化预先训练的多模态大模型，得到异常行为检测模型，实时获取驻站联络员的监控视频数据，利用所述人员跟踪检测模型以及所述异常行为检测模型根据所述监控视频数据对驻站联络员进行异常行为检测，得到异常行为检测结果。

【技术实现步骤摘要】

本公开涉及人工智能，特别地涉及一种驻站联络员异常行为检测方法、装置、设备、介质和程序。

技术介绍

1、随着铁路运输行业的快速发展，驻站联络员在列车安全运行中扮演着重要角色，其主要工作内容包括负责车站与列车直接的信息沟通与协调工作，确保铁路运输的安全；及时接受并传递列车运行计划、调度信息以及向车站值班员等工作人员提供必要的行车信息；协助车站值班员进行列车接发车作业；监督车站内各项作业的安全，确保行车安全等，因此在岗位上，他们需要严格遵守铁路规章制度，确保铁路运输安全。

2、然而，驻站联络员在工作中可能存在疏忽、违规等异常行为，如离岗、睡岗、玩手机等，给铁路运输安全带来隐患，因此需要对驻站联络员的行为进行监控。现有监控手段多依赖于人工巡查或简单的视频监控以及单一模态的图像分析技术，效率低下、响应迟缓，无法实时告警，以及存在很多漏检和误检的问题，导致无法有效执行驻站联络员异常行为检测任务。

技术实现思路

1、本公开提供一种驻站联络员异常行为检测方法、装置、设备、介质和程序，以解决现有的驻站联络员监控方法本文档来自技高网...

【技术保护点】

1.一种驻站联络员异常行为检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的人员跟踪检测模型根据所述连续帧数据获取分类人员图像集合，包括：

3.根据权利要求1所述的方法，其特征在于，所述提取所述分类人员图像集合的图像融合特征信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过编码获取所述行为描述文本的行为文本特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述图像融合特征信息以及所述行为文本特征优化预先训练的多模态大模型，得到异常行为检测模型，包括：p>

6.根据权...

【技术特征摘要】

1.一种驻站联络员异常行为检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的人员跟踪检测模型根据所述连续帧数据获取分类人员图像集合，包括：

3.根据权利要求1所述的方法，其特征在于，所述提取所述分类人员图像集合的图像融合特征信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过编码获取所述行为描述文本的行为文本特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述图像融合特征信息以及所述行为文本特征优化预先训练的多模态大模型，得到异常行为检测模型，包括：

6.根据权利要求5所述的方法，其特征在于，所述利用所...

【专利技术属性】
技术研发人员：刘文杰，潘东亮，王大伟，毛兴胜，张国会，
申请(专利权)人：国能包神铁路集团有限责任公司，
类型：发明
国别省市：