【技术实现步骤摘要】
本申请涉及计算机视觉领域，尤其是涉及一种运矿车驾驶员状态监测方法、系统、存储介质及电子设备。
技术介绍
1、有轨运矿车，作为矿料运输的重要设备，是矿井中机械化作业的一个重要组件，其中驾驶员安全规范地驾驶作业对于矿山安全生产至关重要。传统的安全管理技术方案在一定程度上有助于确保矿山的安全生产，但仍存在一些局限性，这些方法主要依赖于人工监督和驾驶员的自觉遵守，难以全面准确地掌握驾驶员的行为和状态。例如，由于运矿车驾驶员不规范的驾驶作业或驾驶习惯(例如车外驾驶等)，可能导致潜在重大安全问题，给矿山安全管理带来的重大安全管理隐患。
2、随着人工智能深度学习的发展，尤其是计算机视觉方面取得的重大进展，通过计算机对视频图像中的特定物体识别检测成为了可能。如何实现智能化运矿车驾驶员驾驶状态监测，对于降低人工维护成本，提高采运矿安全生产有着举足轻重的意义。
技术实现思路
1、本申请的目的在于提供一种运矿车驾驶员状态监测方法、系统、存储介质及电子设备，用于解决现有技术中由于运矿车驾驶员不规范的驾驶作业或车外驾驶等不规范驾驶行为，导致的安全隐患问题。
2、第一方面，本申请提供一种运矿车驾驶员状态监测方法，所述运矿车驾驶员状态监测方法包括：获取视频流数据；将所述视频流数据的图像帧进行编号；基于被编号的图像帧获取驾驶员状态信息字典和运矿车状态信息；基于所述驾驶员状态信息字典和所述运矿车状态信息获取驾驶员状态，并基于所述驾驶员状态规范所述驾驶员的驾驶行为。
3、在第一方面
4、在第一方面的一种实现方式中，所述将所述图像帧输入所述驾驶员状态识别模型，以获取所述驾驶员状态信息字典，包括：对所述图像帧进行目标检测，获取目标信息，并判断所述目标信息中是否包括人；若包括，则通过工服特征提取模型对所述图像帧进行特征提取，以获取与人对应的工服特征；若不包括，则结束对当前所述图像帧的监测；结合所述与人对应的工服特征以及目标信息以获取当前所述图像帧的驾驶员人员信息；对当前所述图像帧进行关键点姿态估计，以获取当前所述图像帧的驾驶员的关键点信息，并将当前所述图像帧的所述驾驶员的关键点信息保存至所述驾驶员状态信息字典。
5、在第一方面的一种实现方式中，所述目标信息包括：人员基本信息；所述结合所述与人对应的工服特征以及目标信息以判断所述图像帧中的人是否为驾驶员，包括：将所述工服特征与驾驶员指定工服的特征进行相似度对比；当所述相似度大于预设相似度阈值时，则所述工服特征对应的工服为所述驾驶员指定工服，则当前所述图像帧中的人为驾驶员；结合所述工服特征以及目标信息获取驾驶员人员信息；当所述相似度不大于所述预设相似度时，则所述工服特征对应的工服为其他工服，则当前所述图像帧中的人不是驾驶员，进而结束对当前所述图像帧的监测。
6、在第一方面的一种实现方式中，所述基于所述驾驶员状态信息字典将包含驾驶员的所述图像帧输入运矿车监测模型，以获取所述运矿车状态信息，包括：将包含驾驶员的所述图像帧进行图像分割标注；把被分割标注后的所述图像帧输入所述运矿车检测模型，以判断所述图像帧中是否包括运矿车；若是，则进一步结合运矿车轨道信息，获取运矿车的车头的几何位置信息和车厢的几何位置信息；否则，结束对当前所述图像帧的监测。
7、在第一方面的一种实现方式中，所述运矿车轨道包括：水平轨道、正斜率轨道和负斜率轨道，所述基于所述驾驶员状态信息字典和所述运矿车状态信息获取驾驶员状态，包括：将所述运矿车状态信息与所述运矿车轨道进行比对，以获取所述运矿车的方向；结合所述运矿车的方向、所述运矿车状态信息以及所述驾驶员的关键点信息，以获取所述驾驶员的状态信息。
8、在第一方面的一种实现方式中，所述驾驶员的关键点信息包括：驾驶员的手、脚的坐标点信息；所述驾驶员的状态信息包括：所述驾驶员的坐标点位于所述运矿车的车头车厢之间或所述驾驶员的坐标点位于所述运矿车之外；若所述驾驶员的坐标点位于所述运矿车的车头车厢之间，则所述驾驶员车内驾驶；若所述驾驶员的坐标点位于所述运矿车之外，则所述驾驶员为车外驾驶；则进一步对所述驾驶员发出警示，以规范所述驾驶员驾驶行为。
9、第二方面，本申请提供一种运矿车驾驶员状态监测系统，所述驾驶员状态监测系统包括：获取模块，用于获取视频流数据；将所述视频流数据的图像帧进行编号；数据处理模块，用于基于被编号的图像帧获取驾驶员状态信息字典和运矿车状态信息；驾驶员状态判断模块，用于基于所述驾驶员状态信息字典和所述运矿车状态信息获取驾驶员状态，并基于所述驾驶员状态规范所述驾驶员的驾驶行为。
10、第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被电子设备执行时实现本申请第一方面任一项所述的运矿车驾驶员状态监测方法。
11、第四方面，本申请提供一种电子设备，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行本申请第一方面任一项所述的运矿车驾驶员状态监测方法。
12、如上所述，本申请所述的运矿车驾驶员状态监测方法、系统、存储介质及电子设备，具有以下有益效果：
13、第一，本申请通过监测采集运矿车及驾驶员的行为和状态数据；利用驾驶员状态识别模型以及运矿车检测模型对数据进行实时分析和处理；并将获取的驾驶员驾驶状态与安全规范进行比对，以结果发出警示和干预信号，对运矿车及驾驶员的状态监测实现端到端的完整准确输出，增强了对驾驶员的监督和管理，降低了事故风险。
14、第二，本申请在对矿山的安全管理方面提高了矿山安全生产的整体水平，减轻了安全员的工作负担，同时减少了工作人员的人身伤害和财产损失。
本文档来自技高网...【技术保护点】
1.一种运矿车驾驶员状态监测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的运矿车驾驶员状态监测方法，其特征在于，所述基于被编号的图像帧获取驾驶员状态信息字典和运矿车状态信息，包括：
3.根据权利要求2所述的运矿车驾驶员状态监测方法，其特征在于，所述将所述图像帧输入所述驾驶员状态识别模型，以获取所述驾驶员状态信息字典，包括：
4.根据权利要求3所述的运矿车驾驶员状态监测方法，其特征在于，所述目标信息包括：人员基本信息，所述结合所述与人对应的工服特征以及目标信息以判断所述图像帧中的人是否为驾驶员，包括：
5.根据权利要求2所述的运矿车驾驶员状态监测方法，其特征在于，所述基于所述驾驶员状态信息字典将包含驾驶员的所述图像帧输入运矿车检测模型，以获取所述运矿车状态信息，包括：
6.根据权利要求2所述的运矿车驾驶员状态监测方法，其特征在于，所述运矿车轨道包括：水平轨道、正斜率轨道和负斜率轨道，所述基于所述驾驶员状态信息字典和所述运矿车状态信息获取驾驶员状态，包括：
7.根据权利要求6所述的运矿车驾驶员状态监测
8.一种运矿车驾驶员状态监测系统，其特征在于，所述系统包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至7中任一项所述的运矿车驾驶员状态监测方法。
10.一种电子设备，其特征在于，包括处理器及存储器；
...【技术特征摘要】
1.一种运矿车驾驶员状态监测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的运矿车驾驶员状态监测方法，其特征在于，所述基于被编号的图像帧获取驾驶员状态信息字典和运矿车状态信息，包括：
3.根据权利要求2所述的运矿车驾驶员状态监测方法，其特征在于，所述将所述图像帧输入所述驾驶员状态识别模型，以获取所述驾驶员状态信息字典，包括：
4.根据权利要求3所述的运矿车驾驶员状态监测方法，其特征在于，所述目标信息包括：人员基本信息，所述结合所述与人对应的工服特征以及目标信息以判断所述图像帧中的人是否为驾驶员，包括：
5.根据权利要求2所述的运矿车驾驶员状态监测方法，其特征在于，所述基于所述驾驶员状态信息字典将包含驾驶员的所述图像帧...
【专利技术属性】
技术研发人员：杜梦文，王朔，张昭智，
申请(专利权)人：上海湃道智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。