煤矿员工违规统计系统、方法、装置以及存储介质制造方法及图纸

本申请公开了一种煤矿员工违规统计系统、方法、装置以及存储介质。其中，系统包括：图像采集设备，图像采集设备设置于煤矿生产设备的现场；以及计算设备，计算设备与图像采集设备通信连接。并且计算设备配置用于执行以下操作：获取图像采集设备所采集的相应煤矿生产设备的现场的图像序列；在图像序列中检测包含对相应煤矿生产设备进行操作的工作人员的目标图像帧；根据目标图像帧判定工作人员是否对煤矿生产设备进行违规操作；以及根据判定结果对工作人员的违规操作进行统计。从而解决了现有技术中存在的现有的监控技术无法对生产设备的违规操作的情况进行有效统计，从而无法对煤矿生产中的违规操作员工进行有效监控的技术问题。问题。问题。

【技术实现步骤摘要】
煤矿员工违规统计系统、方法、装置以及存储介质


[0001]本申请涉及煤矿安全
，特别是涉及一种煤矿员工违规统计系统、方法、装置以及存储介质。

技术介绍

[0002]近些年来，煤矿生产安全受到了越来越多的关注。越来越多的监控技术被应用于煤矿生产中以便对煤矿工作人员的安全生产情况进行监控。
[0003]其中，已经公开的专利技术专利（公开号CN114123832A）公开了一种井下行人越界风险检测方法、装置、电子设备及存储介质，方法包括：实时获取井下行人监控视频图像；对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。通过本专利技术，可以有效地进行井下行人越界检测，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地确保煤矿工人的工作安全。
[0004]此外，已经公开的专利技术专利（公开号CN105956549A）公开了一种工人作业前安全装备及行为能力自动检查系统，包括依次连接的图像采集模块、图像预处理模块、数据库模块、处理模块、信息输出模块、显示器和音响；图像采集模块用于采集待检查工人身体的彩色图像信息和骨骼节点信息，将信息传递至图像预处理模块；图像预处理模块依据接收信息建立人体三维模型和人体骨骼节点模型，并将人体三维模型分割；数据库模块包括工人信息库、工作任务库和安全装备模型库；处理模块用于将接收到的图像预处理模块分割后信息与数据库模块中数据对比处理，通过信息传输模块将处理结果输送至显示器和音响。本专利技术可实现简单、有效、快速的工人作业前自动安全检查系统，应用于建筑施工安全、煤矿生产等多领域。
[0005]近些年来，随着采煤机、放煤机以及液压支架等煤矿生产设备被应用于煤矿生产，煤矿生产的安全性不断得到保障。在这种情况下，煤矿生产过程中的风险隐患很大程度上来源于煤矿工作人员对煤矿生产设备的违规操作。其中违规操作的行为包括：没有操作权限的工作人员违规操作生产设备，例如没有操作权限的工作人员擅自违规操作采煤机，造成生产风险；以及有操作权限的工作人员未按照规定的流程操作生产设备，例如采煤机操作人员未按照安全生产规程的要求操作采煤机，造成生产风险。
[0006]但是，现有的监控技术主要通过确定工作人员在生产现场的轨迹、姿态或者是位置来监控煤矿生产的安全情况，因此缺乏对生产设备的违规操作的监控。从而，现有的监控技术无法对生产设备的违规操作的情况进行有效统计，从而无法对煤矿生产中的违规操作员工进行有效监控。
[0007]针对上述的现有技术中存在的现有的监控技术无法对生产设备的违规操作的情
况进行有效统计，从而无法对煤矿生产中的违规操作员工进行有效监控的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0008]本公开的实施例提供了一种煤矿员工违规统计系统、方法、装置以及存储介质，以至少解决现有技术中存在的现有的监控技术无法对生产设备的违规操作的情况进行有效统计，从而无法对煤矿生产中的违规操作员工进行有效监控的技术问题。
[0009]根据本公开实施例的一个方面，提供了一种煤矿员工违规统计系统，包括：图像采集设备，图像采集设备设置于煤矿生产设备的现场；以及计算设备，计算设备与图像采集设备通信连接。并且计算设备配置用于执行以下操作：获取图像采集设备所采集的相应煤矿生产设备的现场的图像序列；在图像序列中检测包含对相应煤矿生产设备进行操作的工作人员的目标图像帧；根据目标图像帧判定工作人员是否对煤矿生产设备进行违规操作；以及根据判定结果对工作人员的违规操作进行统计。
[0010]根据本公开实施例的另一方面，还提供了一种煤矿员工违规统计方法，包括：获取煤矿生产设备的现场的图像序列；在图像序列中检测包含对煤矿生产设备进行操作的工作人员的目标图像帧；根据目标图像帧判定工作人员是否对煤矿生产设备进行违规操作；以及根据判定结果对工作人员的违规操作进行统计。
[0011]根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上所述的方法。
[0012]根据本公开实施例的另一个方面，还提供了一种煤矿员工违规统计装置，包括：图像序列获取模块，用于获取煤矿生产设备的现场的图像序列；目标帧检测模块，用于在图像序列中检测包含对煤矿生产设备进行操作的工作人员的目标图像帧；违规操作判定模块，用于根据目标图像帧判定工作人员是否对煤矿生产设备进行违规操作；以及违规操作统计模块，用于根据判定结果对工作人员的违规操作进行统计。
[0013]根据本公开实施例的另一个方面，还提供了一种煤矿员工违规统计装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取煤矿生产设备的现场的图像序列；在图像序列中检测包含对煤矿生产设备进行操作的工作人员的目标图像帧；根据目标图像帧判定工作人员是否对煤矿生产设备进行违规操作；以及根据判定结果对工作人员的违规操作进行统计。
[0014]从而，本申请的技术方案利用图像采集设备采集各个煤矿生产设备现场的图像序列。并且从图像序列中检测包含对煤矿生产设备进行操作的工作人员的目标图像帧。然后根据目标图像帧判定工作人员是否对煤矿生产设备进行违规操作，并根据判定结果对工作人员的违规操作进行统计。从而根据本申请的技术方案能够有效地统计工作人员对煤矿生产设备的操作情况，从而能够对煤矿生产中工作人员的违规操作进行有效监控。并且进一步有效地评估煤矿工作人员的安全生产情况。从而解决了现有技术中存在的现有的监控技术无法对生产设备的违规操作的情况进行有效统计，从而无法对煤矿生产中的违规操作员工进行有效监控的技术问题。
附图说明
[0015]此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：图1是用于实现根据本公开实施例1所述的煤矿员工违规统计系统的示意图；图2是根据本公开实施例1所述的煤矿员工违规统计系统的模块架构示意图；图3是根据本公开实施例1的煤矿员工违规统计系统的计算设备的操作流程示意图；图4是根据本公开实施例1的计算设备中的第一行为识别模块的示意图；图5示例性的示出了第一行为识别模块中的员工行为识别模型的输入信息与输出信息的示意图；图6A~图6I示例性的示出了采煤机现场的图像序列中的不同类别的图像帧的示意图；图7A示出了重排序模块对目标图像帧的行为类别对应的语义向量以及各个设备状态信息对应的语义向量进行重新排序的示意图；图7B示出了重排序模块对目标图像帧的行为类别对应的语义向量以及各个设备状态信息对应的语义向量进行重新排序的另一个示例的示意图；图8A示出了利用序列处理模型根据第一编码序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤矿员工违规统计系统，其特征在于，包括：图像采集设备（111~113），所述图像采集设备（111~113）设置于煤矿生产设备（121~123）的现场；以及计算设备（200），所述计算设备（200）与所述图像采集设备（111~113）通信连接，并且配置用于执行以下操作：获取所述图像采集设备（111~113）所采集的相应煤矿生产设备的现场的图像序列；在所述图像序列中检测包含对相应煤矿生产设备（111~113）进行操作的工作人员的目标图像帧；根据所述目标图像帧判定所述工作人员是否对所述煤矿生产设备（111~113）进行违规操作；以及根据判定结果对所述工作人员的违规操作进行统计。2.根据权利要求1所述的系统，其特征在于，在所述图像序列中检测包含对相应煤矿生产设备（111~113）进行操作的工作人员的目标图像帧的操作，包括：将所述图像序列输入至员工行为识别模型，其中所述员工行为识别模型为基于神经网络的图像分类模型，所述图像分类模型的类别对应于与相应的煤矿生产设备相关的不同行为类别；通过所述员工行为识别模型确定与图像序列中的各个图像帧对应的员工行为类别；以及根据所述员工行为类别，从所述图像序列中检测所述目标图像帧。3.根据权利要求2所述的系统，其特征在于，根据所述目标图像帧判定所述工作人员是否对所述煤矿生产设备（111~113）进行违规操作，包括：根据所述目标图像帧，确定所述工作人员的身份信息；以及根据所述工作人员的身份信息判定所述工作人员是否对所述煤矿生产设备（111~113）进行违规操作。4.根据权利要求3所述的系统，其特征在于，在根据所述工作人员的身份信息判定所述工作人员并未对所述煤矿生产设备进行违规操作，并且所述目标图像帧对应的员工行为类别为操控所述煤矿生产设备的控制面板的情况下，根据所述目标图像帧判定所述工作人员是否对所述煤矿生产设备（111~113）进行违规操作，还包括：根据所述目标图像帧的时间戳，获取与所述目标图像帧关联的多个设备状态信息；根据所述员工行为类别以及所述设备状态信息，确定与所述目标图像帧中的工作人员在所述控制面板的控制操作，其中所述设备状态信息指示所述目标图像帧对应的煤矿生产设备的设备状态；以及根据所确定的控制操作，确定所述工作人员操控所述煤矿生产设备的控制面板的操作是否为违规操作。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：赵峰，董云龙，
申请(专利权)人：北京万理软件开发有限公司，
类型：发明
国别省市：