一种基于关键骨骼点的煤矿不安全行为识别预警系统技术方案

一种基于关键骨骼点的煤矿不安全行为识别预警系统，属于煤矿安全领域。系统主要由工业摄像头、分布式硬件资源、分布式软件资源、模型训练平台和应用服务平台构成。分布式硬件提供运算资源，分布式软件完成数据的接入、存储和转发，模型训练平台包含底层深度学习框架、深度学习算法和可视化配置工具，应用服务平台包含模型仓库、不安全行为专家库、生产系统实时监测系统、不安全行为推理识别引擎和不安全行为预警系统，推理引擎以专家库规则为准则，综合实时监测系统和模型实时分析结果进行推理分析。本发明专利技术基于人体骨骼点构建了煤矿重点岗位不安全行为识别预警系统，可显著减少人的不安全行为引发的事故，提高煤矿安全生产的水平。平。平。

【技术实现步骤摘要】
一种基于关键骨骼点的煤矿不安全行为识别预警系统


[0001]本专利技术属于煤矿安全领域。特别是涉及一种基于关键骨骼点的煤矿不安全行为识别预警系统。

技术介绍

[0002]煤炭在我国能源结构占有非常重要的位置，近些年，虽然新能源获得快速发展，但总量较低，煤炭依然是我国的主体能源。煤炭生产最大的问题永远是安全问题，近些年，我国煤矿安全的整体形式有所好转，事故发生的总数和伤亡人数都在降低，但我国生产矿井较多，煤矿伤亡事故依旧给社会和家庭带来很大的压力和痛苦。从大量的煤矿事故中可以发现，大部分事故是由工人的不安全行为引起的，由于煤矿作业环境复杂恶劣，工人整体受教育程度较低，工作随意，不按规章和流程操作的事儿时有发生，容易引发安全事故。能够及时发现人的不安全行为，及时发出警示信息，事后对员工加强安全培训，对减少煤矿事故有非常重要的作用。
[0003]目前，煤矿采用的主要方式：1、在一些重要的作业空间和重大设备操作区域安装工业摄像头，安排调度值班人员实时查看视频画面中的不安全行为；2、部分煤矿将图像识别技术应用在视频分析中，在危险区域设置电子围栏，当检测到人员进入电子围栏时，触发报警。一定程度上，提高煤矿安全管理水平，但存在如下不足：随着摄像头数量的增多，依靠员工盯着视频画面发现安全问题造成很大的人员浪费；无法保证员工每时每刻都专注监控，无法保证及时发现问题；对安全隐患的判断存在主观性，无法统一管理；电子围栏识别的不安全行为有限。
[0004]为了减少煤矿生产事故，特别是人的不安全行为引发的问题，专利技术一种基于关键骨骼点的煤矿不安全行为识别预警系统就特别重要了。系统将图像识别、机器视觉、深度学习等人工智能技术应用在不安全行为识别中，及时发现不安全因素，发出报警，对提高煤矿安全管理具有积极的作用。

技术实现思路

[0005]为了解决上述问题，本专利技术提供了一种基于关键骨骼点的煤矿不安全行为识别预警系统，直接利用煤矿安装的工业视频摄像头传回的视频流数据，实施简单、成本低，基于人体关键骨骼点识别可以清晰地捕捉人体各部位地空间位置信息，与人体活体检测框相比，可以识别更多种类的不安全行为且精度更高，应用本专利技术技术，可以减少人力资源浪费，及时发现问题，提高煤矿安全管理水平，减少事故发生。
[0006]为实现上述目的，本专利技术通过以下技术方案：
[0007]一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的系统主要包括工业摄像头、分布式硬件资源、分布式软件资源、模型训练平台和应用服务平台。
[0008]工业摄像头包括普通高清摄像头和矿用本安摄像头。
[0009]分布式硬件资源包括CPU、GPU算力资源。
[0010]分布式软件资源主要包括物联网数据采集平台和分布式数据库；物联网数据采集平台基于Node Red开源平台二次开发开发完成，采集OPC UA、FTP文件、数据库、Web接口、流媒体等多源异构数据；分布式数据库包括MySQL、MongoDB、PostgreSQL、Redis和流媒体数据库。
[0011]模型训练平台包括底层深度学习框架、深度学习算法和可视化配置工具，具有数据标记、模型配置、模型训练、模型验证、模型迭代和迁移学习功能；深度学习框架为常用开源框架Tensorflow、PyTorch、Paddlepaddle中的一种或者几种；深度学习算法提供常用卷积神经网络、循环神经网络、对抗神经网络等算法包。
[0012]所述的深度学习算法，算法模型包括人体位置识别模型、人体骨骼关键点识别模型、手部关键点识别模型和设备操作部件状态识别模型。
[0013]所述的可视化配置工具，具有在视频画面中绘制特定设备的操作区域的功能；所述的设备操作区域为多边形，各条边均为直线，不包含曲线；多边形区域包含区域编号、所述设备和多边形拐点坐标等属性信息。
[0014]进一步，所述的可视化配置工具，可以对视频帧数据进行关键点标注，添加属性信息。
[0015]进一步，所述的可视化配置工具，可以标记重点设备开关、旋钮等操作部件区域，添加部件状态和属性信息；绘制的设备操作部件区域为矩形；矩形区域包含拐点坐标信息。
[0016]应用服务平台包括应用服务平台包含模型仓库、不安全行为专家库、生产系统实时监测系统、不安全行为推理识别引擎和不安全行为预警系统；所述的推理引擎以不安全行为专家库中的规则为判断依据，结合深度学习业务实时分析结果和煤矿生产系统运行状态，计算当前操作的安全等级，将结果推送给预警系统做出警示提醒。
[0017]所述的模型仓库存放模型训练平台训练、验证的模型。
[0018]所述的不安全行为专家库，分为两个类型的规则库，其中一个输入是设备所有可操作部件的状态，输出为基于目前状态不可操作的部件，即是基于目前操作部件状态的不安全行为；另一个输入是设备工况运行状态和关联设备工况运行状态，输出为基于目前工控遥测实时监控数据不可操作的部件,即是基于目前设备及关联设备运行状态的不安全行为。
[0019]所述的生产系统实时监测系统，功能是从软件层物联网数据采集平台实时同步设备及关联设备的遥测和遥控数据，是推理引擎分析的数据基础。
[0020]所述的不安全行为推理识别引擎，功能是根据设备操作部件的实时状态和生产系统实时监测系统数据，结合不安全行为专家库中的不安全行为规则实时计算当前的不安全行为，所述的不安全行为是当前状态下设备不可操作的部件，当监测到手指移动到不可操作部件的操作区域时，触发报警，将不安全行为信息发送给预警系统。
[0021]所述的不安全行为预警系统，主要功能时接受不安全行为推理识别引擎推送的不安全行为信息，并根据不安全行为进行预警提醒，调度室会收到相关报警信息，现场会通过音箱播报警示信息。
[0022]所述的人体位置识别模型，功能是判断矿工现在操作的设备区域，输入为人体骨骼关键点中两个脚踝的坐标，输出为操作的设备区域编号；具体判断方法结合绘制特定设备多边形操作区域的拐点信息，通过人体位置识别模型确定矿工正在操作的设备。
[0023]人体骨骼关键点识别模型，采用openpose人体关键骨骼点识别开源模型，通过迁移学习，二次改进参数，验证其在煤矿生产环境的泛化能力，openpose识别人体骨骼包含27个关键点信息，本专利技术选择脚踝2个骨骼点、手腕2个骨骼点，共计4个人体关键骨骼点坐标信息。
[0024]手部关键点识别模型，采用openpose手部骨骼点识别开源模型，通过迁移学习，二次改进参数，验证其在煤矿生产环境的准确率，openpose识别手部骨骼包含21个关键点信息，本专利技术选择5个手指的指尖骨骼点，共计10个手部关键骨骼点坐标信息。
[0025]设备操作部件状态识别模型，功能包含识别设备各操作部件和操作部件的状态信息。
[0026]一种将设备状态向量化表示的方法，具体步骤如下：
[0027]S1、分类统计设备操作部件种类，如：微动开关、船型开关、钮子开关、拨动开关、按钮开关、按键开关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的系统主要包括工业摄像头、分布式硬件资源、分布式软件资源、模型训练平台和应用服务平台。2.根据权利要求1所述的一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的工业摄像头包括普通高清摄像头和矿用本安摄像头。3.根据权利要求1所述的一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的分布式硬件资源包括CPU、GPU算力资源。4.根据权利要求1所述的一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的分布式软件资源主要包括物联网数据采集平台和分布式数据库；物联网数据采集平台基于Node Red开源平台二次开发开发完成，采集OPC UA、FTP文件、数据库、Web接口、流媒体等多源异构数据；分布式数据库包括MySQL、MongoDB、PostgreSQL、Redis和流媒体数据库。5.根据权利要求1所述的一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的模型训练平台包括底层深度学习框架、深度学习算法和可视化配置工具，具有数据标记、模型配置、模型训练、模型验证、模型迭代和迁移学习功能；深度学习框架为常用开源框架Tensorflow、PyTorch、Paddlepaddle中的一种或者几种；深度学习算法提供常用卷积神经网络、循环神经网络、对抗神经网络等算法包。6.根据权利要求1所述的一种基于关键骨骼点的煤矿不安全行为识别预警系统，其特征在于，所述的应用服务平台包括应用服务平台包含模型仓库、不安全行为专家库、生产系统实时监测系统、不安全行为推理识别引擎和不安全行为预警系统；所述的推理引擎以不安全行为专家库中的规则为判断依据，结合深度学习业务实时分析结果和煤矿生产系统运行状态，计算当前操作的安全等级，将结果推送给预警系统做出警示提醒。7.根据权利要求5所述的模型训练平台，其特征在于，所述的深度学习算法，算法模型包括人体位置识别模型、人体骨骼关键点识别模型、手部关键点识别模型和设备操作部件状态识别模型。8.根据权利要求5所述的模型训练平台，其特征在于，所述的可视化配置工具，具有在视频画面中绘制特定设备的操作区域的功能；所述的设备操作区域为多边形，各条边均为直线，不包含曲线；多边形区域包含区域编号、所述设备和多边形拐点坐标等属性信息。9.根据权利要求5所述的模型训练平台，其特征在于，所述的可视化配置工具，可以对视频帧数据进行关键点标注，添加属性信息。10.根据权利要求5所述的模型训练平台，其特征在于，所述的可视化配置工具，可以标记重点设备开关、旋钮等操作部件区域，添加部件状态和属性信息；绘制的设备操作部件区域为矩形；矩形区域包含拐点坐标信息。11.根据权利要求6所述的应用服务平台，其特征在于，所述的模型仓库存放模型训练平台训练、验证的模型。12.根据权利要求6所述的应用服务平台，其特征在于，所述的不安全行为专家库，分...

【专利技术属性】
技术研发人员：李俊杰，冯细明，智宝岩，王喜升，黄韶杰，曹彦东，白雁斌，刘贇，
申请(专利权)人：中煤陕西榆林能源化工有限公司中煤信息技术北京有限公司，
类型：发明
国别省市：