一种面向险兆推理的工人临边坠落智能识别系统及方法技术方案

本发明专利技术公布了一种面向险兆推理的工人临边坠落智能识别系统及方法，通过提取临边坠落场景关键对象的特征，明确各临边危险场景的空间范围；按照主体类、属性类、客体类、位置类、行为状态类进行知识结构化组合并且通过图数据库构建临边区域险兆知识图谱；对临边坠落危险区域以及工人的行为状态的特征进行视觉识别；根据视觉识别结果利用图数据库推理对工人临边作业的安全状态给予评价。本发明专利技术结合工人的行为状态，利用构建好的临边区域险兆知识规则，在智能视觉检测的基础上对临边险兆事件进行识别。发明专利技术智能化水平高，具备高度的拓展性和实用价值。和实用价值。和实用价值。

【技术实现步骤摘要】
一种面向险兆推理的工人临边坠落智能识别系统及方法


[0001]本专利技术涉及计算机视觉语义理解
，包含了深度学习技术、语义推理技术，尤其是涉及一种面向险兆推理的工人临边坠落智能识别系统及方法。

技术介绍

[0002]建筑业是支撑社会经济发展的重要产业，也是典型的高危行业。在众多安全事故类型中，高处坠落是最主要的事故类型，占据事故起数半数以上。在各种高处作业场景中，攀登、悬空、平台、交叉作业难度大，通常会选择经验丰富的工人且配备可靠的安全装备，发生高处坠落事故的概率微乎其微。然而，难度系数并不高的临边作业坠落却成为所有高处作业中最常见的事故。临边作业中建筑工人一般不会佩戴安全带，而主要依靠建筑工人的主动意识去控制坠落危险，正是由于过度依赖建筑工人的主动意识而让其在临边环境下的不安全行为成为安全事故的推动因素。
[0003]事故的发生都是有征兆的。海因里希的安全金字塔法则表明，在发生一起重伤或死亡事故之前可能已经发生了29起轻伤事故和300起险兆事件，这300起险兆事件并不是代表处于安全状态，而是在一定概率上侥幸脱险。该理论充分展现了险兆事件和事故之间存在密不可分的关系。因此，亟需从险兆事件层面进行识别管控，对大量险兆事件进行预警，避免险兆事件向安全事故演化。
[0004]近年来，计算机视觉开始应用于施工安全管理，其可自动提取图像中各类目标信息，并根据时序关系和目标语义信息，实现行为动作的识别与预测。然而，如果仅仅依靠计算机视觉在图像感知领域的超强能力而忽略感知对象之间的语义关系，则会在底层特征于高层语义之间出现“语义鸿沟”，即感知结果出现高误报率现象。如何在视觉感知的前提下融入语义信息，才能使机器有规则的去认知世界。将计算机视觉技术融合语义推理用于施工安全行为感知，面向多语义之间的潜在关联进行建模，将为施工安全智能管理提供新的手段和视野。
[0005]综上，基于上述问题，亟需设计一种智能化的临边坠落险兆推理方法，为施工现场的安全管理和绩效考核提高可视化依据。

技术实现思路

[0006]针对施工临边坠落事故频发，本专利技术的目的在于提供一种面向险兆推理的工人临边坠落智能识别系统及方法，用于预防险兆向事故的演化。
[0007]一种面向险兆推理的工人临边坠落智能识别系统，包括施工临边作业图像采集单元、语义数据库模型、临边危险区域提取模型、工人行为状态提取模型和语义推理模型级联而成；
[0008]所述施工临边作业图像采集单元用于采集施工临边作业图像；并分别输入临边危险区域提取模型、工人行为状态提取模型；
[0009]所述临边危险区域提取模型包括临边区域空间范围划分模块和临边危险区域特
征提取模块，其中，利用临边区域空间范围划分模块对输入的施工临边作业图像进行临边区域空间范围划分，利用临边危险区域特征提取模块提取危险区域及危险区域内的客体；
[0010]所述工人行为状态提取模型包括建筑工人属性提取模块和工人行为特征提取模块；其中，建筑工人属性提取模块对输入的施工临边作业图像中工人的属性进行提取；工人行为特征提取模块对输入的施工临边作业图像进行特征提取，特征即工人行为状态；
[0011]所述语义推理模型包括视觉坐标关系挖掘模块、视觉识别结果语义化模块和数据库语义推理模块；视觉坐标关系挖掘模块接收工人行为状态提取模型和临边危险区域提取模型输出的结果，并分别输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标。计算视觉边框坐标之间的交并比，基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系；所述视觉识别结果语义化模块根据交并比转换为语义表达；并将语义表达输入数据库语义推理模块；数据库语义推理模块根据语义数据库模型内的临边坠落险兆知识规则，对视觉识别结果语义化模块输出的语义表达进行险兆推理，进而判断施工临边作业图像中是否出现险兆事件；
[0012]所述语义数据库模型是由临边坠落险兆知识规则元素构成的知识图谱，临边坠落险兆知识规则以临边事故致因理论和险兆理论为基础，知识图谱将作为险兆事件的判别依据。
[0013]进一步，所述知识图谱是由主体类、属性类、客体类、位置类和行为状态类构成，并由主体类、属性类、客体类、位置类和行为状态类排列组合获得语义信息元素。
[0014]进一步，临边危险区域特征提取模块提取出的客体为防护措施。
[0015]进一步，建筑工人属性提取模块提取出的工人属性包括无安全帽无安全带、无安全帽有安全带、有安全帽无安全带、有安全帽有安全带；
[0016]进一步，所述险兆事件包括如下三大类：
[0017]第一大类：“无安全帽无安全带/无安全帽有安全带/有安全帽有安全带/有安全帽无安全带”的“工人”在“无防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；
[0018]第二大类：“无安全帽无安全带/无安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；
[0019]第三大类：“有安全帽无安全带/有安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“攀爬”；
[0020]将上述三大类均设置为临边坠落险兆知识规则中的险兆事件。
[0021]一种面向险兆推理的工人临边坠落智能识别方法，包括如下步骤：
[0022]步骤1，采集施工临边作业图；
[0023]步骤2，搭建临边危险区域提取模型，利用所搭建的临边危险区域提取模型实现对施工临边作业图像进行临边危险区域及危险区域内的客体提取；
[0024]步骤3，搭建工人行为状态提取模型，利用所搭建的工人行为状态提取模型实现对施工临边作业图进行工人属性、行为状态提取；
[0025]步骤4，基于工人行为状态提取模型和临边危险区域提取模型输出的结果，输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标，计算视觉边框坐标之间的交并比；基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系，实现
视觉坐标关系挖掘，并将视觉识别结果语义化；数据库语义推理对语义化的识别结果使用Cypher语言进行推理，以临边险兆事件知识图谱为标准，查询结果中是否出现临边险兆事件。
[0026]进一步，步骤2的过程如下：
[0027]S1：将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行临边危险区域以及防护措施标注，生成json文件以完成临边危险区域标注数据集的构建。将临边作业原图像数据集和临边危险区域标注数据集统称为临边危险区域图像数据集；
[0028]S2：使用Mask
‑
RCNN载入构建好的临边危险区域图像数据集对网络模型进行训练，完成临边危险区域提取模型的搭建；
[0029]S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取临边危险区域；
...

【技术保护点】

【技术特征摘要】
1.一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，包括施工临边作业图像采集单元、语义数据库模型、临边危险区域提取模型、工人行为状态提取模型和语义推理模型级联而成；所述施工临边作业图像采集单元用于采集施工临边作业图像；并分别输入临边危险区域提取模型、工人行为状态提取模型；所述临边危险区域提取模型包括临边区域空间范围划分模块和临边危险区域特征提取模块，其中，利用临边区域空间范围划分模块对输入的施工临边作业图像进行临边区域空间范围划分，利用临边危险区域特征提取模块提取危险区域及危险区域内的客体；所述工人行为状态提取模型包括建筑工人属性提取模块和工人行为特征提取模块；其中，建筑工人属性提取模块对输入的施工临边作业图像中工人的属性进行提取；工人行为特征提取模块对输入的施工临边作业图像进行特征提取，特征即工人行为状态；所述语义推理模型包括视觉坐标关系挖掘模块、视觉识别结果语义化模块和数据库语义推理模块；视觉坐标关系挖掘模块接收工人行为状态提取模型和临边危险区域提取模型输出的结果，并分别输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标；计算视觉边框坐标之间的交并比，基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系；所述视觉识别结果语义化模块根据交并比转换为语义表达；并将语义表达输入数据库语义推理模块；数据库语义推理模块根据语义数据库模型内的临边坠落险兆知识规则，对视觉识别结果语义化模块输出的语义表达进行险兆推理，进而判断施工临边作业图像中是否出现险兆事件；所述语义数据库模型是由临边坠落险兆知识规则元素构成的知识图谱，临边坠落险兆知识规则以临边事故致因理论和险兆理论为基础，知识图谱将作为险兆事件的判别依据。2.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，所述知识图谱是由主体类、属性类、客体类、位置类和行为状态类构成，并由主体类、属性类、客体类、位置类和行为状态类排列组合获得语义信息元素。3.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，临边危险区域特征提取模块提取出的客体为防护措施。4.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，建筑工人属性提取模块提取出的工人属性包括无安全帽无安全带、无安全帽有安全带、有安全帽无安全带、有安全帽有安全带。5.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，所述险兆事件包括如下三大类：第一大类：“无安全帽无安全带/无安全帽有安全带/有安全帽有安全带/有安全帽无安全带”的“工人”在“无防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；第二大类：“无安全帽无安全带/无安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；第三大类：“有安全帽无安全带/有安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“攀爬”；将上述三大类均设置为临边坠落险兆知识规则中的险兆事件。
6.一种面向险兆推理的工人临边坠落智能识别方法，其特征...

【专利技术属性】
技术研发人员：刘泽锋，韩豫，吴晗，
申请(专利权)人：江苏大学，
类型：发明
国别省市：