基于场景理解的施工现场工人不安全行为识别方法技术

本发明专利技术公开了一种基于场景理解的施工现场工人不安全行为识别方法，包括以下步骤：采集实体的二维彩色图像和三维点云数据；对二维彩色图像进行标注，得到标注文件，其中，标注文件包括训练集、验证集和测试集；将训练集输入Mask R‑CNN中进行训练，获得多个候选实体识别模型，利用验证集比选候选实体识别模型的平均精度均值，得到最优实体识别模型；根据最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标，通过实体间距离计算和方位关系判别实现不安全行为的识别，从而构建基于场景理解的施工现场工人不安全行为识别方法。该方法可以有效识别靠近危险源、PPE使用不当等不安全行为，并为动作识别提供环境信息。

【技术实现步骤摘要】
基于场景理解的施工现场工人不安全行为识别方法
本专利技术涉及建筑施工安全
，特别涉及一种基于场景理解的施工现场工人不安全行为识别方法。
技术介绍
建筑业是推动国民经济发展和社会进度的支柱产业之一，但同时建筑业也是安全事故高发行业，安全问题也日趋严重。自2012年起，建筑业由安全事故引起的人员死亡人数已经超过煤矿行业，建筑业成为所有工业生产领域中最危险的行业。海因里希调查发现，88％的事故是由于人的不安全行为所造成的，工人的不安全行为是导致施工安全事故发生的重要原因。因此，有必要加强对工人不安全行为的管控。而当前基于行为的安全管理主要通过事前安全培训、现场安全巡查、视频监控等方法，干预并约束工人不安全行为的发生。然而，现场安全巡查通常需要安全员长时间对工人作业行为进行观察，费时费力，且观察区域有限，不免出现遗漏的情况。此外，视频监控虽然覆盖区域较大，但也需要对视频进行人工判断，大量视频数据处于未处理状态。换言之，当前基于行为的安全管理措施主要依赖于人工的方式进行，虽然对减少工人不安全行为及相关事故的发生起到了一定程度的作用，但从近些年建筑业的伤亡人数来看，上述措施管控力度有限，也不利于施工现场工人行为数据的整合与后续分析。由于施工现场环境的动态性与复杂性，以及工人作业行为的随机性，传统的不安全行为管控方法与技术难以有效发挥作用，其关键问题是难以有效快速获取现场工人的行为数据。因此，有必要研究工人不安全行为的自动识别方法。近年来，新技术的发展，尤其是可穿戴式技术和计算机视觉技术的发展，使得工人不安全行为的自动识别成为可能。基于可穿戴式技术的识别方法，主要通过在工人身上安装定位标签、加速度计等设备获取工人位置信息或运动信息，从中提取特征后进行分析与训练，实现工人不安全行为的识别。但该类方式需要工人佩戴额外设备，繁琐不便且对工人正常作业存在一定影响，甚至可能引起新的安全隐患。而基于计算机视觉技术的识别方法不存在上述局限性，主要通过采集工人行为图像，从中提取关键特征并进行分析、训练，实现工人不安全行为的识别。此外，目前监控相机较为广泛地被应用于施工现场之中，也为计算机视觉技术的应用提供基础。因此，基于计算机视觉技术的识别方法更适用于实际施工环境，为工人不安全行为的自动识别提供有效支持。然而，施工现场工人的不安全行为十分复杂，不安全行为被认为是人和环境的不合理交互过程，其发生依赖于特定工作环境。因此，工人与工作环境中动态实体之间的关系识别问题是施工现场工人不安全行为识别的核心，其在安全维度下通常表现为碰撞检测问题，即分别对工人与其他动态实体进行检测、识别、定位的基础上，判别其空间方位关系，以及距离是否临近等。工人PPE(personalprotectiveequipment，个人防护用品)使用情况识别是典型的工人与动态实体之间的关系识别，现有装置主要存在以下局限：1)主要集中在安全帽，安全带等特定PPE的识别，较少考虑其他实体(如梯子)的识别和影响；2)侧重于二维图像识别结果，忽略实体的空间位置关系，因此无法确定PPE的使用状态，即仅能识别是否穿戴PPE，不能明确其是否被(正确)使用(如安全带钩子是否被置于合适位置)。因此，亟待一种针对施工现场动态实体间关系识别，以计算机视觉技术和深度学习算法为基础，结合施工现场工人不安全行为特点，设计能够准确识别施工现场工人不安全行为的装置。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于场景理解的施工现场工人不安全行为识别方法，该方法可以有效识别靠近危险源、PPE使用不当等不安全行为，并为动作识别提供环境信息。为达到上述目的，本专利技术实施例提出了基于场景理解的施工现场工人不安全行为识别方法，包括以下步骤：步骤S1，采集实体的二维彩色图像和三维点云数据；步骤S2，对所述二维彩色图像进行标注，得到标注文件，其中，所述标注文件包括训练集、验证集和测试集；步骤S3，将所述训练集输入MaskR-CNN中进行训练，获得多个候选实体识别模型，利用所述验证集对所述候选实体识别模型进行评估，获得最优实体识别模型；步骤S4，根据所述最优实体识别模型获取获取工人关节点和实体关键点的二维像素坐标，进而映射得到其对应的三维空间坐标，通过实体间距离计算和方位关系判别工人的不安全行为，构建基于场景理解的施工现场工人不安全行为识别方法。本专利技术实施例的基于场景理解的施工现场工人不安全行为识别方法，以计算机视觉技术和Mask-RCNN深度学习算法为基础，结合施工现场工人不安全行为特点，设计能够准确且自动识别施工现场工人不安全行为方法，该方法可以有效识别靠近危险源、PPE使用不当等不安全行为，并为动作识别提供环境信息。另外，根据本专利技术上述实施例的基于场景理解的施工现场工人不安全行为识别方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S1包括：获取施工现场的动态实体分类清单，根据所述动态实体分类清单构建数据采集原则；根据所述数据采集原则对采集设备进行布置；利用所述采集设备采集所述动态实体分类清单中每个实体的二维彩色图像和三维点云数据。进一步地，在本专利技术的一个实施例中，所述动态实体分类清单包括工人、自身具备移动能力的实体和可作为移动对象的实体。可选地，在本专利技术的一个实施例中，标注所述二维彩色图像前，先确定目标实体的类别，再确定各类别实体的图像特征，且每个图像特征之间界定清晰。进一步地，在本专利技术的一个实施例中，标注所述二维彩色图像时，沿实体的轮廓进行标注，并使不同类别实体的标注最大程度分离，当实体被遮挡时，将当前遮挡程度与预设遮挡程度进行比较，若大于则不标注。进一步地，在本专利技术的一个实施例中，所述步骤S3还包括：利用所述测试集对所述最优实体识别模型的选取精确率和召回率进行评估，以保证所述最优实体识别模型的质量。进一步地，在本专利技术的一个实施例中，所述选取精确率为最优实体识别模型型输出的某对象结果中识别正确的比例，计算公式为：其中，Precision表示选取精确率，TP表示模型输出的某对象的识别结果中识别正确的数量，FP表示模型输出的某对象的识别结果中识别错误的数量。进一步地，在本专利技术的一个实施例中，所述召回率为某对象客观存在的数量中被识别出并且识别正确的比例，计算公式为：其中，Recall表示召回率，TP表示模型输出的某对象的识别结果中识别正确的数量，FN表示模型认为图像中无某对象但实际上存在某对象的情况对应的数量。进一步地，在本专利技术的一个实施例中，所述人体关节点识别方法包括：利用OpenPose算法在所述二维图像中识别的人体骨骼关节点，得到所述人体骨骼关节点对应的二维像素点；将所述二维像素点与所述三维点云数据相结合，得到二维像素坐标至三维空间坐标的映射。进一步地，在本专利技术的一个实施例中，所述实体间关系识别方法可以包括：利用所述最优实体识别模型对目标实体进行识别，判断工人与动态危险原是否共存；若共存本文档来自技高网...

【技术保护点】
1.一种基于场景理解的施工现场工人不安全行为识别方法，其特征在于，包括以下步骤：/n步骤S1，采集实体的二维彩色图像和三维点云数据；/n步骤S2，对所述二维彩色图像进行标注，得到标注文件，其中，所述标注文件包括训练集、验证集和测试集；/n步骤S3，将所述训练集输入Mask R-CNN中进行训练，获得多个候选实体识别模型，利用所述验证集比选每个候选实体识别模型的平均精度均值，得到最优实体识别模型；/n步骤S4，根据所述最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标，以构建人体关节点识别方法和实体间关系识别方法。/n

【技术特征摘要】
1.一种基于场景理解的施工现场工人不安全行为识别方法，其特征在于，包括以下步骤：
步骤S1，采集实体的二维彩色图像和三维点云数据；
步骤S2，对所述二维彩色图像进行标注，得到标注文件，其中，所述标注文件包括训练集、验证集和测试集；
步骤S3，将所述训练集输入MaskR-CNN中进行训练，获得多个候选实体识别模型，利用所述验证集比选每个候选实体识别模型的平均精度均值，得到最优实体识别模型；
步骤S4，根据所述最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标，以构建人体关节点识别方法和实体间关系识别方法。


2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：
获取施工现场的动态实体分类清单，根据所述动态实体分类清单构建数据采集原则；
根据所述数据采集原则对采集设备进行布置；
利用所述采集设备采集所述动态实体分类清单中每个实体的二维彩色图像和三维点云数据。


3.根据权利要求1所述的方法，其特征在于，所述动态实体分类清单包括工人、自身具备移动能力的实体和可作为移动对象的实体。


4.根据权利要求1所述的方法，其特征在于，标注所述二维彩色图像前，先确定目标实体的类别，再确定各类别实体的图像特征，且每个图像特征之间界定清晰。


5.根据权利要求1所述的方法，其特征在于，标注所述二维彩色图像时，沿实体的轮廓进行标注，并使不同类别实体的标注最大程度分离，当实体被遮挡时，将当前遮挡程度与预设遮挡程度进行比较，若大于则不标注。


6.根据权利要求1所述的方法，其特征在于，所述步骤S3还包括：

【专利技术属性】
技术研发人员：方东平，郭红领，周颖，郁润，罗柱邦，张知田，马羚，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11