一种基于语义网络的施工场景空间冲突检测与预警方法技术

本发明专利技术提供了一种基于语义网络的施工场景空间冲突检测与预警方法，包括：施工场景图像的采集，图像中工程机械、车辆及人员目标的提取，危险源区域的提取，语义推理等步骤。本发明专利技术能够实现施工场景下各施工要素空间区域的动态监测，并对事故险兆做出预警。与现有技术相比，识别对象不局限于事故已发生后的危险元素特征识别；将识别结果与人类自然推理语言相结合，避免传统纯机器视觉检测方法误差大、准确率低的问题。确率低的问题。确率低的问题。

【技术实现步骤摘要】
一种基于语义网络的施工场景空间冲突检测与预警方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于语义网络的施工场景空间冲突检测与预警方法。

技术介绍

[0002]建筑行业由于其自身的危险系数高、环境动态复杂和劳动密集型等特点，使得长久以来人员伤亡事故始终处于高位。为应对人员损伤，各类新的制度规范、防护装备、监控预警系统等安全措施被不断地提出和发展。其中对于监控预紧措施方面，当前主流的研究热点都在于简单的安全目标特征识别上，例如采用基于神经网络算法的图像识别技术对安全装备佩戴情况的检测、对人员危险动作的识别等。然而在工程场所，空间要素也是直接关乎安全状况的一项关键要素，但现有监控预警技术中却对此较少关注。
[0003]空间被认为是施工现场的一项重要资源。在施工要素多样、任务复杂的工地条件下，各方对空间的需求有可能导致相互之间工作空间产生冲突。近年来，有基于视觉检测的空间危险检测手段被研发并应用于施工安全监管中。但是这些方法通常仅针对特定识别任务来进行静态空间的定义，上述静态空间通常是围绕建筑物来构建，故对其他要素缺乏监测。
[0004]海因里希安全法则(Heinrich's Law)将碰撞事故致因分为三组，分别是设备因素、人为因素和环境因素。基于此，针对建筑业施工现场环境的安全预警，应综合考虑施工设备、工人以及环境之间的空间交互关系。这要求对于施工场景空间监管，不仅要能识别人和物体，还要能发现人与物体之间所潜藏的各项风险事件，例如人员未着安全装备活动在无护栏设施的区域。而这类风险事件是属于高层语义信息，仅仅通过深度学习算法是无法直接从图像源中获取。

技术实现思路

[0005]针对现有技术中存在的不足，本专利技术提供了一种基于语义网络的施工场景空间冲突检测与预警方法，在计算机视觉技术框架下融入语义推理，跨越底层图像特征与事件描述高层语义间的“语义鸿沟”，解决复杂动态环境下的施工场所安全预警问题。
[0006]本专利技术通过以下技术手段实现上述技术目的。
[0007]一种基于语义网络的施工场景空间冲突检测与预警方法，包括如下步骤：
[0008]步骤1，采集施工场景图像；
[0009]步骤2，提取图像中的目标，包括危险源主体及其状态、危险源客体及其状态；
[0010]步骤3，提取危险源区域；将危险源主体和危险源客体进行图像空间变换，使原摄像机视角下的图像位置变化到俯视角下的二维平面图中，并将危险源主体和危险源客体以图元化方式展示，之后根据图元信息，提取危险源主体与危险源客体之间的空间位置距离信息；
[0011]步骤4，语义推理；根据事先制定的语义规则，将步骤2和步骤3提取到的信息进行
语义推理，判定识别出险兆信息。
[0012]进一步地，所述危险源主体为工程机械，工程机械的状态分为活动和静止；所述危险源客体为装载车和人员，其中装载车的状态分为活动和静止，人员的状态分为佩戴安全护具和未佩戴安全护具。
[0013]进一步地，步骤3包括：
[0014]步骤3.1，对施工场景图像进行平面变换，将图像平面转换到地面平面，其中图像坐标与地面坐标之间的变换公式为：
[0015][0016][0017]其中u和v为原图像的像素坐标，m为原图像宽度，n为原图像高度，X和Y为变化后的地面坐标，α
r
为1/2相机垂直视场角，α
c
为1/2相机水平视场角，θ0为相机的倾斜角，h为相机距地面高度；
[0018]步骤3.2，将目标转换为图元；首先将步骤3.1变换后的图像进行灰度化处理和二值化处理，之后根据步骤2提取的各目标的外形轮廓绘制图元，并以图元形式替换各目标；其中工程机械以其最小外包圆作为其图元，装载车以其最小外包矩形作为其图元，人员以其最小外包圆的圆心点作为其图元；
[0019]步骤3.3，根据图元信息，提取各目标之间的空间位置距离信息。
[0020]进一步地，所述步骤4采用Protege推理软件实现，其中在推理之前，先对软件进行本体构建和语义规则制定操作。
[0021]进一步地，所述语义规则根据空间冲突规则编写，所述空间冲突规则为：
[0022]对于工程机械：
[0023]以工程机械图元的圆心点作为基点划定各风险区域，其中半径a米范围内的区域划为危险区域，半径a至a+b米的区域划为警示区域，半径a+b至a+b+c米的区域划为戒备区域；
[0024]对于装载车：
[0025]装载车未处于风险区域，则判定为安全；
[0026]静止状态的装载车处于任意风险区域，均判定为安全；
[0027]活动状态的装载车处于戒备区域，且工程机械为活动状态，则判定为戒备；
[0028]活动状态的装载车处于警示区域，且工程机械为活动状态，则判定为警示；
[0029]对于人员：
[0030]人员未佩戴安全护具，则判定为危险；
[0031]佩戴安全护具的人员未处于风险区域，则判定为安全；
[0032]佩戴安全护具的人员处于任意风险区域，且工程机械为静止状态，则判定为安全；
[0033]佩戴安全护具的人员处于戒备区域，且工程机械为活动状态，则判定为戒备；
[0034]佩戴安全护具的人员处于警示区域，且工程机械为活动状态，则判定为警示。
[0035]进一步地，步骤2中利用Yolo X目标检测算法提取图像中的目标。
[0036]进一步地，步骤1中采用Mosiac数据增广手段扩充数据集，并通过匀光处理和去噪处理增强图像质量。
[0037]进一步地，工程机械的状态以及装载车的状态通过视频流中目标帧间差异进行识别判断。
[0038]本专利技术的有益效果为：
[0039](1)本专利技术提供了一种基于语义网络的施工场景空间冲突检测与预警方法，能够实现施工场景下各施工要素空间区域的动态监测，并对事故险兆做出预警。与现有技术相比，识别对象不局限于事故已发生后的危险元素特征识别；将识别结果与人类自然推理语言相结合，避免传统纯机器视觉检测方法误差大、准确率低的问题。
[0040](2)本专利技术中将采集到的图像由摄像机视角下的图像平面转换到俯视角下的二维平面，并以图元方式简化表征各目标，实现对施工现场空间情况的可视化、扁平化监测。
附图说明
[0041]图1为本专利技术基于语义网络的施工场景空间冲突检测与预警方法的流程图；
[0042]图2为本专利技术施工场景图元编码示意图；
[0043]图3为本专利技术施工场景空间冲突语义框架下的知识图谱要素构成示意图；
[0044]图4为本专利技术施工场景空间冲突语义框架下的知识图谱；
[0045]图5为本专利技术中危险源主体周边风险区域范围划定示意图；
[0046]图6a为图像中目标及其状态的识别示例；
[0047]图6b为二维空间关系可视化示例；
[0048]图6c为风险规则库与图像语义一致性映射图示；...

【技术保护点】

【技术特征摘要】
1.一种基于语义网络的施工场景空间冲突检测与预警方法，其特征在于，包括如下步骤：步骤1，采集施工场景图像；步骤2，提取图像中的目标，包括危险源主体及其状态、危险源客体及其状态；步骤3，提取危险源区域；将危险源主体和危险源客体进行图像空间变换，使原摄像机视角下的图像位置变化到俯视角下的二维平面图中，并将危险源主体和危险源客体以图元化方式展示，之后根据图元信息，提取危险源主体与危险源客体之间的空间位置距离信息；步骤4，语义推理；根据事先制定的语义规则，将步骤2和步骤3提取到的信息进行语义推理，判定识别出险兆信息。2.根据权利要求1所述的预警方法，其特征在于：所述危险源主体为工程机械，工程机械的状态分为活动和静止；所述危险源客体为装载车和人员，其中装载车的状态分为活动和静止，人员的状态分为佩戴安全护具和未佩戴安全护具。3.根据权利要求2所述的预警方法，其特征在于，步骤3包括：步骤3.1，对施工场景图像进行平面变换，将图像平面转换到地面平面，其中图像坐标与地面坐标之间的变换公式为：与地面坐标之间的变换公式为：其中u和v为原图像的像素坐标，m为原图像宽度，n为原图像高度，X和Y为变化后的地面坐标，α
r
为1/2相机垂直视场角，α
c
为1/2相机水平视场角，θ0为相机的倾斜角，h为相机距地面高度；步骤3.2，将目标转换为图元；首先将步骤3.1变换后的图像进行灰度化处理和二值化处理，之后根据步骤2提取的各目标的外形轮廓绘制图元，并以图元形式替换各目标；其中工程机械以其最小外包圆作为其图元，装载车以其最小外包矩形作为其图元，人员以其最小外包圆的...

【专利技术属性】
技术研发人员：李文涛，韩豫，刘泽锋，
申请(专利权)人：江苏大学，
类型：发明
国别省市：