一种基于机器视觉的高空作业人员行为态势识别方法技术

本发明专利技术公开了一种基于机器视觉的高空作业人员行为态势识别方法，其包括以下步骤：S1、识别出实时画面中作业人员、安全帽、安全带和安全带挂钩；S2、判断安全帽和安全带是否均佩戴正确，若是则进入步骤S3；否则进行预警输出；S3、判断安全带的挂接方式是否正确，若是进入步骤S4；否则进行预警输出；S4、判断安全带挂钩状态是否正常，若是则判定高空作业人员行为态势正常；否则进行预警输出。本发明专利技术在深度学习目标检测的基础上，同时融入场景识别技术、交并比、逻辑判断函数、色度学空间目标提取以及形态学处理技术，实现特定场景下电力作业的违规操作行为识别，并进行相应的预警输出，有效提高了高空作业的监管便利性。提高了高空作业的监管便利性。提高了高空作业的监管便利性。

【技术实现步骤摘要】
一种基于机器视觉的高空作业人员行为态势识别方法


[0001]本专利技术涉及安全施工管理领域，具体涉及一种基于机器视觉的高空作业人员行为态势识别方法。

技术介绍

[0002]电网作业常处于高空、高压等危险环境，此类环境常常为电力作业人员的安全带来威胁，因此行业内制定了一系列的规章来规范施工人员的操作行为。但是常常存在施工人员为了方便不佩戴安全帽、不按规定佩戴安全带、不按规定使用挂钩等行为。为了在一定程度上保障施工人员的安全，施工方通常会派遣巡视人员进行纠察。但是高空作业离地面较高，地面人员难以通过肉眼对高空人员进行监督，且人员来回巡视也浪费了人力资源，使得高空作业安全监管难成为了行业的一个隐患。

技术实现思路

[0003]针对现有技术中的上述不足，本专利技术提供的一种基于机器视觉的高空作业人员行为态势识别方法解决了高空作业安全监管难的问题。
[0004]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0005]提供一种基于机器视觉的高空作业人员行为态势识别方法，其包括以下步骤：
[0006]S1、获取实时画面，通过深度学习网络识别出实时画面中作业人员、安全帽、安全带和安全带挂钩；
[0007]S2、判断安全帽和安全带是否均佩戴正确，若是则进入步骤S3；否则进行预警输出；
[0008]S3、判断安全带的挂接方式是否正确，若是则进入步骤S4；否则进行预警输出；
[0009]S4、判断安全带挂钩状态是否正常，若是则判定高空作业人员行为态势正常；否则进行预警输出。
[0010]进一步地，步骤S1中深度学习网络的构建方法为：
[0011]将yolov5网络的SPPF模块替换为SPPFCSPC模块，将yolov5网络的耦合头替换为解耦头，并采用SIOU损失函数进行优化；其中SPPFCSPC模块包括并联的第一卷积单元和第二卷积单元；第二卷积单元依次连接第三卷积单元和第四卷积单元，第四卷积单元的输出端分别连接第一最大池化单元和第一融合单元；第一最大池化单元的输出端分别连接第二最大池化单元和第一融合单元的输入端；第二最大池化单元的输出端分别连接第三最大池化单元和第一融合单元的输入端；第三最大池化单元的输出端连接第一融合单元的输入端；第一融合单元的输出端依次连接第五卷积单元和第六卷积单元；第六卷积单元的输出端和第一卷积单元的输出端分别连接第二融合单元；第二融合单元的输出端连接第七卷积单元；第一卷积单元和第二卷积单元的输入端共同作为SPPFCSPC模块的输入端；第七卷积单元的输出端为SPPFCSPC模块的输出端。
[0012]进一步地，采用SIOU损失函数进行优化的具体方法包括以下步骤：
[0013]A1、将包含有安全帽、安全带和/或安全带挂钩的图像作为训练样本，获取训练样本的真实框；将训练样本输入深度学习网络，得到预测框；
[0014]A2、根据公式：
[0015][0016][0017][0018]获取深度学习网络的角度损失Λ；其中C
h
为真实框中心点和预测框中心点的高度差；π为圆周率；σ为真实框和预测框中心点的距离；为真实框中心坐标；为预测框中心点坐标；max(
·
)表示取最大值；min(
·
)表示取最小值；
[0019]A3、根据公式：
[0020][0021][0022][0023]获取深度学习网络的距离损失Δ；其中γ＝2
‑
Λ，ρ
x
和ρ
y
为中间参数，ρ
t
＝{ρ
x
,ρ
y
}；X
w
和X
h
分别为真实框和预测框最小外接矩形的宽和高；
[0024]A4、根据公式：
[0025][0026][0027][0028]获取深度学习网络的形状损失Ω；其中e为自然常数；w、h、w
gt
和h
gt
分别为预测框和真实框的宽和高；θ为常数；W
w
和W
h
均为中间参数，w
t
＝{W
w
,W
h
}；
[0029]A5、根据公式：
[0030][0031]获取深度学习网络的综合损失值Loss
SIOU
；其中IOU为预测框和真实框交集和并集的比值；
[0032]A6、根据深度学习网络的综合损失值Loss
SIOU
对深度学习网络的参数进行优化，完成对深度学习网络的优化。
[0033]进一步地，步骤S2中判断安全帽和安全带是否佩戴正确的具体方法为：
[0034]获取识别出的作业人员所在区域R(x
p
)、安全帽所在区域R(x
h
)和安全带及安全带挂钩共同所在区域R(x
s
)，根据公式：
[0035][0036]获取安全帽和安全带是否均佩戴正确的判别值IOU
X
；其中∩表示取交集；∪表示去并集；
[0037]判断IOU
X
是否大于相应阈值，若是则判定安全帽和安全带均佩戴正确；否则进行预警输出。
[0038]进一步地，步骤S3中判断安全带的挂接方式是否正确的具体方法包括以下子步骤：
[0039]S3
‑
1、获取包含安全带的识别框，并单独提取该识别框中的图片；
[0040]S3
‑
2、对提取的图片进行二值化处理，得到二值图像；
[0041]S3
‑
3、计算二值图像中安全带的中心坐标(X0,Y0)，以及离该中心坐标距离最远的安全带像素的坐标(X
e
,Y
e
)；
[0042]S3
‑
4、根据公式：
[0043]T＝|y1
‑
y2|/4
[0044]获取安全带的挂接方式判别阈值T；其中y1和y2分别为安全带识别框上下边界的纵坐标；
[0045]S3
‑
5、若Y0‑
Y
e
<
‑
T成立，则判定为高挂抵用，即安全；若Y0‑
Y
e
>T，则判定为低挂高用，即预警输出。
[0046]进一步地，步骤S3
‑
2的具体方法包括以下子步骤：
[0047]S3
‑2‑
1、获取安全带所在RBG颜色空间的立方球的圆点r
i
和半径R0，及其RBG分量a
i
；其中i＝1,2,3；
[0048]S3
‑2‑
2、根据公式：
[0049][0050]对提取的图片进行彩色切片，得到彩色切片后的RBG分量b
i
；
[0051]S3
‑2‑
3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的高空作业人员行为态势识别方法，其特征在于，包括以下步骤：S1、获取实时画面，通过深度学习网络识别出实时画面中作业人员、安全帽、安全带和安全带挂钩；S2、判断安全帽和安全带是否均佩戴正确，若是则进入步骤S3；否则进行预警输出；S3、判断安全带的挂接方式是否正确，若是则进入步骤S4；否则进行预警输出；S4、判断安全带挂钩状态是否正常，若是则判定高空作业人员行为态势正常；否则进行预警输出。2.根据权利要求1所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，步骤S1中深度学习网络的构建方法为：将yolov5网络的SPPF模块替换为SPPFCSPC模块，将yolov5网络的耦合头替换为解耦头，并采用SIOU损失函数进行优化；其中SPPFCSPC模块包括并联的第一卷积单元和第二卷积单元；第二卷积单元依次连接第三卷积单元和第四卷积单元，第四卷积单元的输出端分别连接第一最大池化单元和第一融合单元；第一最大池化单元的输出端分别连接第二最大池化单元和第一融合单元的输入端；第二最大池化单元的输出端分别连接第三最大池化单元和第一融合单元的输入端；第三最大池化单元的输出端连接第一融合单元的输入端；第一融合单元的输出端依次连接第五卷积单元和第六卷积单元；第六卷积单元的输出端和第一卷积单元的输出端分别连接第二融合单元；第二融合单元的输出端连接第七卷积单元；第一卷积单元和第二卷积单元的输入端共同作为SPPFCSPC模块的输入端；第七卷积单元的输出端为SPPFCSPC模块的输出端。3.根据权利要求2所述的基于机器视觉的高空作业人员行为态势识别方法，其特征在于，采用SIOU损失函数进行优化的具体方法包括以下步骤：A1、将包含有安全帽、安全带和/或安全带挂钩的图像作为训练样本，获取训练样本的真实框；将训练样本输入深度学习网络，得到预测框；A2、根据公式：A2、根据公式：A2、根据公式：获取深度学习网络的角度损失Λ；其中C
h
为真实框中心点和预测框中心点的高度差；π为圆周率；σ为真实框和预测框中心点的距离；为真实框中心坐标；为预测框中心点坐标；max(
·
)表示取最大值；min(
·
)表示取最小值；A3、根据公式：
获取深度学习网络的距离损失Δ；其中γ＝2
‑
Λ，ρ
x
和ρ
y
为中间参数，ρ
t
＝{ρ
x
,ρ
y
}；X
w
和X
h
分别为真实框和预测框最小外接矩形的宽和高；A4、根据公式：A4、根据公式：A4、根据公式：获取深度学习网络的形状损失Ω；其中e为自然常数；w、h、w
gt
和h
gt
分别为预测框和真实框的宽和高；θ为常数；W
w
和W
h
均为中间参数，w
t
＝{W
w
,W
h
}；A5、根据公式：获取深度学习网络的综合损失值Loss
SIOU
；其中IOU为预测框和真实框交集和并集的比值；...

【专利技术属性】
技术研发人员：陈明举，兰中孝，熊兴中，宋竑森，
申请(专利权)人：四川轻化工大学，
类型：发明
国别省市：