一种结合姿态信息的安全帽佩戴检测方法技术

本发明专利技术提供一种结合姿态信息的安全帽佩戴检测方法，包括：初始化改进的Openpose模型和YOLOv3网络，利用NTU数据集和VOC数据集分别送给Openpose模型和YOLOv3网络进行网络训练，将训练得到的网络权重加载到上述模型和网络；判断摄像头是否开启；将得到的图像数据送到Openpose模型中，经过姿态特征提取和迭代，获得关节特征热图，再利用PAFs算法将关节连接，从而获得人员的姿态信息；将图像数据送到YOLOv3模型中，获得图像的安全帽检测框信息和安全帽检测框的置信度；利用非极大值抑制算法，计算去重后的姿态信息和安全帽检测框的距离，将距离最小的躯干与安全帽匹配为一对。相比于现有技术，该方法可以实时判断安全帽佩戴情况，有效去除误判信息，准确率高，实时性强。实时性强。实时性强。

【技术实现步骤摘要】
一种结合姿态信息的安全帽佩戴检测方法


[0001]本专利技术涉及机器视觉图像处理领域，尤其涉及一种结合姿态信息的安全帽佩戴检测方法。

技术介绍

[0002]在“工业4.0”、“互联网+”大发展的时代背景下，工业企业也在进行数字化、全自动化的转型升级，安全生产是企业生存和发展的基本保证。随着物联网、5G、人工智能和大数据等技术的广泛应用以及安监制度的不断完善，安全生产对安监系统建设提出了新的标准和要求。在大部分生产现场，佩戴护具是一项基本的规章制度，在发生危害时，护具可以有效保护甚至挽救人的生命。但由于监管不力，部分工作人员安全意识薄弱，无视安全规章制度，工作人员不佩戴护具而引发的安全事故时有发生。为了改善这种情况，有必要对工作人员的安全帽佩戴进行检测，降低由于工作人员没有佩戴护具而造成的事故发生率。

技术实现思路

[0003]为克服现有的安全帽识别技术的不足，本专利技术主要提供了一种基于Openpose和YOLOv3的相结合的安全帽佩戴检测方法，利用Openpose模型获取图像中的姿态信息，使用YOLOv3网络获取图像中的安全帽信息，并使用基于距离的数据交互方法将人体躯干与安全帽信息进行匹配，最后使用四边形检测法将误判的安全帽信息剔除，从而精确地实现安全帽检测。
[0004]根据本专利技术的一个方面，提供了一种结合姿态信息的安全帽佩戴检测方法，该方法包括以下步骤：
[0005]步骤1：初始化改进的Openpose模型和YOLOv3网络，包括输入输出维度、网络结构、优化器设置、输入图像帧速和尺寸，利用NTU数据集和VOC数据集分别送给Openpose模型和YOLOv3网络进行网络训练，将训练得到的网络权重加载到Openpose模型和YOLOv3网络中；
[0006]步骤2：判断摄像头是否开启，若开启则进行图像采集，若关闭则退出程序。
[0007]步骤3：将步骤2中的图像数据送到步骤1中的Openpose模型中，经过姿态特征提取，对姿态特征迭代，获得关节特征热图，再利用PAFs算法将关节连接，从而获得人员的姿态信息；
[0008]步骤4：将步骤2中的图像数据送到步骤1中的YOLOv3模型中,获得图像的安全帽检测框信息和安全帽检测框的置信度；
[0009]步骤5：利用非极大值抑制算法，去除步骤3中姿态信息的重复信息，再计算去重后的姿态信息和步骤4中的安全帽检测框的距离，将距离最小的躯干与安全帽匹配为一对；
[0010]步骤6：设置安全帽检测框与置信度阈值，将步骤5中匹配后的安全帽检测框，利用置信度阈值进行预处理，去除置信度低于置信度阈值的安全帽检测框，再利用处理后的安全帽检测框信息建立数值四边形，判断数值四边形与头部姿态信息的位置关系，若头部姿态节点在数值四边形以内，则保留此安全帽检测框，若在数值四边形之外，则将此安全帽检
测框剔除。
[0011]步骤7：将步骤6处理后的安全帽检测框与图像一并输出，若未正确佩戴安全帽则发出警报并重新返回步骤1，若正确佩戴安全帽则直接返回步骤1。
[0012]在其中的一实施例，步骤1中使用深度可分离网络，对传统的Openpose模型进行了改进，增加了姿态估计的实时性。
[0013]在其中的一实施例，步骤1中Openpose模型使用深度可分离卷积进行特征提取，YOLOv3网络使用darknet53作为特征提取层。
[0014]在其中的一实施例，步骤3Openpose模型对深度可分离卷积网络获得的姿态特征进行迭代，直至网络收敛获得关节特征热图。
[0015]在其中的一实施例，步骤3中关节特征热图共57种，包括18个关节点特征热图、1个背景特征热图，以及38个骨骼特征。骨骼特征是由18个关节点和1个背景特征，共19个特征，两两为一对，由排列组合计算：共38个骨骼特征。
[0016]在其中的一实施例，步骤3中，PAFs算法使用公式1计算两个关节点连线上的线性积分，如果关节连线的方向与骨骼区域的方向一致，线性积分的值就会很大，这两个部位是躯干的可能性就很大。
[0017][0018]在其中的一实施例，步骤4中，YOLOv3数据集中共有helmet、hat和not
‑
worn三类，因此安全帽检测框也有三类，每个检测框信息包含4个角点的坐标值和一个置信度值。
[0019]在其中的一实施例，步骤5中，利用公式(2)(3)实现非极大值抑制算法，去除姿态数据中的重复数据。
[0020][0021]N
ms
＝Max(N
map
,P
foot
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0022]在其中的一实施例，步骤6中，由护具检测框的左上角坐标Q
i
(x
min
,y
min
)和右下角坐标Q
j
(x
max
,y
max
)，利用公式(4)建立数值四边形。
[0023][0024]本专利技术提出一种结合姿态信息的安全帽检测方法，主要应用于工业生产和交通安全中的安全监控领域，该方法可以实时判断安全帽佩戴情况，有效去除误判信息，准确率高，实时性强，有效实现生产现场的操作人员安全帽佩戴检测。
[0025]相比于现有技术，本专利技术的有益效果至少包括：基于距离的数据交互方法，该方法首先使用非极大值抑制的方法去除姿态信息中的重复信息，然后使用姿态信息和安全帽信息的距离信息，将人体躯干和安全帽信息进行匹配，为两种信息进行交互提供了基础。此外，四边形检测法首先使用安全帽检测框的置信度阈值对安全帽信息进行预处理，利用处
理后的安全帽信息建立数值四边形，判断数值四边形与头部姿态信息的位置关系，将误判的安全帽信息(如手持安全帽)剔除。
附图说明
[0026]读者在参照附图阅读了本专利技术的具体实施方式以后，将会更清楚地了解本专利技术的各个方面。其中，
[0027]图1为一种结合姿态信息的安全帽检测方法的流程图。
具体实施方式
[0028]为了使本申请所揭示的
技术实现思路
更加详尽与完备，可参照附图以及本专利技术的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本专利技术所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。
[0029]结合图1，所示实例对本专利技术进行进一步说明。本专利技术的具体实施步骤如下：
[0030]步骤1：初始化改进的Openpose模型和YOLOv3网络，包括输入输出维度、网络结构、优化器设置、输入图像帧速和尺寸，利用NTU数据集和VOC数据集分别送给Openpose模型和YOLOv3网络进行网络训练，将训练得到的网络权重加载到Openpose模型和YOLOv3网络中；
[0031]步骤2：判断摄像头是否开启，若开启则进行图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合姿态信息的安全帽佩戴检测方法，其特征在于，所述安全帽佩戴检测方法包括：步骤1：初始化改进的Openpose模型和YOLOv3网络，包括输入输出维度、网络结构、优化器设置、输入图像帧速和尺寸，利用NTU数据集和VOC数据集分别送给Openpose模型和YOLOv3网络进行网络训练，将训练得到的网络权重加载到Openpose模型和YOLOv3网络中；步骤2：判断摄像头是否开启，若开启，则进行图像采集；若关闭，则退出程序；步骤3：将步骤2中的图像数据送到步骤1的Openpose模型中，经过姿态特征提取，对姿态特征迭代，获得关节特征热图，再利用PAFs算法将关节连接，从而获得人员的姿态信息；步骤4：将步骤2中的图像数据送到步骤1的YOLOv3模型中,获得图像的安全帽检测框信息和安全帽检测框的置信度；步骤5：利用非极大值抑制算法，去除步骤3中姿态信息的重复信息，再计算去重后的姿态信息和步骤4中的安全帽检测框的距离，将距离最小的躯干与安全帽匹配为一对；步骤6：设置安全帽检测框与置信度阈值，将步骤5中匹配后的安全帽检测框，利用置信度阈值进行预处理，去除置信度低于置信度阈值的安全帽检测框，再利用处理后的安全帽检测框信息建立数值四边形，判断数值四边形与头部姿态信息的位置关系，若头部姿态节点在数值四边形以内，则保留此安全帽检测框；若头部姿态节点在数值四边形之外，则将此安全帽检测框剔除；步骤7：将步骤6处理后的安全帽检测框与图像一并输出，若未正确佩戴安全帽，则发出警报并重新返回步骤1；若正确佩戴安全帽，则直接返回步骤1。2.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，步骤1中，使用深度可分离网络，对传统的Openpose模型进行改进，增加姿态估计的实时性。3.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，步骤1中，Openpose模型使用深度可分离卷积进行特征提取，YOLOv3...

【专利技术属性】
技术研发人员：吴胜昔，咸博龙，牛悦，王安南，陈佳艺，夏佳敏，
申请(专利权)人：上海佑显科技有限公司，
类型：发明
国别省市：