一种基于卷积神经网络的电厂人员周界入侵检测方法技术

本发明专利技术公开了一种基于卷积神经网络的电厂人员周界入侵检测方法，包括算法模型训练和算法预测训练两个过程，算法模型训练过程包括：数据集准备及数据预处理、构建特征提取神经网络、构建关键点检测神经网络、关键点检测模型训练、利用关键点生成的骨架图制作分类数据集、构建攀爬动作分类网络、采用骨架数据集训练分类模型；算法预测训练包括获取输入视频流、融合三种网络模型并增设判断攀爬行为逻辑、输出实时的预测结果；本发明专利技术基于深度学习中的人体关键点检测和图像分类方法，深度提取图像特征，融合网络模型，设置置信规则，输出更为准确的识别结果。为准确的识别结果。为准确的识别结果。

【技术实现步骤摘要】
一种基于卷积神经网络的电厂人员周界入侵检测方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于卷积神经网络的电厂人员周界入侵检测方法。

技术介绍

[0002]在电厂中均会存在一些人员禁止入内的高风险区域，电厂往往会对这些危险区域进行人工增设围栏和警告牌，对现场的施工人员进行提醒和警告，但是往往有心存侥幸的工作人员因为缺乏安全意识或者贪图路近，会存在翻越围栏的违规行为，在攀爬围栏过程中可能存在摔伤、磕碰的危险。另外，如带有运煤轨道的煤场区域，一旦人员翻入围栏区域将会存在造成重大事故的隐患。
[0003]为防止上述事故发生，目前有很多传统的周界入侵检测技术，包括红外、泄露电缆、振动电缆、脉冲电子围栏、光纤围栏等。红外技术，其主要特点是采用对射的方式进行布防，在实际的运用中，经常会将多束红外光进行对射形成长排，即“红外栅栏”，一旦有人入侵周界，人体遮挡红外线信号，系统便会报警。电缆在户外周界入侵监测中应用也十分广泛，基于泄漏电缆传感器的入侵检测方案有误报率低、隐蔽性强的特点，并且不易受到环境和地形的影响。脉冲电子围栏由脉冲发生器发出和接收高压脉冲信号，与前端围栏组成智能型周界系统，当前端探知到围栏处于短路、断路等状态时，便触发报警系统。光纤围栏是一种分布式围栏传感系统，其原理是利用光纤作为传感介质，对光纤传感器布防范围内的对象进行远程和实时的安全监测。
[0004]上述周界安防检测技术虽然一定程度上起到了安防效果，但受自身技术条件限制存在诸多功能缺陷，如：可监测的距离短，单位距离成本高，在需要进行长距离监测的情况下，系统造价高昂；传感器单元的寿命较短，长时间连续使用，维护成本较高；干扰机会多(电磁干扰、信号干扰、串扰等)，灵敏性下降，误报率、漏报率上升；对于大范围监控，以上传统方案本身没有定位功能，遇上侵入行为，无法快速定位。这意味着无法及时、准确地确定危险地点，无法及时采取制止措施减少侵入行为导致事故损失。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种基于卷积神经网络的电厂人员周界入侵检测方法，是基于深度学习中的人体关键点检测和图像分类方法，深度提取图像特征，融合网络模型，设置置信规则，输出更为准确的识别结果，具有价格低廉、效率高、实时检测、不漏死角的优势，节省人力，物力，财力，对周界防范问题的解决具有非常重要的意义。
[0006]本专利技术技术方案如下：
[0007]本专利技术提供了一种基于卷积神经网络的电厂人员周界入侵检测方法，包括算法模型训练和算法预测训练两个过程；
[0008]所述算法模型训练过程包括以下步骤：
[0009]S11、数据集准备及数据预处理：在电厂的监控数据库中，选取多个场景、多个角度
的含有人员攀爬行为和正常行走的视频录像，按照一定的帧率间隔，对视频进行抽帧处理，选取正常行为和攀爬行为的视频帧；准备好人体关键点检测数据集并进行划分；
[0010]S12、构建特征提取神经网络：在VGG
‑
16分类网络的基础上，设置卷积步长为2替代每层的池化结构(池化结构会降低目标检测、分割等任务特征提取能力)，增加残差结构，加深整体网络深度，为了增加网络的感知能力和特征提取能力，分别在网络的2、3、4层添加注意力模块和膨胀系数为2的膨胀卷积模块，增大有效特征过滤的能力和网络的感受野；
[0011]S13、构建关键点检测神经网络：关键点检测神经网络基于原始的OpenPose关键点检测算法，其算法原理为：首先通过卷积神经网络提取一张图片的部位置信特征图和部位亲和向量场特征图，然后将两者结合通过贪心推理和图方法匹配输出每个人的姿态，即：对于一张图像，首先找到画面中出现的所有人的全部关键点，然后对这些点进行分组，让同一个人的点匹配相连；
[0012]S14、关键点检测模型训练，构建模型数据集：将划分好数据比例的人体关键点检测数据集送入关键点检测神经网络和骨架提取网络，利用梯度下降法对模型训练迭代优化，并保存最优的模型训练权重w1；
[0013]S15、利用关键点生成的骨架图制作分类数据集；
[0014]S16、构建攀爬动作分类网络：攀爬动作分类网络采用两层全连接的神经网络；
[0015]S17、采用骨架数据集训练分类模型：将步骤S15中处理得到的骨架模型送入步骤S16中的网络进行训练，设置分类loss为交叉熵损失函数(CrossEntropy Loss)；最后使用Adam梯度下降法进行网络优化得到训练权重w2；
[0016]所述算法预测训练过程包括以下步骤：
[0017]S21、获取输入视频流；
[0018]S22、将特征提取神经网络、关键点检测神经网络和攀爬动作分类网络进行融合并增设判断攀爬行为逻辑：将三种网络模型融合并集成到程序中。对于识别出的关键点与人为划定的周界进行判断，计算有多少个关键点落入周界范围内；
[0019]S23、输出实时的预测结果。
[0020]根据本专利技术所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S11中，所述数据集采用开源MS COCO人体关键点检测数据集，并将数据集按照8:1:1的比例划分为关键点检测模型的训练数据、验证数据和测试数据。
[0021]根据本专利技术所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S12中，所述注意力膨胀卷积模块算法流程如下：假设注意力膨胀卷积的输入是任意一个中间特征图F∈R
H
×
W
×
C
，F首先会输入模块的注意力层，经过全局平均池化操作压缩特征通道得到C
×1×
1的特征标识，之后通过基于简单的门机制和sigmoid激活函数，得到一维通道注意力图F
c
∈R1×1×
C
，在得到F
c
之后，F
c
会与输入特征图F作矩阵乘积运算得到加权后的特征图，之后将特征图送入级联的膨胀卷积层，最后得到经过注意力膨胀卷积模块之后的输出特征图，注意力图提取过程可以公式化如下：
[0022][0023]其中，σ1代表sigmoid激活函数，σ0代表relu激活函数，w*，b*分别代表卷积层的权重和偏置，代表元素乘积运算。
[0024]根据本专利技术所述的基于卷积神经网络的电厂人员周界入侵检测方法，步骤S13中，所述关键点检测神经网络承接步骤S12中的特征提取神经网络得到的特征图，该步骤中的关键点提取模型首先会将特征图F送入一个初始关键点提取网络，其网络是由3
×
3的卷积和1
×
1卷积级联而成；这部分包括两个分支，分别对应生成的关键点热度图(Keypoint heatmap)和部分向量场热度图(PAF heatmap)，之后是2组的关键点增强提取网路，其作用是为了进一步生成更加精确的特征图。原始的OpenPose是5组增强提取网络，通过实验发现，5层网络对准确率并没有太大的提升，因此本模块经过实验去掉3组模块，对模型的推理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，包括算法模型训练和算法预测训练两个过程；所述算法模型训练过程包括以下步骤：S11、数据集准备及数据预处理：在电厂的监控数据库中，选取多个场景、多个角度的含有人员攀爬行为和正常行走的视频录像，对视频进行抽帧处理，选取正常行为和攀爬行为的视频帧；准备好人体关键点检测数据集并进行划分；S12、构建特征提取神经网络：在VGG
‑
16分类网络的基础上，设置卷积步长为2替代每层的池化结构，增加残差结构，加深整体网络深度，分别在网络的2、3、4层添加注意力模块和膨胀系数为2的膨胀卷积模块，增大有效特征过滤的能力和网络的感受野；S13、构建关键点检测神经网络：关键点检测神经网络基于原始的OpenPose关键点检测算法，其算法原理为：首先通过卷积神经网络提取一张图片的部位置信特征图和部位亲和向量场特征图，然后将两者结合通过贪心推理和图方法匹配输出每个人的姿态；S14、关键点检测模型训练，构建模型数据集：将划分好数据比例的人体关键点检测数据集送入关键点检测神经网络和骨架提取网络，利用梯度下降法对模型训练迭代优化，并保存最优的模型训练权重w1；S15、利用关键点生成的骨架图制作分类数据集；S16、构建攀爬动作分类网络：攀爬动作分类网络采用两层全连接的神经网络；S17、采用骨架数据集训练分类模型：将步骤S15中处理得到的骨架模型送入步骤S16中的网络进行训练，设置分类loss为交叉熵损失函数；最后使用梯度下降法进行网络优化得到训练权重w2；所述算法预测训练过程包括以下步骤：S21、获取输入视频流；S22、将特征提取神经网络、关键点检测神经网络和攀爬动作分类网络进行融合并增设判断攀爬行为逻辑；S23、输出实时的预测结果。2.根据权利要求1所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S11中，所述数据集采用开源MS COCO人体关键点检测数据集，并将数据集按照8:1:1的比例划分为关键点检测模型的训练数据、验证数据和测试数据。3.根据权利要求2所述的基于卷积神经网络的电厂人员周界入侵检测方法，其特征在于，步骤S12中，所述注意力膨胀卷积模块算法流程如下：假设注意力膨胀卷积的输入是任意一个中间特征图F∈R
H
×
W
×
C
，F首先会输入模块的注意力层，经过全局平均池化操作压缩特征通道得到C
×1×
1的特征标识，之后通过基于简单的门机制和sigmoid激活函数，得到一维通道注意力图F
c
∈R1×1×
C
，在得到F
c
之后，F
c
会与输入特征图F作矩阵乘积运算得到加权后的特征图，...

【专利技术属性】
技术研发人员：付殿臣，唐守伟，张传昀，王俊强，
申请(专利权)人：济南奔腾时代电力科技有限公司，
类型：发明
国别省市：