用于人员异常行为检测的神经网络的构建方法技术

本发明专利技术提出一种用于人员异常行为检测的神经网络的构建方法，所述神经网络是编码器‑解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；步骤2、构建一个卷积神经网络，为编码器‑解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果。该神经网络可用于工地场景的人员异常行为的实时检测应用。

【技术实现步骤摘要】
用于人员异常行为检测的神经网络的构建方法
本技术方案是计算机技术在安监场景中的应用方法，具体是一种适用于人员异常行为检测的神经网络的构建方法，该神经网络是编码器-解码器架构神经网络。该神经网络可用于工地场景的人员异常行为的实时检测。
技术介绍
传统工地管理面临建筑工地环境复杂、从业人员管理难、事故多发且调查取证难、项目安全管理难等问题。随着手机使用的普及，工地工人进行作业时使用手机，会增加安全事故发生的可能性。而依靠人员监督难以起到实时的监督作用，如果采用事后监控视频进行检查，也需要大量的人力和时间成本，而且对预防安全事故来说，其效果远不如即时发现、即时处理。
技术实现思路
为了解决上述技术问题，本专利技术提出一种用于人员异常行为检测的神经网络的构建方法。所述神经网络是编码器-解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；步骤2、构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果；所述步骤1中，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；所述步骤2中，采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROIpooling层的输入；>对于输入图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；步骤3中，解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小；网络达到最佳。所述步骤3中，交叉熵损失函数计算如下：其中，W和H分别为分割真值图宽和高，yij代表像素(i,j)的真实类别，pij代表像素(i,j)的目标概率。所述步骤3后还包括步骤4、过滤虚警检测，方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：设安全帽、安全服和手机的位置中心点分别表示为：Z1(x1,y1),Z2(x2,y2)和Z3(x3,y3)；最优分布方法为：F＝{(x,y)|(x,y)∈R}f((x,y)*)＝min{D＝(x1-x2)2+(y1-y2)2|(x,y)∈F}其中，F中的任何一个元素为可行解，(x,y)*为最优解；建立相对位置约束惩罚函数表达如下:min(f(x,y)),(x,y)＝[(x1,y1),...,(xn,yn)]TyM＞yF,y＞0其中，(x,y)＝[(x1,y1),...,(xn,yn)]T为决策变量，f((x,y))为目标函数。本神经网络应用于工地人员异常行为实时检测方法，步骤包括：1)在工地现场部署摄像机，用于采集人员图像信息；获取工地现场摄像机视频信流，并截取单帧图片；2)按照预先设定的输入图像的尺寸要求，改变输入图像大小(采用resize函数，常见的插值算法有：最近邻、双线性、双三次、基于像素区域关系以及兰索斯插值算法)；其特征是步骤还包括：3)采用编码器-解码器架构神经网络对经过步骤2)处理的图像进行处理，生成不同的尺度下的特征映射图；所述编码器-解码器架构神经网络的构建方法为：首先基于多分支卷积模块，生成不同的尺度下的特征映射图；然后构建一个卷积神经网络，为编码器-解码器架构；其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；最后对不同分支上的特征进行融合，获得准确的目标分割结果；4)基于不同尺度下的特征映射图，获取不同尺寸目标的位置区域；不同尺寸目标分别为：人体、人脸、手机、安全帽；5)过滤虚警检测；6)根据感兴趣目标的存在状态，推断异常行为是否发生；目标的状态与异常行为之间的对应关系为：若手机位置与人脸位置很接近，则判断为打电话，为异常；反之正常；若安全帽位置与人体位置接近，则判断为异常；若安全帽位置与人脸位置很接近，则判断为正常；反之异常；7)输出异常行为实时检测结果。所述步骤3)中，步骤2)得到的图像送入FPN特征网络(特征图金字塔网络)中，不同尺度的ROI使用不同特征层作为ROIpooling层的输入；对于输入图像中的不同尺寸目标的不同特征，利用浅层的特征将简单的目标的区分开，利用深层的特征将复杂的目标区分开；增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；所述步骤5)中，过滤虚警检测的方法为：采用基于不同目标的相对位置约束惩罚函数，筛选最优分布组合：设安全帽、安全服、手机的位置中心点分别表示为：M(x,y)，F(x,y),J(x,y)最优分布算法为：其中，F中的任何一个元素为可行解，(x,y)*为最优解。建立相对位置约束惩罚函数的方法为：约束优化问题的一般形式可表达如下:min(f(x,y)),(x,y)＝[(x1,y1),...,(xn,yn)]TyM＞yF,y＞0其中，(x,y)＝[(x1,y1),...,(xn,yn)]T为决策变量，f((x,y))为目标函数。应用场景中，规定安全服与安全帽的位置为：安全帽在安全服之上是正常；手机在安全帽附近是异常；所述决策变量是安全帽安全服与手机的位置坐标(x,y)；空间位置约束模型参考图2，M、F、J分别代表安全帽、安全服、手机的位置。所述步骤2)中，确定输入图像的尺寸的步骤为：2.1)统计感兴趣目标在图像中的分布尺寸，确定输入图像的尺寸；(感兴趣的目标即为人员以及附属物，附属物是手机、安全帽、安全服等)2.2)统计感兴趣目标位置分布规律，用来统计安全帽安全服及手机之间的相对位置关系，确定异常事件分类。采用公开数据集预训练好的深度学习目标检测网络，根据部署场景微调训练后，得到部署后目标检测网络，再进行实时人员、各个物体检测。根据部署场景微调训练，方法为：现场场景与实验时会存在误检测和漏检测的情况，则根据实际场景数据进行调参处理。检测到的人员和各个物体形成一个边界框即Boundingbox，返回检测到的人员、各个物体的位置信息，位置信息包括边界框四个顶点的坐标信息；采本文档来自技高网...

【技术保护点】
1.一种用于人员异常行为检测的神经网络的构建方法，其特征是所述神经网络是编码器-解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：/n步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；/n步骤2、构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；/n步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果；/n所述步骤1中，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；/n所述步骤2中，采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROIpooling层的输入；/n对于输入图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；/n增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；/n步骤3中，解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损失；损失在网络中反向传播，得到网络中参数的梯度，再根据梯度下降法来调整参数，使损失值减小；网络达到最佳。/n...

【技术特征摘要】
1.一种用于人员异常行为检测的神经网络的构建方法，其特征是所述神经网络是编码器-解码器架构神经网络，神经网络的输入为采集到的图像，神经网络的构建方法为：
步骤1、基于多分支卷积模块，生成不同的尺度下的特征映射图；
步骤2、构建一个卷积神经网络，为编码器-解码器架构，其中编码器提取语义和细节信息，解码器恢复特征图尺寸，获得最终分割结果；
步骤3、对不同分支上的特征进行融合，获得准确的目标分割结果；
所述步骤1中，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息；
所述步骤2中，采用FPN特征金字塔网络进行多尺度目标检测；不同尺度的ROI，使用不同特征层作为ROIpooling层的输入；
对于输入图像中不同尺寸的目标的不同特征，利用浅层的特征将简单的目标的区分开；利用深层的特征将复杂的目标区分开；
增加两个1024维的轻量级全连接层，跟上分类器和边框回归；对检测到的各个目标形成一个边界框即Boundingbox，返回检测到目标的位置信息，位置信息包括边界框四个顶点的坐标信息；
步骤3中，解码器输出的特征图经过Softmax函数，得到目标区域的分布概率图，在通过交叉熵函数与分割真值图比较计算损...

【专利技术属性】
技术研发人员：田青，唐绍鹏，
申请(专利权)人：苏州玖合智能科技有限公司，
类型：发明
国别省市：江苏;32