一种值班人员违规行为检测方法及系统技术方案

本发明专利技术涉及一种值班人员违规行为检测方法及系统，属于智能视频分析技术领域，解决了现有检测方法效率低、成本高、识别准确率低的问题。包括以下步骤：构建目标检测网络模型，并利用数据集进行训练；实时获取同一个场景的不同角度的多路视频，利用训练好的目标检测网络模型与目标跟踪算法，进行多目标检测与跟踪，获取每路视频中的人员信息，并进行整合处理，判断值班人员的行为是否异常。本发明专利技术以环境摄像机视频为输入视频源进行智能视频分析，支持多路视频源输入并融合分析，通过深度学习与数据建模手段大大提高了违规行为识别的准确率，实现了对监控中心、值班室、指挥中心等场景的值班人员的值班行为进行实时准确地监测。

【技术实现步骤摘要】
一种值班人员违规行为检测方法及系统
本专利技术涉及智能视频分析
，尤其涉及一种值班人员违规行为检测方法及系统。
技术介绍
视频监控技术的发展十分迅速，各行各业的重点区域重点部位都已经实现了监控覆盖，监控视频信息均已实现联网。在实际应用中，监控中心、值班室、指挥中心等部位都应是有人值班，其管理部门需要定期进行非现场检查调阅历史视频信息，从中寻找值班人员睡岗(脱岗、睡觉)事件并加以记录，对值班违规行为进行精确、及时的检测能够保障现场安全管理工作的正常运行，且为非安全事件的发生提供了事后追溯的依据。目前，这些工作均是由检查人员手动进行，并且需要遍历(或近乎遍历)相关的所有历史视频，不仅耗时耗力，而且由于不同检查人员的主观判别存在差距，甚至同一检查人员在高强度的疲劳状态下也会存在判别错误，导致检查结果存在大量的漏检、误检现象。利用视频分析技术来代替人工检查的方式可以有效的提高工作效率。但是，目前对于监控中心、值班室、指挥中心等场景的值班员脱岗、睡岗的视频分析技术一般是在每一个值班台前加置摄像头，正对值班员进行人脸检测与人眼检测，由此来判断其是否脱岗或者睡觉；该技术相对复杂维护困难、成本较高、识别准确率低，且显式部署容易造成值班人员的反感甚至对设备加以破坏。
技术实现思路
鉴于上述的分析，本专利技术旨在提供一种值班人员违规行为检测方法及系统，用以解决现有检测方法效率低、成本高、识别准确率低的问题。本专利技术的目的主要是通过以下技术方案实现的：一方面，公开了一种值班人员违规行为检测方法，包括以下步骤：步骤S1、构建目标检测网络模型，并利用数据集进行训练，得到训练好的目标检测网络模型；步骤S2、实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；步骤S3、根据多路视频之间的人员匹配关系，将上述获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。本专利技术有益效果如下：本方法以环境摄像机视频为输入视频源进行智能视频分析，支持多路视频源输入并融合分析，通过深度学习与数据建模手段大大提高了违规行为识别的准确率，实现了对监控中心、值班室、指挥中心等场景的值班人员的值班行为进行实时准确地监测，保障现场安全管理工作的正常运行。在上述方案的基础上，本专利技术还做了如下改进：进一步，所述步骤S1具体包括以下步骤：步骤S101，先建立轻量型目标分类网络，在此基础上，再构建目标检测网络模型；步骤S102，获取数据集，首先，通过采集开源数据、从网上爬取数据和自制相关数据的途径获取数据，然后，对上述获取的数据进行筛选，得到和场景相关的数据；最后，对筛选出的数据进行标注。步骤S103，利用上述获取的数据集对构建的目标检测网络模型进行训练，得到训练好的目标检测网络模型。进一步，所述步骤S101，具体包括以下步骤：步骤S10101，构建轻量型目标分类网络，所述网络采用two-waydense结构，具有两个分支，第一分支由1个1x1卷积和1个3x3卷积构成；第二分支由1个1x1卷积和2个3x3卷积构成；将第一分支、第二分支进行级联作为2-waydense结构的输出。步骤S10102，在上述构建的轻量型目标分类网络的基础上添加两个分支-目标多类别分类子网络和目标坐标回归子网络，得到目标检测网络模型；所述目标多类别分类子网络使用3x3卷积，生成基于候选框的多类别概率，用于目标多类别分类；所述目标坐标回归子网络使用3x3卷积，生成基于候选框的坐标偏移量，用于目标坐标回归。进一步，在步骤S102中，所述数据集，包括:分类数据集，包括Imagenet2012数据集，用于训练轻量型目标分类网络；检测数据集，包括VOC2007,VOC2012数据集，用于训练目标检测网络模型；监控室值班人员数据集，通过爬虫从网上抓取监控室值班人员图片，并对上述图片进行手动标注，标注出值班人员边框，制作成对应的数据集，用于目标检测网络模型微调训练。进一步，步骤S103中，具体包括以下步骤：步骤S10301，使用分类数据集对构建的轻量型目标分类网络进行训练，得到训练好的轻量型目标分类网络；步骤S10302，将上述训练好的轻量型目标分类网络中全连接层去掉，并将剩下的部分作为目标检测网络的主体；将多层3x3卷积和1x1卷积进行嵌套，使得最后一层的输出大小为1x1，并选定大小为38x38,19x19,10x10,5x5,3x3,1x1的特征图作为分类子网络和坐标回归子网络的输入，将分类损失和定位损失之和作为损失函数，得到目标检测网络模型；步骤S10303，使用检测数据集对得到的目标检测网络模型进行训练，得到初步训练后的目标检测网络模型。步骤S10304，使用监控室值班人员数据集对上述初步训练后的目标检测网络模型进行微调训练，得到训练好的目标检测网络模型。进一步，所述使用检测数据集对得到的目标检测网络模型进行训练，包括：获取不同特征图对应的不同大小、长宽比的候选框后，以IOU作为筛选指标，对候选框进行打标签以区分出正、负样本；筛选出正、负样本后，将正、负样本输入到目标检测网络模型中进行训练，根据损失函数的损失值，使用反向传播算法，训练分类子网络和回归子网络，并利用mAP指标作为目标检测网络的性能衡量指标，得到初步训练后的目标检测网络模型。进一步，所述步骤S2，具有包括以下步骤：步骤S201、读取同一个场景的不同角度的多路视频流，并进行解析和预处理；步骤S202、通过上述训练好的目标检测网络模型对上述解析得到的每帧图像进行检测，检测得到一个或多个人体框，并根据人体框的位置和数量确定每路视频中值班人员的位置信息和人数信息；步骤S203、利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，根据相邻帧中人体框的位置获取各路视频中值班人员运动轨迹信息，同时，利用背景建模算法，结合值班人员的位置信息，计算场景中值班人员的动作幅度。进一步，所述利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，包括：为当前帧中检测得到的每一人体框均设置一对应跟踪器，当读取到视频中下一帧图像时，检测得到的一个或多个新的人体框，将上述跟踪器和人体框进行匹配，从而完成多目标在相邻帧中的跟踪，并实时生成跟踪器状态列表，所述列表包括跟踪器在当前帧中的位置、跟踪器存活帧数、跟踪器在当前帧是否更新。进一步，所述进行整合处理包括：根据多路视频场景中的特征点信息，进行搜索匹配，计算多路视频摄像机之间的位置关系，根据计算得出的摄像机之间的空间旋转平移角度，把不同角度的视频内容和跟踪器状态列表进行整合处理，获取汇总后的人员信息。另一方面，提供了一种值班人员违规行为检测系统，包括：目标检测网络模型构建及训练模块，用于构建目标检测网络模型并利用数据集进行训练，得到训练好的目标检测网络模型；目标检测单元模块，用于实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；异常行为判断模块，用于根据多路视频之间的人员匹配关系，将目标检测单元模块中获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。本文档来自技高网...

【技术保护点】
1.一种值班人员违规行为检测方法,其特征在于，包括以下步骤：步骤S1、构建目标检测网络模型，并利用数据集进行训练，得到训练好的目标检测网络模型；步骤S2、实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；步骤S3、根据多路视频之间的人员匹配关系，将上述获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。

【技术特征摘要】
1.一种值班人员违规行为检测方法,其特征在于，包括以下步骤：步骤S1、构建目标检测网络模型，并利用数据集进行训练，得到训练好的目标检测网络模型；步骤S2、实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；步骤S3、根据多路视频之间的人员匹配关系，将上述获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括以下步骤：步骤S101，先建立轻量型目标分类网络，在此基础上，再构建目标检测网络模型；步骤S102，获取数据集：首先，通过采集开源数据、从网上爬取数据和自制相关数据的途径获取数据，然后，对上述获取的数据进行筛选，得到和场景相关的数据；最后，对筛选出的数据进行标注；步骤S103，利用上述获取的数据集对构建的目标检测网络模型进行训练，得到训练好的目标检测网络模型。3.根据权利要求2所述的方法，其特征在于，所述步骤S101，具体包括以下步骤：步骤S10101，构建轻量型目标分类网络，所述网络采用two-waydense结构，具有两个分支，第一分支由1个1x1卷积和1个3x3卷积构成；第二分支由1个1x1卷积和2个3x3卷积构成；将第一分支、第二分支进行级联作为2-waydense结构的输出。步骤S10102，在上述构建的轻量型目标分类网络的基础上添加两个分支-目标多类别分类子网络和目标坐标回归子网络，得到目标检测网络模型；所述目标多类别分类子网络使用3x3卷积，生成基于候选框的多类别概率，用于目标多类别分类；所述目标坐标回归子网络使用3x3卷积，生成基于候选框的坐标偏移量，用于目标坐标回归。4.根据权利要求3所述的方法，其特征在于，在步骤S102中，所述数据集，包括:分类数据集，包括Imagenet2012数据集，用于训练轻量型目标分类网络；检测数据集，包括VOC2007,VOC2012数据集，用于训练目标检测网络模型；监控室值班人员数据集，通过爬虫从网上抓取监控室值班人员图片，并对上述图片进行手动标注，标注出值班人员边框，制作成对应的数据集，用于目标检测网络模型微调训练。5.根据权利要求4所述的方法，其特征在于，步骤S103中，具体包括以下步骤：步骤S10301，使用分类数据集对构建的轻量型目标分类网络进行训练，得到训练好的轻量型目标分类网络；步骤S10302，将上述训练好的轻量型目标分类网络中全连接层去掉，并将剩下的部分作为目标检测网络的主体；将多层3x3卷积和1x1卷积进行嵌套，使得最后一层的输出大小为1x1，并选定大小为38x38,19x19,10x10,5x5,3x3,1x1的特征图作为分类子网络和坐标回归子网络的输入，...

【专利技术属性】
技术研发人员：余红涛，刘强，杨鹏，杨琪，宋玉浩，陈运锦，
申请(专利权)人：兴唐通信科技有限公司，杭州保新科技有限公司，数据通信科学技术研究所，
类型：发明
国别省市：北京,11