一种基于计算机视觉的监控场景下的吸烟行为检测方法技术

本发明专利技术公开了一种基于计算机视觉的监控场景下的吸烟行为检测方法，所述方法包括:采集包含吸烟行为的视频图像，以及相似行为如打电话等行为的视频图像，采用预设计的目标检测网络模型对图像进行对人体位置的检测，对人体检测框使用预设的裁剪算法裁剪，使用预设的分类网络模型进行对裁剪框区域图像信息进行识别，进而得到吸烟识别结果；本发明专利技术在实施上具有成本低、实时检测、高准确性等优点。

【技术实现步骤摘要】
一种基于计算机视觉的监控场景下的吸烟行为检测方法
本专利技术涉及深度学习中目标检测
、图像分类识别
和一套动作检测规则方法和系统。
技术介绍
目前，在视频行为理解的技术条件下，人体行为检测技术可用于监控摄像头下的吸烟检测技术方案主要如下几种：(1)基于C3D(三维卷积)的方法，采用3D卷积深度网络对整段视频进行时空建模，直接进行吸烟行为识别。(2)基于CNN-LSTM(卷积神经网络-长短时记忆神经网络)的方法，使用CNN提取视频中每帧的特征信息，将每帧的特征信息使用LSTM进行处理，最终识别出行为。(3)基于图像分割以及图像分类的方法，提取图像中手势信息，对手势信息进行识别，进一步得到吸烟行为的识别结果。(4)基于目标检测-跟踪-识别方法，使用目标检测来对每一帧中的ROI进行跟踪，然后对检测到的动作进行行为识别。(5)基于视频监控的烟雾检测，将每帧图像使用分类器进行关于含不含香烟烟雾的分类，进而完成吸烟行为识别的检测。但是，现有的吸烟检测技术，存在着以下的缺点：(1)以上所述的(1)、(2)、(4)的方法虽然在不同程度上提高了吸烟行为检测/识别的准确率，但由于算法时空复杂度高，所以很难达到实时检测，吸烟检测需要一定的实时性。(2)以上所述的方法(3)的方法，由于需要近距离捕捉手势信息，很难在监控摄像头条件下进行吸烟行为检测。(3)以上所述的方法(5)的方法，准确率较低，并且不能对人体进行定位进行精确的行为检测。专利技术内容本专利技术提供一种可以在一种基于计算机视觉的监控场景下的吸烟行为检测方法，该方法具有成本低、高鲁棒、高实时等优点，很容易部署到PC设备中。本专利技术使用目标检测网络。目标检测网络接收视频图像，检测人体位置。分类器接收人体部分ROI区域(感兴趣区域RegionofInteresting)，判断人是否吸烟。为实现上述目的，本专利技术提供一种实时的检测吸烟行为的方法，所述实时的吸烟行为检测方法包括以下步骤：S1、获取采集的包含吸烟人的视频图像，逐帧送入预设的目标检测网络中，得到人体位置信息，人体头部位置信息以及人体手部位置信息。S2、通过S1得到人体ROI，为了使得吸烟检测更加精确，把人体ROI输入预设的裁剪模块，进行局部裁剪，得到人体上半身的区域；S3、通过S2得到裁剪之后的ROI部分图像，把图像送入预设的分类网络，执行吸烟检测。与现有技术相比较，本专利技术具有如下技术效果。可以从技术原理和本方法实施的角度考虑下，本专利技术的技术特色以及技术优势所在之处。1.本专利技术的算法使用了单阶目标检测网络，以及使用了分组卷积的轻量化主干网络所以时间复杂度和空间复杂相对较低，在使用轻量化的主干网络之后可以达到65FPS(单张图像推理达到15ms)可以做到实时检测。2.本专利技术具有较高的鲁棒性，使用了大量的相似行为的图像进行训练，能够在相似行为之间，分辨出吸烟行为，具有较高的鲁棒性，能够很好适应监控摄像头下的俯视场景。3.本专利技术，根据视频帧进行训练，是以单张图像为基础进行训练的所以仅仅依赖单张图像信息就可以取得很好的检测结果。4.本专利技术可以接收视频，对视频逐帧检测，在使用单张1080TI显卡下可以达到65FPS，所以可以很方便的在本地PC机上部署，不需要高性能服务器。附图说明图1是本专利技术人基于监控摄像头下的吸烟检测方法的流程示意图；图2是分组卷积结构示意图；图3是本专利技术人基于吸烟检测设计的YOLOv3-Lite网络结构示意图；图4是本专利技术人预测人体位置信息以及初步筛选的流程示意图；图5是MobileNet网络基本结构示意图；图6是本专利技术人基于MobileNet与APN网络设计的MobileNet-APN网络结构示意图；图7是本专利技术人裁剪人体ROI以及进行吸烟识别的流程示意图；具体实施方式应当理解，此处所描述的具体实例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术经过了算法验证，基于一般监控摄像头下的的实时吸烟行为检测系统包括：GPU、CPU、内存卡、RGB监控摄像头和显示屏。GPU为英伟达GTX1050Ti，CPU为英特尔第8代酷睿i5；实施过程：RGB监控摄像头部署在吸烟监控区。RGB监控摄像头与PC机相连，PC机通过RGB监控摄像头逐帧采集图像，采集图像后送入内存卡，之后通过PC机的GPU和CPU系统执行整个算法流程，检测结果将显示在显示屏上。采集图像、图像处理、逻辑运算等计算需要CPU进行处理，神经网络的计算需要使用GPU。算法框架参考如下：请参照图1，图1是本专利技术提出的基于监控摄像头下的吸烟检测实例的流程示意图。如图1所示，本专利技术实施里提出一种基于计算机视觉的监控场景下的吸烟行为检测方法，所述的吸烟检测总体上包括以下步骤:步骤S1，通过监控摄像头在线获取人体视频帧图像，对所述的人体视频帧图像使用目标检测的网络进行特征提取，获取人体检测框、手部检测框和头部检测框。步骤S2,通过S1得到的人体检测框、手部检测框和头部检测框，进一步进行判断哪些检测框属于同一人体，对属于同一人体的各个检测框进行下一步计算，不属于同一人体的检测框不进行下一步计算。对不包含人手部或者头部的人体框进行剔除。步骤S3,通过S2得到的属于同一人体的检测框，根据人体、手部、头部位置信息通过本专利技术独有的方法，具体算法见下方对S3和S4的具体描述，计算出上半身包围框，裁剪掉冗余信息，得到ROI区域。步骤S4,通过S3得到最终得到的ROI区域，使用分类网络，对这些区域进行有无吸烟行为的检测，分类网络的具体设计如图6，见下方具体介绍。具体的算法参考如下：步骤S1、S2具体算法如图4所示，使用YOLOv3-Lite网络对视频图像逐帧检测，得到人体检测框、手部检测框、头部检测框。根据手部、头部的距离，根据预设的距离阈值来判定是否进入下一步，可以大大减小系统工作量。其中，目标检测网络参考YOLOv3的基本结构，针对吸烟检测任务的自身特点，重新设计了新的轻量化的网络，基础网络采用残差网络结构，以及分组卷积技术，分组卷积操作将输入特征图按照通道数分成g组，g分组数量，每组输入的特征图尺寸为H为输入特征图的高，W为输入特征图的宽，c1为输入特征图的总通道数，g为分组数量，对应的卷积核尺寸为h1为卷积核高度，w1为卷积核的宽度，c1为输入特征图的总通道数，g为通道分组数量，每组的输出特征图尺寸为H为输出特征都的高，W为输出特征图的宽，g为通道分组数量，c2为输出的总通道数，将g组结果拼接，得到最终尺寸的H×W×c2的输出特征图。分组卷积结构如图2所示，其中BasicBlock中使用了分组卷积，整个主干网络一共使用了20层卷积层，称为SMKNet，目标检测不部分依然采用yolov3的检测方式，构成轻量版本的YOLOv3-Lite。根据需要检测的目本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的监控场景下的吸烟行为检测方法，其特征在于：所述方法包括以下步骤，/n步骤S1，在线获取人体视频图像，对所述的视频帧图像使用目标检测的网络进行特征提取，获取人体检测框、手部检测框、头部检测框；/n步骤S2,分析人体检测框、手部检测框、头部检测框是否属于同一人体，并且计算当前人手部与头部的距离，初步筛选出不符合的图像；/n步骤S3,根据人体、手部、头部位置信息计算出上半身包围框，裁剪掉冗余信息；/n步骤S4,使用分类网络对最终得到的ROI进行有无吸烟的检测。/n

【技术特征摘要】
1.一种基于计算机视觉的监控场景下的吸烟行为检测方法，其特征在于：所述方法包括以下步骤，
步骤S1，在线获取人体视频图像，对所述的视频帧图像使用目标检测的网络进行特征提取，获取人体检测框、手部检测框、头部检测框；
步骤S2,分析人体检测框、手部检测框、头部检测框是否属于同一人体，并且计算当前人手部与头部的距离，初步筛选出不符合的图像；
步骤S3,根据人体、手部、头部位置信息计算出上半身包围框，裁剪掉冗余信息；
步骤S4,使用分类网络对最终得到的ROI进行有无吸烟的检测。


2.根据权利要求1所述的基于监控摄像头场景下的实时吸烟行为检测方法，其特征在于：
步骤S1、S2中，使用YOLOv3-Lite网络对视频图像逐帧检测，得到人体检测框、手部检测框、头部检测框；根据手部、头部的距离和预设的距离阈值来判定是否进入下一步，减小系统工作量。


3.根据权利要求2所述的基于监控摄像头场景下的实时吸烟行为检测方法，其特征在于：重新设计新的主干网络，构建...

【专利技术属性】
技术研发人员：王素玉，陶思辉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11