一种基于CenterNet的实时吸烟检测方法及装置制造方法及图纸

本发明专利技术涉及目标检测和图像分类领域，具体提供了一种基于CenterNet的实时吸烟检测方法，首先采集包含吸烟行为的视频图像，制作样本数据集，根据所述数据集训练香烟检测模型；对待检测场景进行检测，分别提取人脸和人手区域，送入后续设计的分类器网络中，综合两区域输出得到吸烟行为识别判断结果。与现有技术相比，本发明专利技术中使用无锚框的目标检测模型CenterNet对吸烟行为进行识别和定位，通过利用其网络结构的设计和更换调整更轻量化的骨干网络，有效减轻了小目标检测效果差，特征难以提取等问题。以提取等问题。以提取等问题。

【技术实现步骤摘要】
一种基于CenterNet的实时吸烟检测方法及装置


[0001]本专利技术涉及目标检测和图像分类领域，具体提供一种基于CenterNet的实时吸烟检测方法及装置。

技术介绍

[0002]众所周知，吸烟有害健康，如果在某些公共场所吸烟,损害的就不仅仅是个人健康，而是公共消防安全。为了保障消防安全，很多公共场所，例如商市场、影剧院等人员密集场所、公共交通工具、加油站等都会有禁止吸烟标志，但仍存在监管不力、监管为不到位的情况。通过计算机视觉目标检测模型在视频监控上的应用，可实现在禁烟场合对吸烟行为的实时监管防控，维护消防安全。
[0003]目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测就成为了近年来理论和应用领域的热点。得益于深度学习的广泛运用，目标检测算法得到了较为快速的发展，在工业上有广泛的落地和应用，上到卫星遥感，下到自动驾驶。同时目标检测又是计算机视觉最古老和基础性的算法，对其他视觉方向领域，包括人脸识别、实例分割、姿态估计等任务起着至关重要的作用。
[0004]出于以上两点的考虑，基于深度学习的目标检测模型被自然而然地应用到了吸烟行为检测的场景上，但是在实际使用的场景中仍存在一些问题。首先，常见的目标检测模型针对小目标检测效果不理想，而检测精度高的模型在检测速度上有待提高。小目标描述的是目标面积小于32
×
32像素的物体，由于小目标分辨率较低，抗干扰能力较弱，图像在拍摄过程中更容易出现模糊等现象。而且小目标本身尺寸较小，携带的信息较少，因此在特征提取的过程中，能提取到的特征非常少。其次，当模型训练完成之后，虽然在验证集上能达到不错的mAP指标，但是在实际使用时发现模型错判现象颇为严重。例如许多与香烟形状类似的物品会被错判为香烟。在真实的视频监控场景中，真正吸烟的场景可能不是频繁出现，一天大约只有数人，如果误判率不能降到很低的水平的话，每天可能会产生频繁的虚报，导致方案无法正常使用。

技术实现思路

[0005]本专利技术是针对上述现有技术的不足，提供一种实用性强的基于CenterNet的实时吸烟检测方法。
[0006]本专利技术进一步的技术任务是提供一种设计合理，安全适用的基于CenterNet的实时吸烟检测装置。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种基于CenterNet的实时吸烟检测方法，首先采集包含吸烟行为的视频图像，制作样本数据集，根据所述数据集训练香烟检测模型；
[0009]对待检测场景进行检测，分别提取人脸和人手区域，送入后续设计的分类器网络
中，综合两区域输出得到吸烟行为识别判断结果。
[0010]进一步的，采集包括吸烟行为的视频图像中，通过截取下载视频或视频流中的图像帧、拍摄自定义图像、通过爬取包含吸烟行为的图像或检索网上吸烟检测的开源数据集进行采集。
[0011]进一步的，所述的香烟检测模型为CenterNet检测模型，将图像预处理并将尺寸固定为512
×
512大小；
[0012]首先经过一个步长为2的7
×
7卷积和步长为2的残差单元，将图片的宽高压缩为原来的1/4，之后经过第一个沙漏模块，经过下采样和上采样之后，完成一次特征提取和精炼。
[0013]进一步的，经过一个连接结构，第二个沙漏模块与所述第一个沙漏模块相连，在下采样和上采样模块中，选择对ResNet增添上采样模块，变成U型的网络结构，沙漏模块前后特征图尺寸不变；
[0014]随后输出的特征图尺寸为128
×
128
×
256，特征图经过处理后有三个输出：第一个为HeatMap，中心点位置的热力图表示；
[0015]第二个为Offset，对所述HeatMap的输出进行精炼，提高定位的准确度；
[0016]第三个为Height&Width，预测以关键点为中心的检测框的宽高。
[0017]进一步的，中心点热力图表示为W/R
×
H/R
×
C维的[0,1]之间的分布，其中C为类别的数量,W和H表示输入图片的宽和高，R表示步长；
[0018]如果预测值接近于1，表示格子内有一个待检目标，如果接近于0表示为背景；
[0019]在训练阶段，检测中心点的损失函数用类似于focal loss的公式表示，Offset表示预测出的中心点的偏移量，训练时采用的是L1loss，边框的宽和高，经过左上和右下两个点的中间表示，通过中心点坐标和GT label进行回归，采用的也是L1损失；
[0020]对不同损失项增添相应的权重系数，相加得到总的损失。
[0021]进一步的，在推理阶段，首先通过实时视频流协议按照一定的帧数间隔读取视频，将帧进行简单预处理后输入到CenterNet检测模型中；
[0022]模型的后处理为对预测的HeatMap、offset和Height&Width进行解码从而得到Bounding Box的过程，其中对HeatMap进行NMS处理，CenterNet采用3
×
3的max
‑
pooling方式对HeatMap提取峰值；
[0023]然后进行topK操作得到置信度排名前K的置信度得分、索引、类别和中心点坐标。
[0024]进一步的，在所述根据分类器网络中，采用的是基于注意力机制的SE
‑
ResNet
‑
50，将SE Block嵌入到ResNet中，所述SE Block包括Squeeze模块、Excitation模块和Scale模块；
[0025]所述Squeeze模块中采用Global Pooling全局池化或者Average Pooling平均池化进行信息嵌入的过程，实质上就是特征图降维的过程；
[0026]将H和W压缩为1
×
1，整个空间维度上用1个值来表示，得到一个1
×1×
C的向量，C为输入Squeeze模块的特征图通道数，如果采用平均池化的方法，公式如下：
[0027][0028]进一步的，所述Excitation模块是两层全连接层，起到自适应重构的过程，第一个全连接层的激活函数为ReLU，第二个全连接层的激活函数为Sigmoid，经过第一层全连接层
之后维度变为1
×1×
C/r，r为衰减系数，用于调整SE Block的参数量，公式如下：
[0029]s＝F
ex
(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))。
[0030]进一步的，在Scale模块中，经过Excitation模块得到1
×1×
C的权重向量与特征图进行逐通道相乘运算，得到重新调整过权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CenterNet的实时吸烟检测方法，其特征在于，首先采集包含吸烟行为的视频图像，制作样本数据集，根据所述数据集训练香烟检测模型；对待检测场景进行检测，分别提取人脸和人手区域，送入后续设计的分类器网络中，综合两区域输出得到吸烟行为识别判断结果。2.根据权利要求1所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，采集包括吸烟行为的视频图像中，通过截取下载视频或视频流中的图像帧、拍摄自定义图像、通过爬取包含吸烟行为的图像或检索网上吸烟检测的开源数据集进行采集。3.根据权利要求2所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，所述的香烟检测模型为CenterNet检测模型，将图像预处理并将尺寸固定为512
×
512大小；首先经过一个步长为2的7
×
7卷积和步长为2的残差单元，将图片的宽高压缩为原来的1/4，之后经过第一个沙漏模块，经过下采样和上采样之后，完成一次特征提取和精炼。4.根据权利要求3所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，经过一个连接结构，第二个沙漏模块与所述第一个沙漏模块相连，在下采样和上采样模块中，选择对ResNet增添上采样模块，变成U型的网络结构，沙漏模块前后特征图尺寸不变；随后输出的特征图尺寸为128
×
128
×
256，特征图经过处理后有三个输出：第一个为HeatMap，中心点位置的热力图表示；第二个为Offset，对所述HeatMap的输出进行精炼，提高定位的准确度；第三个为Height&Width，预测以关键点为中心的检测框的宽高。5.根据权利要求4所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，中心点热力图表示为W/R
×
H/R
×
C维的[0,1]之间的分布，其中C为类别的数量,W和H表示输入图片的宽和高，R表示步长；如果预测值接近于1，表示格子内有一个待检目标，如果接近于0表示为背景；在训练阶段，检测中心点的损失函数用类似于focal loss的公式表示，Offset表示预测出的中心点的偏移量，训练时采用的是L1 loss，边框的宽和高，经过左上和右下两个点的中间表示，通过中心点坐标和GT label进行回归，采用的也是L1损失；对不同损失项增添相应的权重系数，相加得到总的损失。6.根据权利要求5所述的一种基于CenterNet的实时吸烟检测方法，其特征在于，在推理阶段，首先通过实时视频流协议按照一定的帧数间隔读取视频，将帧进行简单预处理后输入到CenterNet检测模型中；模型的后处理为对预测的HeatMap、offset和Height&Width进行解码从而得到Bounding Box的过程，...

【专利技术属性】
技术研发人员：王家彬，朱亚伟，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：