一种视频监控下的吸烟行为检测方法技术

本发明专利技术公开了一种视频监控下的吸烟行为检测方法，针对复杂环境下对烟雾和烟支的误检、漏检状况，本发明专利技术实现了结合烟支特征与烟雾特征的吸烟行为检测；针对传统烟雾检测中小烟雾检测准确率较低的问题，本发明专利技术完成了一种基于特征融合的烟雾检测技术；为了在监控中实现实时检测，本发明专利技术设计了一种基于深度可分离卷积改进yolo v5的轻量化烟支检测模型。实验结果表明，本发明专利技术所提供的吸烟行为检测方法具有较高的准确率和鲁棒性，能够有效地区分吸烟和非吸烟行为，并且在不同光照、阴影和遮挡等复杂环境下仍能够保持良好的检测效果。复杂环境下仍能够保持良好的检测效果。复杂环境下仍能够保持良好的检测效果。

【技术实现步骤摘要】
一种视频监控下的吸烟行为检测方法


[0001]本专利技术属于模式识别
，具体涉及一种吸烟行为检测方法。

技术介绍

[0002]吸烟不仅危害自己和他人身体健康，因吸烟引发的火灾造成的生命和财产损失更是无法估量。我国具有庞大的吸烟群体，在交通工具、加油站、飞机场、办公室、化工厂、森林等地吸烟极易引起火灾，造成重大经济损失和人员伤亡，因此在公共场所、安全生产中做好对吸烟行为的管控是一项必不可少的安全保障工作。
[0003]最初对吸烟行为检测主要是通过人工查看过往监控视频的方式，容易出现疲劳漏检的问题。通过传感器等方式检测吸烟行为大大提高了检测的智能化程度，减少对人力和时间的浪费，提高检测效率和检测质量。目前的检测方式有烟雾传感器、图像等。随着人工智能的普及和发展，通过视频监控检测吸烟行为被逐步应用。但由于目前的吸烟行为检测方式多算法大多是集中在单独检测吸烟动作或者烟雾特征上，该方法在环境发生变化时会容易造成误判、漏判。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种视频监控下的吸烟行为检测方法，针对复杂环境下对烟雾和烟支的误检、漏检状况，本专利技术实现了结合烟支特征与烟雾特征的吸烟行为检测；针对传统烟雾检测中小烟雾检测准确率较低的问题，本专利技术完成了一种基于特征融合的烟雾检测技术；为了在监控中实现实时检测，本专利技术设计了一种基于深度可分离卷积改进yolo v5的轻量化烟支检测模型。实验结果表明，本专利技术所提供的吸烟行为检测方法具有较高的准确率和鲁棒性，能够有效地区分吸烟和非吸烟行为，并且在不同光照、阴影和遮挡等复杂环境下仍能够保持良好的检测效果。
[0005]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0006]步骤1：读取监控视频，分割视频序列，得到图像数据集；
[0007]步骤2：通过运动的方法检测烟雾区域，即利用帧差法提取运动的前景图像，确定前景中可能是烟雾的区域；将前景图像通过滤波算子，排除非烟雾区域；将最终的烟雾区域进行交叉分块处理，提取到多块尺寸相同的烟雾图像；
[0008]步骤3：对步骤2得到的烟雾图像分别提取局部纹理特征与灰度直方图特征，然后将这两种特征做归一化后相加，得到融合的特征图，再利用特征图训练支持向量机分类器；将待检测的融合特征图通过训练好的支持向量机分类器，实现烟雾检测；
[0009]步骤4：在检测到烟雾后，对图像数据集中的所有图像上的烟支进行标注；将图像通过自适应缩放和填充统一所有图像的分辨率，并进行自适应锚框计算和图像特征增强；
[0010]步骤5：构建烟支检测模型，烟支检测模型的骨干网络部分保留Yolov5的Focus结构，使用融合压缩激发注意力机制的残差结构替换Yolov5的原有的CSPBlock结构；融合压缩激发注意力机制的残差结构由两个分支组成，第一个分支是该结构的主干部分在卷积神
经网络的基础上融合了一个注意力模块，第二个分支将输入通过跳跃连接到主干部分的输出直接与第一个分支的结果相加，从而得到融合压缩激发注意力机制的残差结构的输出；在烟支检测模型中使用深度可分离卷积替代卷积，实现模型的轻量化；
[0011]步骤6：调节烟支检测模型的学习率、批次大小、迭代次数、卷积核尺寸和网络优化函数参数，提高模型的学习性能和效果；
[0012]步骤7：通过步骤6的训练，得到一个轻量化的烟支检测模型，当输入待检测图像时，依据该模型检测人手中是否持有烟支；
[0013]步骤8：综合烟支检测与烟雾检测的结果判断吸烟行为，若同时检测到烟支和烟雾，则判断为吸烟行为；反之，则不是吸烟行为。
[0014]优选地，所述步骤2具体为：
[0015]利用帧差法检测图像中的运动目标，即通过当前帧与过去帧的变化，确定烟雾的可能范围；采用当前帧与过去10帧的差值，提取可能包含烟雾轮廓的背景图：
[0016]帧差法计算公式如下：
[0017][0018]其中I
t
是当前图像，I
t
‑
10
是过去10帧的图像，δ是灰度阈值，D是计算生产的新图像，m,n表示图像中每个像素点的位置坐标；
[0019]得到可能包含烟雾轮廓的前景图之后，对前景图像进行滤波，排除非烟雾区域；再采用多个尺寸相同的矩形框，对图像的烟雾区域进行交叉分块处理，分块后的烟雾图像尺寸通过缩放调整至64
×
64。
[0020]优选地，所述步骤3具体为：
[0021]步骤3
‑
1：提取局部纹理特征：
[0022]步骤3
‑1‑
1：将烟雾图像划分为64个8
×
8的图像子块，计算每个子块中每个像素的LBP值；
[0023]步骤3
‑1‑
2：对每个子块进行直方图统计；
[0024]步骤3
‑1‑
3：对所有图像子块的直方图进行归一化处理；
[0025]步骤3
‑1‑
4：连接所有子块的归一化直方图，得到烟雾图像的纹理特征；
[0026]步骤3
‑
2：计算烟雾图像的梯度直方图特征：
[0027]步骤3
‑2‑
1：对烟雾图像进行Gamma归一化；
[0028]步骤3
‑2‑
2：计算烟雾图像在水平及垂直方向上的梯度，然后得到每个像素的梯度；
[0029]步骤3
‑2‑
3：将烟雾图像划分为若干个8
×
8的图像子块，将每个子块按照像素梯度平均分为9个方向，统计每个子块的梯度直方图；
[0030]步骤3
‑2‑
3：将相邻的2
×
2个子块梯度直方图特征串联，得到梯度直方图特征；
[0031]步骤3
‑
3：将局部纹理特征和梯度直方图特征进行归一化并相加，得到最终融合的特征图；再将特征图按列展开，形成一个64维的特征向量；
[0032]步骤3
‑
4：构建一个支持向量机分类器，核函数采用多项式核函数，利用64维的特征向量训练SVM分类器；
[0033]步骤3
‑
5：训练完成后，将待检测的融合特征图通过训练好的支持向量机分类器，实现烟雾检测。
[0034]优选地，所述支持向量机分类器在训练时错误项的惩罚系数c＝1.0，核函数系数g＝0.5，停止训练的误差精度10
‑3。
[0035]优选地，所述步骤5具体为：
[0036]输入图像后，烟支检测模型的骨干网络部分首先对图像进行隔点下采样，并对采样后的图像进行拼接重组，使得图像由原来的RGB三通道变为12个通道，再通过一个具有32层通道的卷积层，输出一个32个特征层；紧接着通过融合压缩激发注意力机制的残差结构，该结构的主干部分先后通过一个1
×
1的卷积层与K
×
K的深度可分离卷积层，每个卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频监控下的吸烟行为检测方法，其特征在于，包括以下步骤：步骤1：读取监控视频，分割视频序列，得到图像数据集；步骤2：通过运动的方法检测烟雾区域，即利用帧差法提取运动的前景图像，确定前景中可能是烟雾的区域；将前景图像通过滤波算子，排除非烟雾区域；将最终的烟雾区域进行交叉分块处理，提取到多块尺寸相同的烟雾图像；步骤3：对步骤2得到的烟雾图像分别提取局部纹理特征与灰度直方图特征，然后将这两种特征做归一化后相加，得到融合的特征图，再利用特征图训练支持向量机分类器；将待检测的融合特征图通过训练好的支持向量机分类器，实现烟雾检测；步骤4：在检测到烟雾后，对图像数据集中的所有图像上的烟支进行标注；将图像通过自适应缩放和填充统一所有图像的分辨率，并进行自适应锚框计算和图像特征增强；步骤5：构建烟支检测模型，烟支检测模型的骨干网络部分保留Yolov5的Focus结构，使用融合压缩激发注意力机制的残差结构替换Yolov5的原有的CSPBlock结构；融合压缩激发注意力机制的残差结构由两个分支组成，第一个分支是该结构的主干部分在卷积神经网络的基础上融合了一个注意力模块，第二个分支将输入通过跳跃连接到主干部分的输出直接与第一个分支的结果相加，从而得到融合压缩激发注意力机制的残差结构的输出；在烟支检测模型中使用深度可分离卷积替代卷积，实现模型的轻量化；步骤6：调节烟支检测模型的学习率、批次大小、迭代次数、卷积核尺寸和网络优化函数参数，提高模型的学习性能和效果；步骤7：通过步骤6的训练，得到一个轻量化的烟支检测模型，当输入待检测图像时，依据该模型检测人手中是否持有烟支；步骤8：综合烟支检测与烟雾检测的结果判断吸烟行为，若同时检测到烟支和烟雾，则判断为吸烟行为；反之，则不是吸烟行为。2.根据权利要求1所述的一种视频监控下的吸烟行为检测方法，其特征在于，所述步骤2具体为：利用帧差法检测图像中的运动目标，即通过当前帧与过去帧的变化，确定烟雾的可能范围；采用当前帧与过去10帧的差值，提取可能包含烟雾轮廓的背景图：帧差法计算公式如下：其中I
t
是当前图像，I
t
‑
10
是过去10帧的图像，δ是灰度阈值，D是计算生产的新图像，m,n表示图像中每个像素点的位置坐标；得到可能包含烟雾轮廓的前景图之后，对前景图像进行滤波，排除非烟雾区域；再采用多个尺寸相同的矩形框，对图像的烟雾区域进行交叉分块处理，分块后的烟雾图像尺寸通过缩放调整至64
×
64。3.根据权利要求2所述的一种视频监控下的吸烟行为检测方法，其特征在于，所述步骤3具体为：步骤3
‑
1：提取局部纹理特征：步骤3
‑1‑
1：将烟雾图像划分为64个8
×
8的图像子块，计算每个子块中每个像素的LBP
...

【专利技术属性】
技术研发人员：沈钧戈，武迎龙，毛昭勇，王亦晨，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：