一种基于目标检测和图片语义分割算法的吸烟识别方法技术

本发明专利技术公开了一种基于目标检测和图片语义分割算法的吸烟识别方法，包括：YOLOv4模型构建和Unet模型构建，用收集到的图片数据训练多组参数下的YOLOv4和Unet模型；所述YOLOv4模型用于获取图片中手的位置；所述Unet模型用于获取图片中的手中的烟的位置，并同时将图片中带有特殊颜色和形状的像素点提取出来，用于判断图片中是否存在吸烟行为。本发明专利技术实用性强，实现自动化对监控视频中吸烟行为的检测，可以发现在禁止吸烟的场合的吸烟行为，防止因吸烟而产生的生产事故，避免人工检测带来的人工成本和可能产生的疏漏和经济损失，意义重大。意义重大。意义重大。

【技术实现步骤摘要】
一种基于目标检测和图片语义分割算法的吸烟识别方法


[0001]本专利技术涉及视频监控
和机器视觉领域，更具体的说，是一种基于目标检测和图片语义分割算法的吸烟识别方法。

技术介绍

[0002]在施工现场等对于火源较为敏感的地点，吸烟作为一种严格禁止的行为，是火灾产生的主要隐患。基于我国目前施工区情况，作业人员的安全意识普遍不强，存在侥幸心理，易于出现吸烟行为，大大增加了施工现场的安全风险，故检查施工现场人员是否存在吸烟行为是安全管理的重要工作。而传统的人工监督存在诸多缺点，如较高的人力成本，受监控人员状态和工作经验影响，易于产生因疲劳而产生疏漏的情况等。因此，我们需要一种稳定的，不受工作人员影响的基于监控视频的吸烟检测方法。

技术实现思路

[0003]本专利技术的目的是提供一种基于目标检测和图片语义分割算法的吸烟识别方法，以解决现有模式中人工检测吸烟行为所带来的疏漏和可能产生的火灾风险和经济损失等问题。
[0004]为了实现上述目的，本专利技术提供如下技术方案：
[0005]一种基于目标检测和图片语义分割算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测和图片语义分割算法的吸烟识别方法，其特征在于，包括：YOLOv4模型构建和Unet模型构建，用收集到的图片数据训练多组参数下的YOLOv4和Unet模型；所述YOLOv4模型用于获取图片中手的位置；所述Unet模型用于获取图片中的手中的烟的位置，并同时将图片中带有特殊颜色和形状的像素点提取出来，用于判断图片中是否存在吸烟行为。2.根据权利要求1所述的一种基于目标检测和图片语义分割算法的吸烟识别方法，其特征在于，筛选若干图片数据的方式如下：训练图片收集：通过摄像收集存在符合条件的正负样本的视频数据、提取其中的一部分不重复的帧作为训练用数据；训练图片标注：使用半自动图片标注方式，使用预训练的模型先进行标注，再通过人工修正产生符合要求的数据集；训练数据增强：对训练数据进行旋转和反射变换、翻转变换、缩放变换、尺度变换、对比度变换、随机擦除变换、杂声扰动和颜色变换，生成多组基于训练数据的变换后数据。3.根据权利要求1所述的一种基于目标检测和图片语义分割算法的吸烟识别方法，其特征在于，YOLOv4模型构建：构建主干特征提取网络CSPDarkent53、构建SPP结构和PANet结构的特征金字塔、构建yolo_head用于对提取特征进行预测；包括：构建CSPDarkent53神经网络用于提取特征，包括特征初步提取层DarknetConv2D_BN_Mish，CSP
input
＝DBM(X)∈R
(r
×
r
×
32)
，将结果分别经过三组，四组和五组CSP模块得到的用于检测远距离，中距离，近距离吸烟行为的特征图result
CSP3
＝CSP_3(input)∈R
(r/8
×
r/8
×
256)
，result
CSP4
＝CSP_4(input)∈R
(r/16
×
r/16
×
512)
，result
CSP5
＝CSP_5(input)∈R
(r/32
×
r/32
×
1024)
；构建SPP结构对五组CSP模块提取出的特征经过多层卷积后进行池化，卷积后的结果input
SPP
∈R
(r/32
×
r/32
×
512)
，SPP(input)＝concat(Maxpool(r1，input)，Maxpool(r2，input)，Maxpool(r3，input)，input) SPP(input)∈R
(r/32
×
r/32
×
2048)
；构建PANet结构对不同规模特征进行上采样，使得较远距离的手部信息可以结合周围的情况，得到更精确的判断；将SPP结构得到的输出和四组CSP得到的输出进行卷积，函数设为conv()，将卷积后SPP结构得到的输出进行上采样并与四组CSP得到的输出合并result
upsampling1
＝concat(conv(upsampling(SPP(input
SPP
)))，conv(result
CSP4
))，同理将合并结果进行卷积核上采样与经过三组CSP模块的结果进行合并；result
small
＝result
upsampling2
＝concat(conv(upsampling(result
upsampling1
))，conv(result
CSP3
))利用PANet结构进行下采样，将上采样后的结果再次下采样并和同规模的数据合并得到用于判断的结果；result
middle
＝concat(conv(downsampling(result
upsampling2
))，conv(result
CSP4
))
result
large
＝concat(conv(downsampling(result
middle
))，conv(SPP(input
SPP
))构建yolo_head用于对三个不同规模的样本框中是否存在手部图像的输出结果进行判断。在三个输出分支上设置正负和忽略样本的anchor并设置gtbox，损失函数分为loss(object)＝locationloss(object)+confidenceloss(object)+classloss(object)4.根据权利要求1所述的一种基于目标检测和图片语义分割算法的吸烟识别方法，其特征在于，构建Unet模型，先使用maxpool和卷积网络进行下采样，再使用卷积网络进行上采样，同层合并来提取特征，利用提取的特殊部分来判断手部图像是否存在烟，包括对输入object构建四组下采样网络，用于判断各种规模的图片部分中是否存在烟，四轮下采样后得到downfeaturemap1，downfeaturemap2，downfeaturemap3，downfeaturemap4；将各层下采样结果进行上采样和合并，用于结合图片周围情况进行判断，upfeaturemap3＝conv(concat(downfeaturemap3)，upsampling(downfeaturemap4))其余同理，得到upfeaturemap2，upfeaturemap1和最后与输入的object合并后得到的featuremap；最终得到的feature＝conv
n
(featuremap)即直接将特征矩阵转化为r0×
r0×
2的包含手部中是否存在烟的信息的语义张量；根据得到的语义张量，训练若干层神经网络以判断是否存在烟。5.根据权利要求1所述的一种基于目标检测和图片语义分割算法的吸烟识别方法，其特征在于，模型训练与选优：为YOLOv4和Unet模型设置不同参数、将训练数据中大部分用于训练YOLOv4和Unet模型，剩余部分用于测试；根据测试集结果作为标准，评判不同参数的效果、选取最优参数下学习出的模型作为结果。6.根据权利要求1所述的一种基于目标检测和图片语义分割算法的吸烟识别方法，其特征在于，训练图片收集：通过摄像收集符合条件和不符合条件的正负样本、提取其中的一部分不重复的帧作为训练用数据，包括：收集视频样本X
video
∈R
r
×
r
×3×
(Q*N)
，为四阶张量；提取训练数据{X
i
|i＝1，2，...，N}，X
i
∈R
r
×
r
×3为三阶张量，每隔Q帧提取一帧作为训练数据，X
i
＝X
video
(：，：，：，sample
i
...

【专利技术属性】
技术研发人员：程宏亮，刘宏，张鹏飞，苟蛟龙，罗艺闯，胡辉，马草，周鹏辉，
申请(专利权)人：美林数据技术股份有限公司，
类型：发明
国别省市：