吸烟检测方法、系统、设备及介质技术方案

本申请提出了一种吸烟检测方法、系统、设备及介质，该方法包括：获取各个角度的人脸图像与待融合目标物图像，对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像，将所述吸烟图像与非吸烟图像构成数据集；基于所述数据集建立神经网络模型，进行训练，得到吸烟检测模型；获取待测的目标检测视频，将所述目标检测视频的目标图像输入所述吸烟检测模型进行检测，得到预测概率；根据所述目标图像的预测概率确定所述目标检测视频的吸烟结果，通过以多个角度的人脸图像为基础将待融合目标物图像进行融合处理，得到丰富数据集，通过该数据集训练得到烟检测模型大大提高了吸烟检测的准确度、泛化能力、以及场景迁移的通用能力。的通用能力。的通用能力。

【技术实现步骤摘要】
吸烟检测方法、系统、设备及介质


[0001]本申请涉及视频监控或图像处理领域，尤其涉及一种吸烟检测方法、系统、设备及介质。

技术介绍

[0002]吸烟有害健康，尤其在公共环境下吸烟会造成的如下危害：污染公共场合的空气，造成他人被动吸烟；随意丢弃烟头，若碰到公共场合的易燃易爆物品，容易造成火灾。因现在还有很多公民没有主动遵守公共管理准则，还需要人力去巡检，进行吸烟检测，必然需要投入大量的人力物力。随着人工智能的快速发展，越来越多的深度学习算法应用在解决公共环境下的吸烟检测上。
[0003]现有的吸烟检测算法中，有的是基于图像直接进行吸烟检测判断，通过检测算法判断图片中是否有点燃的香烟，主要使用的检测算法有目标检测SSD(Single Shot MultiBox Detector) 算法、Faster RCNN(Regions with CNN features)算法以及YOLO(You Only Look Once)算法等，如果判断出有点燃的香烟，就进行吸烟提示报警。然而，现有的数据集在训练检测模型时，由于数据集单一，造成该检测模型在实际应用场景中检测精度较低，无法满足车辆行驶中对驾驶员抽烟行为准确检测。
[0004]申请内容
[0005]鉴于以上所述现有技术的缺点，本申请提供一种吸烟检测方法、系统、设备及介质，以解决上述技术问题。
[0006]本申请提供的一种吸烟检测方法，所述方法包括:
[0007]获取各个角度的人脸图像与待融合目标物图像，所述待融合目标物图像包括香烟图像、烟雾图像、手持香烟图像中的至少之一；
[0008]对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像；将所述吸烟图像和非吸烟图像构成数据集；
[0009]基于所述数据集建立神经网络模型，进行训练，得到吸烟检测模型；
[0010]获取待测的目标检测视频，将所述目标检测视频的目标图像输入所述吸烟检测模型进行检测，得到预测概率；根据所述目标图像的预测概率确定所述目标检测视频的吸烟结果，其中，所述目标图像为所述目标检测视频中目标人物的人脸图像。
[0011]在一种可能的实施方式中，对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像，包括：
[0012]对所述人脸图像的角度进行计算，确定人脸姿态旋转角，其中，利用不同的所述人脸姿态旋转角来表征各个角度；
[0013]根据所述人脸图像的人脸姿态旋转角确定待融合目标物图像投影至所述人脸图像的投影位置、投影大小与投影角度；
[0014]按照所述投影大小与所述投影角度对所述待融合目标物图像进行仿射变换，确定变换后的待融合目标物图像；
[0015]根据所述投影位置与所述投影角度将所述待融合目标物图像添加到所述人脸图像进行合并处理，得到吸烟图像；和，将所述人脸图像中不含待融合目标物的图像确定为非吸烟图像。
[0016]在一种可能的实施方式中，根据所述投影位置与所述投影角度将所述待融合目标物图像添加到所述人脸图像进行合并处理之前，还包括：
[0017]对所述人脸图像中嘴部区域的模糊度进行计算，得到嘴部像素值；
[0018]根据所述嘴部像素值调节所述待融合目标物图像的像素点，直到所述待融合目标物图像的模糊度与嘴部区域的模糊度相同为止。
[0019]在一种可能的实施方式中，根据所述人脸图像的人脸姿态旋转角确定待融合目标物图像投影至所述人脸图像的投影位置、投影大小与投影角度，还包括：
[0020]所述人脸姿态旋转角为三维旋转角，所述三维旋转角包括绕X轴旋转的导向角、绕Y轴旋转的俯视角、绕Z轴旋转的翻滚角；
[0021]利用所述人脸图像的三维旋转角确定待融合目标物图像投影至二维的目标图像中投影位置、投影大小与投影角度。
[0022]在一种可能的实施方式中，按照所述投影大小与所述投影角度对所述待融合目标物图像进行仿射变换，确定变换后的待融合目标物图像，还包括：
[0023]依据所述投影大小对所述待融合目标物图像进行缩放处理，得到缩放后的待融合目标物图像；
[0024]按照所述投影大小与所述投影角度对缩放后的所述待融合目标物图像进行仿射变换，得到变换后的待融合目标物图像。
[0025]在一种可能的实施方式中，根据所述投影位置与所述投影角度将所述待融合目标物图像添加到所述人脸图像进行合并处理，得到吸烟图像，还包括：
[0026]根据所述人脸图像的人脸关键点与嘴部区域关键点计算人脸图像与待融合目标物图像的融合区域；
[0027]以所述人脸图像为背景且所述待融合目标物图像为前景，在所述融合区域所对应的位置坐标进行加权融合，得到合并处理的吸烟图像；
[0028]对合并处理的所述吸烟图像中的目标物轮廓进行羽化处理，得到最终的吸烟图像。
[0029]在一种可能的实施方式中，基于所述数据集建立神经网络模型，进行训练，得到吸烟检测模型，包括：
[0030]将所述数据集按比例划分为训练集、测试集与验证集；
[0031]构建神经网络模型，所述神经网络模型为Yolov5网络模型；所述Yolov5网络模型基于 FPN+PAN结构来提取烟点特征；其中，利用FPN结构提取不同尺度的特征图，所述特征图至少包括第一特征图、第二特征图与第三特征图，将所述第一特征图的一次上采样至第二特征图的大小；将一次上采样的第二特征图与原有第二特征图融合后再进行二次上采样，与原有第三特征图进行融合，得到预测的第三特征图，从上至下依次进行上采样传递融合；利用PAN 结构将所述第三特征图的一次下采样至第二特征图的大小；将一次下采样的第二特征图与原有第二特征图融合后再进行二次下采样，与原有第一特征图进行融合，得到预测的第一特征图，从下至上传递定位特征。
[0032]利用所述训练集的样本数据提取的烟点特征对Yolov5网络模型进行训练，得到吸烟检测模型；
[0033]利用所述测试集与验证集的样本数据分别对吸烟检测模型进行测试与验证，得到最终的吸烟检测模型。
[0034]本申请还提供了一种吸烟检测系统，所述系统包括：
[0035]获取模块，获取各个角度的人脸图像与待融合目标物图像，所述待融合目标物图像包括香烟图像、烟雾图像、手持香烟图像中的至少之一；
[0036]数据集生成模块，对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像；将所述吸烟图像和非吸烟图像构成数据集；
[0037]模型构建模块，基于所述数据集建立神经网络模型，进行训练，得到吸烟检测模型；
[0038]吸烟检测模块，用于获取待测的目标检测视频，将所述目标检测视频的目标图像输入所述吸烟检测模型进行检测，得到预测概率；根据所述目标图像的预测概率确定所述目标检测视频的吸烟结果，其中，所述目标图像为所述目标检测视频中目标人物的人脸图像。
[0039]本申请还提供了一种电子设备，包括处理器、存储器和通信总线；
[0040]所述通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种吸烟检测方法，其特征在于，所述方法包括：获取各个角度的人脸图像与待融合目标物图像，所述待融合目标物图像包括香烟图像、烟雾图像、手持香烟图像中的至少之一；对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像；将所述吸烟图像和非吸烟图像构成数据集；基于所述数据集建立神经网络模型，进行训练，得到吸烟检测模型；获取待测的目标检测视频，将所述目标检测视频的目标图像输入所述吸烟检测模型进行检测，得到预测概率；根据所述目标图像的预测概率确定所述目标检测视频的吸烟结果，其中，所述目标图像为所述目标检测视频中目标人物的人脸图像。2.如权利要求1所述的方法，其特征在于，对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像，包括：对所述人脸图像的角度进行计算，确定人脸姿态旋转角，其中，利用不同的所述人脸姿态旋转角来表征各个角度；根据所述人脸图像的人脸姿态旋转角确定待融合目标物图像投影至所述人脸图像的投影位置、投影大小与投影角度；按照所述投影大小与所述投影角度对所述待融合目标物图像进行仿射变换，确定变换后的待融合目标物图像；根据所述投影位置与所述投影角度将所述待融合目标物图像添加到所述人脸图像进行合并处理，得到吸烟图像；和，将所述人脸图像中不含待融合目标物的图像确定为非吸烟图像。3.如权利要求2所述的方法，其特征在于，根据所述投影位置与所述投影角度将所述待融合目标物图像添加到所述人脸图像进行合并处理之前，还包括：对所述人脸图像中嘴部区域的模糊度进行计算，得到嘴部像素值；根据所述嘴部像素值调节所述待融合目标物图像的像素点，直到所述待融合目标物图像的模糊度与嘴部区域的模糊度相同为止。4.如权利要求3所述的方法，其特征在于，根据所述人脸图像的人脸姿态旋转角确定待融合目标物图像投影至所述人脸图像的投影位置、投影大小与投影角度，还包括：所述人脸姿态旋转角为三维旋转角，所述三维旋转角包括绕X轴旋转的导向角、绕Y轴旋转的俯视角、绕Z轴旋转的翻滚角；利用所述人脸图像的三维旋转角确定待融合目标物图像投影至二维的目标图像中投影位置、投影大小与投影角度。5.如权利要求2至4任一所述的方法，其特征在于，按照所述投影大小与所述投影角度对所述待融合目标物图像进行仿射变换，确定变换后的待融合目标物图像，还包括：依据所述投影大小对所述待融合目标物图像进行缩放处理，得到缩放后的待融合目标物图像；按照所述投影大小与所述投影角度对缩放后的所述待融合目标物图像进行仿射变换，得到变换后的待融合目标物图像。6.如权利要求2至4任一所述的方法，其特征在于，根据所述投影位置与所述投影角度将所述待融合目标物图像添加到所述人脸图像进行合并处理，得到吸烟图像，还...

【专利技术属性】
技术研发人员：黄羽，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：