【技术实现步骤摘要】
本专利技术涉及人工智能分析，具体涉及一种基于时空联合的室内抽烟行为识别方法、系统和装置。
技术介绍
1、在烟草制品以及烟雾中有93种致癌、致畸、致瘾、致毒的物质，其化学物质高达4000多种。如果长期吸入二手烟，其危害比一手烟的还要高，鼻腔、咽喉和呼吸道都会受到一定的刺激,二手烟中的尼古丁会刺激人的大脑，影响大脑血管，损害人的智力。可见，在健康方面，二手烟的危害很大。
2、此外，在安全方面，吸烟容易引发火灾，室内抽烟引发火灾的案例屡见不鲜。
3、因此，室内抽烟行为检测技术的研究很有必要。
4、当前抽烟检测方法大致分为两类，第一类是基于空域的目标检测方法，把视频的每一帧单独图片单独进行检测，检测出有香烟这个类别即判定有抽烟行为发生。若有人拿着烟不抽或者把烟放在桌子上，此时没有发生抽烟行为，但也会被判定为抽烟。因此，仅采用基于空域的目标检测的方法进行室内抽烟行为检测，则存在不小的弊端，容易发生误检错检的情况。
5、第二类是基于时域的动作识别的方法，探讨如何更好的描述时域信息特征，融入前后帧的特征信息，检测出抽烟这个动作即判定为抽烟，但这种方法很容易把抽烟、喝水和摸嘴等相似动作混淆，在摄像头底下很容易被误解。因此，仅采用基于时域的动作识别的方法进行室内抽烟行为检测，也存在不小的弊端。
技术实现思路
1、本专利技术的目的是针对以上不足之处，提供了一种基于时空联合的室内抽烟行为识别方法、系统及装置，能够准确识别抽烟行为。
2、本专利技
3、一种基于时空联合的室内抽烟行为识别方法，包括：
4、搭建包括空域分支为基于目标检测的香烟、人脸检测模型，以及时域分支为基于行为识别的抽烟行为识别模型，并进行适合香烟小目标检测和多尺度目标检测的改进；
5、自建数据集用于基于目标检测的香烟、人脸检测模型和基于行为识别的抽烟行为识别模型的训练，对数据集的数据进行预处理，多次训练数据集并测试，直到达到设定的准确率，得到空域分支的香烟、人脸检测模型和时域分支的抽烟行为识别模型；
6、获取视频流数据进行实时检测，将视频流数据解码抽帧得到单帧图像，每隔连续的2帧取1帧，8帧为一组数据，并对每组数据进行处理，将每组数据输入训练好的空域分支的香烟、人脸检测模型和时域分支的抽烟行为识别模型，得到空域分支和时域分支的输出结果；
7、对得到的空域分支和时域分支的输出结果进行综合决策，其中时域分支的抽烟行为识别模型识别到抽烟动作，空域分支的香烟、人脸检测模型检测到香烟，则认定为抽烟；时域分支的抽烟行为识别模型没有识别到抽烟动作，空域分支的香烟、人脸检测模型检测到香烟，且检测到香烟和人脸区域重合度大于等于设定阈值，认定为抽烟，若小于设定阈值，认定为非抽烟；时域分支的抽烟行为识别模型识别到抽烟动作，空域分支的香烟、人脸检测模型没有检测到香烟，但没有检测到水杯，认定为抽烟，若检测到水杯，认定为非抽烟；时域分支的抽烟行为识别模型没有识别到抽烟动作，空域分支的香烟、人脸检测模型没有识别到香烟，则认定为非抽烟。
8、本专利技术进一步的改进在于，空域分支的基于目标检测的香烟、人脸检测模型，通过如下方法进行数据标注和模型优化：
9、数据标注：选择包含人脸、香烟、水杯的图片作为模型的训练数据集，分别标注图像中的人脸位置、香烟位置和水杯位置，三种目标尺度大小不一；
10、模型优化：在yolov5模型中添加预测层、ca注意力机制和加权双向特征金字塔网络bifpn，增强模型对小目标和多尺度目标的检测能力，具体优化方式如下：
11、1)添加预测层
12、yolov5模型只有3个预测层，当将尺寸为640×640的图像输入网络时，neck网络分别进行8倍、16倍和32倍下采样，对应的预测层特征图尺寸为80×80、40×40和20×20，分别用来检测小目标、中目标和大目标；为提升远距离小目标的识别准确率，在yolov5原始网络上增加一个预测层；在neck网络中增加1次上采样，第3次上采样后，与主干网络第2层融合，得到新增加的160×160的预测层，用以检测小目标，如表1所示；
13、表1各个预测层的感受野
14、 特征图 20x20 40x40 80x80 160x160 感受野 大 中 较小 小
15、2)添加ca注意力机制
16、在yolov5模型中添加ca注意力机制包括两个步骤：通道特征提取和通道注意力计算；在通道特征提取阶段，使用一个全局平均池化层来计算每个通道的平均值和最大值，然后将它们连接起来并通过一个全连接层来产生通道特征；在通道注意力计算阶段，使用一个sigmoid函数来将通道特征映射到[0,1]范围内，并将其应用于输入特征图中的每个像素点，以产生加权特征图；
17、3)添加加权双向特征金字塔网络bifpn
18、在yolov5模型的neck部分，yolov5采用了pan结构，bifpn对pan进行改进，bifpn能够适应不同的输入分辨率和目标大小，引入了可学习的权值来学习不同输入特征的贡献，同时反复应用自顶而下和自下而上的多尺度特征融合，增强模型对多尺度目标的检测能力。
19、本专利技术进一步的改进在于，时域分支的基于行为识别的抽烟行为识别模型，通过如下方法进行数据采集和模型训练：
20、数据采集：自建数据集以训练出适合室内的抽烟行为识别模型，采集的视频综合考虑以下因素，采集场景：客厅、卧室、办公室和卫生间；采集的吸烟者角度：正面、背面和侧面；采集者拍摄角度：近距离、远距离和俯拍；采集视频中的人数：单人和多人；光线；烟是否遮挡以及遮挡的比例；
21、模型训练：基于行为识别的抽烟行为识别模型，沿着时间维度移动部分通道，融合前后帧的特征信息，检测出抽烟这个动作即判定为抽烟；同时将训练集设置为两类，抽烟类和非抽烟类，将采集的、利用大数据获取的喝水、摸嘴和吃东西的视频添加进非抽烟类进行训练，增强模型的辨别能力；训练集的非抽烟类还包括站起来、坐下和走路日常室内动作。
22、本专利技术进一步的改进在于，实时检测时对每组数据的处理方式为：将每帧图像缩放到制指定大小，并通过填充黑边保持原图像的形状，将每组8个帧的图像作为用于实时识别的基于目标检测的香烟、人脸检测模型和基本文档来自技高网...
【技术保护点】
1.一种基于时空联合的室内抽烟行为识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，空域分支的基于目标检测的香烟、人脸检测模型，通过如下方法进行数据标注和模型优化：
3.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，时域分支的基于行为识别的抽烟行为识别模型，通过如下方法进行数据采集和模型训练：
4.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，实时检测时对每组数据的处理方式为：将每帧图像缩放到制指定大小，并通过填充黑边保持原图像的形状，将每组8个帧的图像作为用于实时识别的基于目标检测的香烟、人脸检测模型和基于行为识别的抽烟行为识别模型的输入。
5.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，获取视频流数据的方式采用摄像头获取。
6.一种基于时空联合的室内抽烟行为识别系统，其特征在于，包括：
7.根据权利要求6所述的一种基于时空联合的室内抽烟行为识别系统，其特征在于，数据处理模
8.根据权利要求6所述的一种基于时空联合的室内抽烟行为识别系统，其特征在于，数据处理模块中，获取视频流数据的方式采用摄像头获取。
9.一种基于时空联合的室内抽烟行为识别装置，其特征在于，包括：至少一个摄像头、至少一个存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现权利要求1-5中任一项所述的一种基于时空联合的室内抽烟行为识别方法的步骤。
...【技术特征摘要】
1.一种基于时空联合的室内抽烟行为识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，空域分支的基于目标检测的香烟、人脸检测模型，通过如下方法进行数据标注和模型优化：
3.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，时域分支的基于行为识别的抽烟行为识别模型，通过如下方法进行数据采集和模型训练：
4.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，实时检测时对每组数据的处理方式为：将每帧图像缩放到制指定大小，并通过填充黑边保持原图像的形状，将每组8个帧的图像作为用于实时识别的基于目标检测的香烟、人脸检测模型和基于行为识别的抽烟行为识别模型的输入。
5.根据权利要求1所述的一种基于时空联合的室内抽烟行为识别方法，其特征在于，获取视频流数据的方式采用摄像头获取。
6....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。