一种基于图神经网络的抽烟识别方法技术

本发明专利技术公开了一种基于图神经网络的抽烟识别方法，构建了一种可以自动识别正在抽烟的人的深度学习框架，通过监控摄像头获取人体框图，通过卷积神经网络获取人体动作关键点特征以及香烟附属物特征。通过图神经网络对这两种特征进行建模和解析。对比普通的目标检测算法，本发明专利技术能够在减少因只检测到香烟而产生的误报，和由于遮挡香烟产生的漏报；且相对于属性分类算法，在新场景下拥有更强的鲁棒性和泛化能力。化能力。化能力。

【技术实现步骤摘要】
一种基于图神经网络的抽烟识别方法


[0001]本专利技术属于图神经网络深度学习
，涉及一种基于图神经网络的抽烟识别方法。

技术介绍

[0002]抽烟不仅有害身体健康，且一直是室内火灾的主要原因。随着深度学习的发展，出现了以深度学习技术为基础的自动抽烟识别算法。近年来一些有代表性的工作有：
[0003]1.CN201910082457.4基于深度学习的抽烟检测分析系统。该专利技术以视频流为输入，通过多尺度卷积融合机制对画面中的香烟、车牌、车窗等物体进行目标检测。但是应用场景单一，仅适用于卡口等监控场景检测是否有驾驶员抽烟行为。没有考虑到动作特征以及存在遮挡目标的情况。
[0004]2.CN202111511659.X一种安全帽佩戴与抽烟检测的安全监控方法。该专利技术以图片为输入，在电力厂房场景下，通过OpenPose算法获取人体关键点特征，通过yolov5获取附属物特征。虽然使用了人体关键点信息，但对于关键点的特征处理过于简单、仅停留在空间关系的先验处理上，例如若手部附近有香烟就将其判断为抽烟，但没用考虑到抽烟整体动作。在实际使用中还需要合理设置阈值等超参数，应用较为繁琐、泛化性不强。且采用了两种特征提取算法，每次都需要单独训练，也造成了硬件资源的浪费。
[0005]3.CN202110795174.1一种基于多模型的驾驶员抽烟检测方法。该专利技术将驾驶员抽烟检测区域图像输入至抽烟手势识别模型和香烟区域识别模型。获取抽烟手势识别的概率图和香烟识别的概率图；对抽烟手势识别的概率图和香烟识别的概率图的结果进行分析，当同时识别到抽烟手势以及香烟时，则检测出驾驶员在抽烟。通过实例分割模型获取香烟特征，但本方法的应用场景过于理想，对于手势、香烟这种过于小和精细的目标，在实际场景中存在遮挡、模糊、光照不足的情况下效果会很不理想。采用实例分割也使得该专利技术的样本数据标注成本过高，如果有新场景新需求的加入，会消耗大量标注时间和人力成本。且采用了多模型的方案，无法实现端到端训练和测试。
[0006]为了解决上述问题，本专利技术采用了图神经网络这一结构，对获取的关键点特征和香烟附属物特征进行更深层的建模和学习，使得算法能够学习到更为本质的抽烟特征，极大减少了误报和漏报，在新场景下也可以迅速投入使用且保障了算法精度。且本专利技术所采用的特征提取模型共有同一个算法骨架，这一设置减少了模型参数量、提升了算法运行速度，且能够实现端到端训练和检测。

技术实现思路

[0007]为实现更有效的抽烟识别，本专利技术提供一种基于图神经网络的抽烟识别方法，该方法中采用了统一的特征提取网络，并采用图神经网络这一结构以学习更本质的抽烟特征。
[0008]本专利技术采用技术方案如下：
[0009]一种基于图神经网络的抽烟识别方法，包括：
[0010]S1.建立数据集：在需要设置该算法的场所设置监控摄像头，以监控摄像头的画面为输入，每隔若干帧抽取一张图片，标注人体关键点和香烟框图。若画面中有人正在抽烟，将图片标注为“抽烟”，下文称之为“正样本”，若无人抽烟画面中则标注为“无抽烟”，下文称之为“负样本”。
[0011]S2.利用上述数据集在基于图神经网络的抽烟识别模型中进行训练
[0012]所述的抽烟识别模型包含骨架网络、目标检测子网络、关键点特征提取网络、图卷积神经网络。
[0013]所述骨架网络选用ResNet50，接受输入图片I，第3,4,5个卷积层的特征图C3,C4,C5,作为骨架网络的输出；
[0014]所述目标检测子网络选用RetinaNet网络，包含FPN模块、检测框图子网络和检测分类子网络。FPN模块接受C3,C4,C5为输入，检测框图子网络和检测分类子网络以FPN的输出为输入，分别输出图片第i个香烟附属物的框图B
i
和可见值v；若检测到香烟，置v为1，反之为0。
[0015]所述关键点特征提取网络选用KeyPointRCNN，与目标检测子网络共用骨架网络，输出为N*3的矩阵，N优选为17，即包含人体的17个关键点的信息，(关键点的设置参考coco数据集，0:鼻子、1:左眼、2:右眼、3:左耳、4:右耳、5:左肩、6:右肩、7:左肘、8:右肘、9:左腕、10:右腕、11:左胯、12:右胯、13:左膝、14:右膝、15:左踝、16:右踝)，以及各个关键点的x,y,v。x,y代表坐标，v代表可见与否，若可见，置v为1，反之为0。
[0016]将获取到的香烟附属物的框图B
i
，计算得到其中心点，与关键点特征提取网络的输出合并为(N+1)*3的矩阵A。同时添加一个1维的向量标志物(token)表明图中人是否有在抽烟，最后成为(N+2)*3的矩阵B。
[0017]所述图卷积神经网络以B为输入，输出为标志物token，若为0向量则表明无抽烟，若为1向量则表明有人抽烟。
[0018]进一步的，输入I均统一到相同大小，并进行了数据增强和归一化处理。
[0019]进一步的，选用ImageNet预训练模型作为初始模型，在进行上述训练前还采用公开数据集(coco关键点数据集)进行预训练。
[0020]进一步的，本数据集的标注也为矩阵B的(N+2)*3格式，用于训练图卷积神经网络。在进行预训练之后，也可以采用网络对负样本实现自动标注，以节约标注成本和时间。
[0021]本专利技术采用了图神经网络这一结构，对获取的关键点特征和香烟附属物特征进行更深层的建模和学习，对比普通的目标检测算法，本专利技术能够在减少因只检测到香烟而产生的误报，和由于遮挡香烟产生的漏报；在新场景下也可以迅速投入使用且保障算法精度，拥有更强的鲁棒性和泛化能力。且本专利技术所采用的特征提取模型共有同一个算法骨架，这一设置减少了模型参数量、提升了算法运行速度，且能够实现端到端训练和检测。
附图说明
[0022]图1特征提取网络训练流程图；
[0023]图2基于图神经网络的抽烟识别算法端到端训练流程图；
具体实施方式
[0024]下面结合附图和具体实施方式对本专利技术做进一步阐述和说明。本专利技术中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
[0025]实施例
[0026]某公司在生产过程中，由于安全生产的需求，需要在多个场所对员工的抽烟行为进行监测。
[0027]1.数据集构建
[0028]本实施例中建立了一套数据收集系统，通过设置在各个场所的监控摄像头收集了150小时的视频数据，每隔24秒抽取一帧，并用基于yolov5的开源人体检测算法，获取了40000张有效人体样本，其中有3500张抽烟的正样本。标注所有样本的17个人体关键点和香烟的位置，以及其可见与否。合并为18*3的矩阵。同时添加一个1维的向量标志物(token)表明图中人是否有在抽烟。最后成为19*3的矩阵。
[0029]2.抽烟识别算法训练
[0030]如图1所示，在进行端到端训练时，先进行特征提取模块网络的预训练，即选用Im本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的抽烟识别方法，其特征在于，包括如下：S1.建立数据集：对监控图片标注人体关键点和香烟框图，若画面中有人正在抽烟，将图片标注为“抽烟”，为正样本，若无人抽烟画面中则标注为“无抽烟”，为负样本；S2.利用上述数据集在基于图神经网络的抽烟识别模型中进行训练；所述的抽烟识别模型包含骨架网络、目标检测子网络、关键点特征提取网络、图卷积神经网络；所述骨架网络选用ResNet50，接受输入图片I，第3,4,5个卷积层的特征图C3,C4,C5作为骨架网络的输出；所述目标检测子网络选用RetinaNet网络，包含FPN模块、检测框图子网络和检测分类子网络；FPN模块接受C3,C4,C5为输入，检测框图子网络和检测分类子网络以FPN的输出为输入，分别输出图片第i个香烟附属物的框图B
i
和可见值v；若检测到香烟，置v为1，反之为0；所述关键点特征提取网络选用KeyPointRCNN，与目标检测子网络共用骨架网络，输出为N*3的矩阵，包含人体的N个关键点的信息以及各个关键点的x,y,v；x,y代表坐标，v代表可见与否，若可见，置v为1，反之为0；将获取到的香烟附属物的框图B
i
，计算得到其中...

【专利技术属性】
技术研发人员：徐建民，毛维杰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：