一种抽烟行为检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种抽烟行为检测方法、装置、设备及存储介质，采用二级判断对抽烟行为进行检测，解决了单一使用目标检测方案准确率低的问题，同时该方法采用摄像头来进行间接检测具有覆盖面广，二十四小时实时不间断检测的能力，在降低人力成本的同时，能做到不漏检，不误检的效果，为工厂安全生产提供了基础。同时该方法具有实时且非接触式，多维度的检测的特点，是采用立体式的图像检测技术在工厂安全生产保障应用中的一环，同时具有很强的泛化能力和兼容性，通过训练可以适应不同环境的检测，后续将其应用在办公区域，学校区域，医院区域等区域中均是可以实现的。等区域中均是可以实现的。等区域中均是可以实现的。

【技术实现步骤摘要】
一种抽烟行为检测方法、装置、设备及存储介质


[0001]本专利技术涉及行为检测
，特别是涉及一种工厂场景下利用图像检测技术的抽烟行为检测方法、装置、设备及存储介质。

技术介绍

[0002]近年来，工厂安全事故频发，其中火灾所产生的危害和损失是最大的，而厂区抽烟烟头随意丢弃所引发的火灾更是数不胜数，因此对于火灾的预防，对于引发火灾的检测显得尤为重要，其中由于对于工人进行抽烟检测具有限制性，因此利用直接的方式收效甚微，但是现代化工厂中，摄像头无处不在，具有覆盖面广，部署较多，新增和减少都可以灵活定制的特性，同时随着卷积神经网络代表的深度学习的技术更加成熟，在工厂中的应用更加普及，催生出了很多利用神经网络图像检测技术来进行安全检测的例子。
[0003]现有技术中对于抽烟检测工厂也有一些方案，其中最传统的方案是，利用管理员巡视结合入场检查，通过人工查看的方法来进行，这种方法一般适用于人员较少以及厂区较小的地区，对于厂区较大，以及员工较多的工厂并不适用，同时采用这种方案对于人力消耗巨大，且无法做到24小时实时监控。
[0004]另外，个别工厂中采用烟雾报警器的方式来进行抽烟检测，此方案只适用于较小的室内环境中，对于开阔的工厂厂区以及室外场景该方案就不在适用，同样采用这个方式需要额外安装设备对于成本控制不利。
[0005]同样，随着图像检测技术的进步，也有方案是利用厂区摄像头采集图像，进行目标检测来实现抽烟检测，但是由于这种方案仅仅利用单一的目标检测方案来实现抽烟检测，其检测准确率达不到实际使用的水平，出现较多的误报和漏报反而会造成额外的筛查工作。

技术实现思路

[0006]鉴于上述问题，本专利技术提供用于克服上述问题或者至少部分地解决上述问题的一种抽烟行为检测方法、装置、设备及存储介质。采用二级判断对抽烟行为进行检测，解决了单一使用目标检测方案准确率低的问题，同时该方法采用摄像头来进行间接检测具有覆盖面广，二十四小时实时不间断检测的能力，在降低人力成本的同时，能做到不漏检，不误检的效果，为工厂安全生产提供了基础。
[0007]本专利技术提供了如下方案：
[0008]一种抽烟行为检测方法，包括：
[0009]利用训练完成的第一目标检测网络对多帧连续帧目标图片中的行人进行检测，获得多个行人检测框以及多个行人身体各部位关键点信息；所述目标图片为通过图像摄取设备获取到的目标区域的图片；所述行人身体各部位关键点信息用于确定行人的骨架信息；
[0010]利用多个所述行人检测框对同一ID的行人进行匹配，利用ST_GCN行为识别的算法进行动作行为识别生成第一次判断结果；
[0011]确定所述第一次判断结果存在抽烟行为，利用训练完成的第二目标检测网络对所述行人检测框内包含的香烟的位置进行检测确定香烟位置信息；
[0012]利用所述香烟位置信息以及所述行人的骨架信息通过先验知识对抽烟行为进行判断生成第二次判断结果；
[0013]确定所述第二次判断结果存在抽烟行为触发所述目标区域的声光报警器发出警告，并将检测结果上传至智慧监控系统。
[0014]优选地：所述第一目标检测网络以及所述第二目标检测网络均包括改进的YOLOV8目标检测网络；所述改进的YOLOV8目标检测网络包括C2f模块以及融合模块；所述C2f模块的block数量为3
‑6‑6‑
3且第一个卷积层的kenel为3*3；所述融合模块包括特征融合网络FPN和PAN。
[0015]优选地：所述改进的YOLOV8目标检测网络采用BCELosse作为分类损失loss，利用检测框CIOU_Loss作为位置信息Loss，所述检测框CIOU_loss如式1；分类的CLS_loss采用BCE_loss如式2以及关键点KP_loss如式4的多模态loss回归通过多维度确定检测框的类别、位置以及关键点信息；
[0016]CIOU_Loss＝1―IOU(t
′
,t)
ꢀꢀ
(式1)
[0017]其中，t
′
为GTbbox信息；
[0018]CLs_Loss＝BCE(c
′
n
,c
n
)
ꢀꢀꢀꢀꢀ
(式2)
[0019]BCE＝―((c
n
*logc
′
n
)+(1―c
n
)*log(1―c
′
n
))
ꢀꢀ
(式3)
[0020]其中，c
′
n
表示预测第n个样本为正样本的概率，c
n
表示第n个样本的标签值；
[0021][0022]其中，v
′
k
为关键点信息。
[0023]优选地：所述第一目标检测网络还包括KAPAO关键点检测网络；所述KAPAO关键点检测网络通过多任务损失函数将关键点信息集成到所述改进的YOLOV8目标检测网络产生的anchor信息中，利用关键点Loss函数来完成关键点检测。
[0024]优选地：利用ST_GCN行为识别的算法进行动作行为识别生成第一次判断结果；包括：
[0025]根据人体骨架特点将每一帧同一ID的行人的节点相连接，形成空间边界E
s
＝{v
ti
v
tj
|(i,j)∈H}；
[0026]其中，v
ti
代表第t帧第i个节点的位置，v
tj
代表第t帧第j个节点的位置；
[0027]将同一ID连续两帧的节点也连接成边，行成帧减图结构E
f
＝{v
ti
v
(t+1)i
}，建立单帧之间同一ID行人的图关系，以及帧与帧之间的同一ID行人的同一关节的图关系；
[0028]将所述行人的图关系以及所述关节的图关系作为输入矩阵，对其进行归一化处理；利用9组ST_GCN单元，交替GCN和TCN进行空间变换；所述GCN用于利用图卷积网络来学习空间中相邻关节的特征信息，所述TCN用于来学习时间序列中关节变化的特征；
[0029]利用GRAPH叠加时序和空间特征，采用ATT模块对不同关节进行加权，利用pooling得到每个序列的256维的特征向量，利用SoftMax函数进行分类得到所述第一次判断结果。
[0030]优选地：利用所述香烟位置信息以及所述行人的骨架信息通过先验知识对抽烟行为进行判断生成第二次判断结果；包括：
[0031]利用所述行人的骨架信息确定手腕关键点信息以及人体高度信息H；
[0032]计算获取的所述手腕关键点信息与所述香烟位置信息之间的欧式距离S，所述香烟位置信息包括香烟检测框重心；
[0033]根据所述欧式距离S与所述人体高度信息H的比例关系生成第二次判断结果。
[0034]优选地：所述欧式距离S与所述人体高度信息H的比例0.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抽烟行为检测方法，其特征在于，包括：利用训练完成的第一目标检测网络对多帧连续帧目标图片中的行人进行检测，获得多个行人检测框以及多个行人身体各部位关键点信息；所述目标图片为通过图像摄取设备获取到的目标区域的图片；所述行人身体各部位关键点信息用于确定行人的骨架信息；利用多个所述行人检测框对同一ID的行人进行匹配，利用ST_GCN行为识别的算法进行动作行为识别生成第一次判断结果；确定所述第一次判断结果存在抽烟行为，利用训练完成的第二目标检测网络对所述行人检测框内包含的香烟的位置进行检测确定香烟位置信息；利用所述香烟位置信息以及所述行人的骨架信息通过先验知识对抽烟行为进行判断生成第二次判断结果；确定所述第二次判断结果存在抽烟行为触发所述目标区域的声光报警器发出警告，并将检测结果上传至智慧监控系统。2.根据权利要求1所述的抽烟行为检测方法，其特征在于，所述第一目标检测网络以及所述第二目标检测网络均包括改进的YOLOV8目标检测网络；所述改进的YOLOV8目标检测网络包括C2f模块以及融合模块；所述C2f模块的block数量为3
‑6‑6‑
3且第一个卷积层的kenel为3*3；所述融合模块包括特征融合网络FPN和PAN。3.根据权利要求2所述的抽烟行为检测方法，其特征在于，所述改进的YOLOV8目标检测网络采用BCELosse作为分类损失loss，利用检测框CIOU_Loss作为位置信息Loss，所述检测框CIOU_loss如式1；分类的CLS_loss采用BCE_loss如式2以及关键点KP_loss如式4的多模态loss回归通过多维度确定检测框的类别、位置以及关键点信息；CIOU_Loss＝1―IOU(t
′
,t)
ꢀꢀ
(式1)其中，t
′
为GTbbox信息；CLs_Loss＝BCE(c
′
n
,c
n
)
ꢀꢀꢀꢀꢀ
(式2)BCE＝―((c
n
*logc
′
n
)+(1―c
n
)*log(1―c
′
n
))
ꢀꢀ
(式3)其中，c
′
n
表示预测第n个样本为正样本的概率，c
n
表示第n个样本的标签值；其中，v
′
k
为关键点信息。4.根据权利要求2所述的抽烟行为检测方法，其特征在于，所述第一目标检测网络还包括KAPAO关键点检测网络；所述KAPAO关键点检测网络通过多任务损失函数将关键点信息集成到所述改进的YOLOV8目标检测网络产生的anchor信息中，利用关键点Loss函数来完成关键点检测。5.根据权利要求1所述的抽烟行为检测方法，其特征在于，利用ST_GCN行为识别的算法进行动作行为识别生成第一次判断结果；包括：根据人体骨架特点将每一帧同一ID的行人的节点相连接，形成空间边界E
s

【专利技术属性】
技术研发人员：牟骏杰，邓博文，王鑫，肖杰，蔡华闽，李小兰，
申请(专利权)人：中国兵器装备集团自动化研究所有限公司，
类型：发明
国别省市：