违章动火检测模型的训练方法及利用该模型的检测方法技术

本发明专利技术公开了违章动火检测模型的训练方法及利用该模型的检测方法，训练方法包括以下步骤：S1图像形成训练集；S2得到违章动火检测模型；检测方法包括以下步骤：S1得到图像中各目标的类别及其检测框结果；S2得出是否存在违章动火行为。有益效果：本发明专利技术中公开的违章动火检测模型的训练方法克服了漏检、误检的问题，充分提升了现场动火图像检测结果准确性；本发明专利技术中公开的违章动火检测方法，充分提升了违章动火行为的判断准确性。违章动火行为的判断准确性。违章动火行为的判断准确性。

【技术实现步骤摘要】
违章动火检测模型的训练方法及利用该模型的检测方法

：
[0001]本专利技术专利属于动火作业现场违章动火检测
，具体涉及违章动火检测模型的训练方法及利用该模型的检测方法。

技术介绍
：
[0002]动火作业是指进行可能产生火花、火焰和炽热表面的临时性作业。常见的动火作业包括电焊、气焊(热切割)等。动火作业如不规范管理，极易导致火灾甚至是爆炸事故。因此安全是首先要保障的因素。安全保障既要保障动火作业人员和监护人员的人身安全，也要保障财产的安全。在动火作业管理工作上，“利用先进的科学技术提高安全预警”已经成为一种趋势。其中利用作业现场拍摄的视频图像信息和人工智能自动对现场动火作业进行违章分析和违章人员识别，并及时告警，可在一定程度上保障动火作业的规范和安全，避免事故的发生。
[0003]目前，已有一些自动检测火焰或烟雾的先进方法，如基于深度学习的单阶段检测目标算法如YOLO系列检测算法和两阶段检测目标算法如R
‑
CNN系列算法等，可实现对火焰或烟雾的智能检测。两阶段检测目标算法需要利用区域候选框方法产生一系列样本候选框，再通过卷积神经网络进行样本分类,检测精度较高；单阶段检测目标算法将提取候选框和分类两个任务融合到一个网络中，直接将目标边框定位问题转化为回归问题进行处理，因此提高了算法的实时性。
[0004]但是违章动火检测主要检测动火现场是否符合动火要求、动火作业是否违章，不仅仅需要检测大小形态变幻无常的火焰，还需要同时检测动火人员是否有防护措施(如是否佩戴防护面罩)以及是否有监护人、现场是否有灭火器等。上述基于深度学习的两种检测目标算法并不能实现作业现场违章动火的检测。在作业现场违章动火检测过程中，由于检测目标大小形态差异大，比如，动火操作人员的姿势多样，有站立作业的，有蹲下作业的；焊接时飞溅的火花有时只有一个高亮火点，有时则是喷溅出的大面积区域高亮火花，再加上作业现场背景的影响、光线的影响等，这些均导致了出现目标对象的漏检和误检问题，从而影响了违章动火行为的判断准确性。

技术实现思路
：
[0005]本专利技术的一个目的在于提供一种提升现场动火图像检测结果准确性的违章动火检测模型的训练方法。
[0006]本专利技术的另一个目的在于提供一种准确判断违章动火行为的违章动火检测方法。
[0007]本专利技术的技术方案一方面公开了违章动火检测模型的训练方法，其包括以下步骤：
[0008]S1：将动火作业现场场景图像整理成图像数据集，并对所述图像中的火焰、灭火器、人员以及防护面罩目标进行真实边界框标注和真实类别标注；上述标注过的所述图像形成训练集；
[0009]S2：利用步骤S1中的所述训练集对预先构建的Faster R
‑
CNN目标检测模型进行训练，得到违章动火检测模型；其中预先构建的Faster R
‑
CNN目标检测模型所使用的损失函数L为：
[0010]L＝λ1L
RPN
+λ2L
Fast RCNN
+λ3L
dist
[0011]其中L
RPN
是区域建议网络推荐候选区域产生的损失；L
Fast RCNN
是检测产生的损失；L
dist
是本专利技术根据动火场景中动火操作人员、防护面罩以及火焰的位置先验知识，引入的对火焰和防护面罩的检测框位置的约束项，用以指导训练过程中模型在更合理的区域内提取火焰和防护面罩的特征，同时优化检测框的位置，使训练的模型权重更优；λ1、λ2和λ3是三个超参数，用于对L
RPN
、L
Fast RCNN
和L
dist
三个函数的权重进行调整。
[0012]进一步的，所述步骤S2中，L
RPN
定义为：
[0013][0014]其中N
cls
表示一个最小批取值中的所有样本数量，λ
11
表示平衡权重参数，N
reg
表示每个特征图的像素点个数；i表示一个批处理中锚点anchor的索引；p
i
为锚点anchor预测为前景目标的概率；表示真实值的标注；表示预测值和真实的标注值之间的对数损失，用来计算；是回归损失，用来计算，R是smooth L1损失函数：
[0015][0016]t
i
＝{t
x
,t
y
,t
w
,t
h
}是一个向量，表示预测检测框的四个参数，(t
x
,t
y
)表示预测检测框的中心点坐标，t
w
和t
h
分别表示预测检测框的宽度和高度；是与t
i
维度相同的向量，表示真实边界框的中心点坐标、宽度和高度值。
[0017]进一步的，所述步骤S2中，L
Fast RCNN
定义为：
[0018]L
Fast RCNN
＝L
cls
(p,u)+λ
22
[u≥1]L
IOC
(t
u
,v)
[0019]其中，p是预测的所有目标类别概率；u是所有目标的真实类别概率，λ
22
表示平衡权重参数；L
cls
(p,u)是多分类的交叉熵损失函数：
[0020][0021]其中，N为检测出的实例个数，M为类别个数，u
ij
表示第i个实例属于类别j的真实概率，是一个二值指标；p
ij
为模型预测的第i个实例属于类别j的概率；
[0022]L
IOC
表示回归损失，用来计算，其中其中t
u
表示预测目标框的位置值；v表示目标框的真实位置值；(x,y)是目标框的中心点坐标，w和h分别是目标框的宽度和高度。
[0023]进一步的，所述步骤S2中，L
dist
定义为：
[0024]L
dist
＝u
k1
·
u
m2
[(x
k
‑
x
m
)2+(y
k
‑
y
m
)2]+u
k1
·
u
h3
[(x
k
‑
x
h
)2+(y
k
‑
y
h
)2][0025]其中设人员类别值为1，防护面罩类别值为2，火焰类别值为3，灭火器类别值为4；u
k1
表示第k个检测实例为人员类别且为动火操作人员的真实概率值，u
m2
表示第m个检测实例为防护面罩类别的真实概率，u
h3
表示第h个检测实例为火焰类别的真实概率；(x
k
,y...

【技术保护点】

【技术特征摘要】
1.违章动火检测模型的训练方法，其特征在于，其包括以下步骤：S1：将动火作业现场场景图像整理成图像数据集，并对所述图像中的火焰、灭火器、人员以及防护面罩目标进行真实边界框标注和真实类别标注；上述标注过的所述图像形成训练集；S2：利用步骤S1中的所述训练集对预先构建的Faster R
‑
CNN目标检测模型进行训练，得到违章动火检测模型；其中预先构建的Faster R
‑
CNN目标检测模型所使用的损失函数L为：L＝λ1L
RPN
+λ2L
FastRCNN
+λ3L
dist
其中L
RPN
是区域建议网络推荐候选区域产生的损失；L
FastRCNN
是检测产生的损失；L
dist
是本发明根据动火场景中动火操作人员、防护面罩以及火焰的位置先验知识，引入的对火焰和防护面罩的检测框位置的约束项；λ1、λ2和λ3是三个超参数。2.根据权利要求1所述的违章动火检测模型的训练方法，其特征在于，所述步骤S2中，L
RPN
定义为：其中N
cls
表示一个最小批取值中的所有样本数量，λ
11
表示平衡权重参数，N
reg
表示每个特征图的像素点个数；i表示一个批处理中锚点anchor的索引；p
i
为锚点anchor预测为前景目标的概率；表示真实值的标注；表示预测值和真实的标注值之间的对数损失，用来计算；是回归损失，用来计算，R是smooth L1损失函数：t
i
＝{t
x
,t
y
,t
w
,t
h
}是一个向量，表示预测检测框的四个参数，(t
x
,t
y
)表示预测检测框的中心点坐标，t
w
和t
h
分别表示预测检测框的宽度和高度；是与t
i
维度相同的向量，表示真实边界框的中心点坐标、宽度和高度值。3.根据权利要求1所述的违章动火检测模型的训练方法，其特征在于，所述步骤S2中，L
FastRCNN
定义为：L
FastRCNN
＝L
cls
(p,u)+λ
22
[u≥1]L
IOC
(t
u
,v)其中，p是预测的所有目标类别概率；u是所有目标的真实类别概率，λ
22
表示平衡权重参数；L
cls
(p,u)是多分类的交叉熵损失函数：其中，N为检测出的实例个数，M为类别个数，u
ij
表示第i个实例属于类别j的真实概率，是一个二值指标；p
ij
为模型预测的第i个实例属于类别j的概率；
L
IOC
表示回归损失，用来计算，其中其中t
u
表示预测目标框的位置值；v表示目标框的真实位置值；(x,y)是目标框的中心点坐标，w和h分别是目标框的宽度和高度。4.根据权利要求1所述的违章动火检测模型的训练方法，其特征在于，所述步骤S2中，L
dist
定义为：L
dist
＝u
k1
·
u
m2
[(x
k
‑
x
m

【专利技术属性】
技术研发人员：王富河，孙志强，丁建兵，何川，潘作为，张宏元，付福军，石彦鹏，李大明，崔斌，樊树森，张宏宇，强景云，张勇飞，卢鑫，丁维栋，李云龙，刘凤超，
申请(专利权)人：内蒙古京宁热电有限责任公司，
类型：发明
国别省市：