一种基于半监督学习的火焰分割数据集构建方法及装置制造方法及图纸

本发明专利技术公开了一种基于半监督学习的火焰分割数据集构建方法及装置，方法包括：采集原始火焰燃烧图像；将原始火焰燃烧图像按照不同的照度和场景进行分类存储，获得分类图像数据集；对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，获得火焰标注数据集；从火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集；根据训练集对火焰分割模型进行训练，选取未标注的原始火焰燃烧图像输入至火焰分割模型，获得分割结果图像；对分割结果图像进行优选，将优选后的分割结果图像加入至训练集中，直到训练集的规模满足预设值，获得火焰分割数据集；该方法可构建出大规模、场景数量均衡的火焰分割数据集。火焰分割数据集。火焰分割数据集。

【技术实现步骤摘要】
一种基于半监督学习的火焰分割数据集构建方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于半监督学习的火焰分割数据集构建方法及装置。

技术介绍

[0002]近年来，火灾频发，各式各样的火灾给人们带来了不容小觑的伤害。火灾发生时间地点的随机性增加了火灾防控的难度，利用技术手段快速准确的检测出火焰能有效降低人力与财力的损失，精准的火焰区域分割对火势度量、灭火方案制定及灭火评价具有重要意义。一个带标记的多场景火焰分割数据集可以有效提升火焰区域分割的准确性。
[0003]然而，目前缺少公开带标注的火焰分割图像数据集，而火焰分割数据集构建需要精准标注火焰像素，且火焰形状不规则，导致人工构建工作量巨大。专利文献CN112092798A公开了一种基于半监督学习策略的火灾实例分割方法，对现有实例分割模型进行改进，通过引入注意力机制、可变形卷积提升模型精度；针对火灾实例分割任务缺乏数据样本及标注的问题，提出一种基于火灾场景的实例分割模型半监督学习策略，引入火焰和烟雾的颜色与形态学特征，对半监督学习中生成的伪标签进行置信度筛选，降低错误伪标签引入的精度损失；针对数据集中类别不均衡问题和半监督学习错误伪标签的精度损失问题，通过改进的“copy
‑
paste”算法对混合训练集进行图像增强。
[0004]但是上述方法并不能够解决目前火焰分割图像训练集缺少、人工标注工作量大的问题。

技术实现思路

[0005]本专利技术提供了一种基于半监督学习的火焰分割数据集构建方法及装置，能够有效解决目前火焰分割图像训练集缺少、人工标注工作量大的问题。
[0006]一种基于半监督学习的火焰分割数据集构建方法，包括：
[0007]采集原始火焰燃烧图像；
[0008]将所述原始火焰燃烧图像按照不同的照度和场景进行分类存储，获得分类图像数据集；
[0009]对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，获得火焰标注数据集；
[0010]从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集；
[0011]根据所述训练集对火焰分割模型进行训练直到所述火焰分割模型收敛；
[0012]从所述分类图像数据集中选取未标注的原始火焰图像输入至所述火焰分割模型，获得分割结果图像；
[0013]对分割结果图像进行优选，将优选后的分割结果图像加入至所述训练集中，直到训练集的规模满足预设值，获得火焰分割数据集。
[0014]进一步地，所述分类图像数据集包括白天城市场景数据集、白天自然场景数据集、白天工业场景数据集、夜晚城市场景数据集、夜晚自然场景数据集以及夜晚工业场景数据集。
[0015]进一步地，所述图像标注对包括原始火焰燃烧图像及对应的标注二值化图像。
[0016]进一步地，对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，包括：
[0017]从每个分类图像数据集中，选取相似度最低的原始火焰燃烧图像，利用掩膜方法生成尺寸相同的二值化图像，将获得的二值化图像与原始火焰燃烧图像对应并放入火焰标注数据集中，删除分类图像数据集中对应的原始火焰燃烧图像，重复该步骤预设次数，直到火焰标注数据集中的二值化图像及对应的原始火焰燃烧图像达到预设数量；
[0018]将所述火焰标注数据集中相应的原始火焰燃烧图像作为第一图层，其对应的二值化图像作为第二图层且设置透明度为预设值，勾勒火焰区域闭合轮廓，并设置火焰区域闭合轮廓内外的像素值，去除第一图层并保留第二图层，形成标注二值化图像，将所述标注二值化图像和对应的原始火焰燃烧图像作为图像标注对。
[0019]进一步地，所述火焰区域闭合轮廓内的像素值设置为255，火焰区域闭合轮廓外部的像素值设置为0。
[0020]进一步地，获得火焰标注数据集之后，还包括：
[0021]对所述火焰标注数据集中的所有图像设置增强标记Mark
<G(x,y),G
’
(x,y)>
＝[0,0,0,0]，其中，G(x,y)表示所述火焰标注数据集中的任一原始火焰燃烧图像，G
’
(x,y)表示G(x,y)对应的标注二值化图像；
[0022]从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集，包括：
[0023]建立旋转增强数据集、镜像增强数据集、缩放增强数据集以及亮度变化增强数据集并初始化；
[0024]从所述火焰标注数据集中选出满足条件第一条件的标注图像对加入所述旋转增强数据集将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[0]＝1，令Mark
<G(x,y),G
’
(x,y)>
[0]＝1，重复该步骤直到所述旋转增强数据集的长度达到预设长度，F(x,y)表示从所述火焰标注数据集中选出的原始火焰燃烧图像副本，F
’
(x,y)表示F(x,y)对应的标注二值化图像；
[0025]从所述火焰标注数据集中选出满足条件第二条件的标注图像对加入所述镜像增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[1]＝1，令Mark
<G(x,y),G
’
(x,y)>
[1]＝1，重复该步骤直到所述镜像增强数据集的长度达到预设长度；
[0026]从所述火焰标注数据集中选出满足条件第三条件的标注图像对加入所述缩放增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[2]＝1，令Mark
<G(x,y),G
’
(x,y)>
[2]＝1，重复该步骤直到所述缩放增强数据集的长度达到预设长度；
[0027]从所述火焰标注数据集中选出满足条件第四条件的标注图像对加入所述亮度变化增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[3]＝1，令Mark
<G(x,y),G
’
(x,y)>
[3]＝1，重复该步骤直到所述亮度变化增强数据集的长度达到预设长度；
[0028]生成预设长度的随机向量；
[0029]根据所述随机向量，从所述旋转增强数据集中选取相应的标注图像对生成不同角
度的旋转图对并放入所述火焰标注数据集中；
[0030]根据所述随机向量，从所述镜像增强数据集中选取相应的标注图像对生成不同的镜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督学习的火焰分割数据集构建方法，其特征在于，包括：采集原始火焰燃烧图像；将所述原始火焰燃烧图像按照不同的照度和场景进行分类存储，获得分类图像数据集；对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，获得火焰标注数据集；从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集；根据所述训练集对火焰分割模型进行训练直到所述火焰分割模型收敛；从所述分类图像数据集中选取未标注的原始火焰图像输入至所述火焰分割模型，获得分割结果图像；对分割结果图像进行优选，将优选后的分割结果图像加入至所述训练集中，直到训练集的规模满足预设值，获得火焰分割数据集。2.根据权利要求1所述的方法，其特征在于，所述分类图像数据集包括白天城市场景数据集、白天自然场景数据集、白天工业场景数据集、夜晚城市场景数据集、夜晚自然场景数据集以及夜晚工业场景数据集。3.根据权利要求1所述的方法，其特征在于，所述图像标注对包括原始火焰燃烧图像及对应的标注二值化图像。4.根据权利要求1或3所述的方法，其特征在于，对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，包括：从每个分类图像数据集中，选取相似度最低的原始火焰燃烧图像，利用掩膜方法生成尺寸相同的二值化图像，将获得的二值化图像与原始火焰燃烧图像对应并放入火焰标注数据集中，删除分类图像数据集中对应的原始火焰燃烧图像，重复该步骤预设次数，直到火焰标注数据集中的二值化图像及对应的原始火焰燃烧图像达到预设数量；将所述火焰标注数据集中相应的原始火焰燃烧图像作为第一图层，其对应的二值化图像作为第二图层且设置透明度为预设值，勾勒火焰区域闭合轮廓，并设置火焰区域闭合轮廓内外的像素值，去除第一图层并保留第二图层，形成标注二值化图像，将所述标注二值化图像和对应的原始火焰燃烧图像作为图像标注对。5.根据权利要求4所述的方法，其特征在于，所述火焰区域闭合轮廓内的像素值设置为255，火焰区域闭合轮廓外部的像素值设置为0。6.根据权利要求3所述的方法，其特征在于，获得火焰标注数据集之后，还包括：对所述火焰标注数据集中的所有图像设置增强标记Mark
<G(x,y),G
’
(x,y)>
＝[0,0,0,0]，其中，G(x,y)表示所述火焰标注数据集中的任一原始火焰燃烧图像，G
’
(x,y)表示G(x,y)对应的标注二值化图像；从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集，包括：建立旋转增强数据集、镜像增强数据集、缩放增强数据集以及亮度变化增强数据集并初始化；从所述火焰标注数据集中选出满足第一条件的标注图像对加入所述旋转增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[0]＝1,令Mark
<G(x,y),G
’
(x,y)>
[0]＝1，重复该步
骤直到所述旋转增强数据集的长度达到预设长度，F(x,y)表示从所述火焰标注数据集中选出的原始火焰燃烧图像副本，F
’
(x,y)表示F(x,y)对应的标注二值化图像；从所述火焰标注数据集中选出满足第二条件的标注图像对加入所述镜像增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[1]＝1，令Mark
<G(x,y),G
’
(x,y)>
[1]＝1，重复该步骤直到所述镜像增强数据集的长度达到预设长度；从所述火焰标注数据集中选出满足第三条件的标注图像对加入所述缩放增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[2]＝1，令Mark
<G(x,y),G
’
(x,y)>
[2]＝1，重复该步骤直到所述缩放增强数据集的长度达到预设长度；从所述火焰标注数据集中选出满足条件第四条件的标注图像对加入所述亮度变化增强数据集，将加入的标注图像对标记为Mark
<F(x,y),F
’
(x,y)>
[3]＝1，令Mark
<G(x,y),G
’
(x,y)>
[3]＝1，重复该步骤直到所述亮度变化增强数据集的长度达到预设长度；生成预设长度的随机向量；根据所述随机向量，从所述旋转增强数据集中选取相应的标注图像对生成不同角度的旋转图对并放入所述火焰标注数据集中；根据所述随机向量，从所述镜像...

【专利技术属性】
技术研发人员：商少波，杨海铭，陈轩，宋博，李诗华，霍晓栋，刘勇，郑鑫，
申请(专利权)人：国网江苏省电力有限公司超高压分公司，
类型：发明
国别省市：