一种烟雾识别方法及识别装置制造方法及图纸

一种输电线路通道可视化烟雾识别的方法及装置，用以解决现有的对输电线路通道可视化图像烟雾识别技术中，烟雾检出率较低的问题。通过目标检测算法对烟雾图像样本中损失函数进行计算；通过烟雾图像样本，对所述目标检测算法进行训练后，得到烟雾图像检测模型，用以确定待测图像中烟雾区域的位置；对待测图像中烟雾区域进行图像分割，将分割后的图像的二值图像作为掩膜Mask图像，计算烟雾飘散方向；将待测图像中的烟雾区域从RGB颜色空间转到HSV颜色空间，计算分割后的图像在亮度V空间的像素值在掩膜Mask图像中，水平和垂直分别投影的累加值；通过烟雾飘散的方向与累加值确定烟雾浓度。本申请通过上述方法，提高了烟雾检出率，降低了误报率。

【技术实现步骤摘要】
一种烟雾识别方法及识别装置
本专利技术涉及信息处理
，具体涉及一种输电线路通道可视化图像中烟雾识别方法及识别装置。
技术介绍
当架空输电线路通道附近发生火灾时，极易导致输电线路绝缘间隙剧烈下降而诱发输电线路跳闸，进而引发大范围长时间停电事故。因此对输电线路通道进行火灾监测，并提高火灾监测的准确性，是确保电网可靠运行的有效保证。现有的单张图像烟雾监测方法受限于烟雾形态的不确定，烟雾的形态中颜色、形状、面积和方向并不稳定，导致特征提取困难，且容易受到大气云雾干扰，尤其是梅雨季节或者西藏等地区，导致烟雾检测的漏报率和误报率均较高。并且，在野外环境下，例如在检测田地里秸秆焚烧时，由于干扰因素较多，单纯使用图像处理的方法并不能达到预期的准确率。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一种降低烟雾识别装置在烟雾检测时漏报率及误报率的烟雾识别方法及识别装置。本专利技术克服其技术问题所采用的技术方案是：一种烟雾识别方法，包括如下步骤：a)通过目标检测算法对输电线路通道可视化烟雾图像样本中的烟雾浓度中心点的损失函数，以及分类损失函数与回归损失函数进行计算，其中，所述烟雾浓度中心点为所述烟雾图像样本中预先标注出的烟雾浓度的最高点；b)通过烟雾图像样本，对目标检测算法进行训练，得到训练后的烟雾图像检测模型；c)根据训练后的烟雾图像检测模型，确定待测图像中烟雾区域的位置；d)对待测图像中烟雾区域进行图像分割，并将分割后的图像的二值图像作为掩膜Mask图像，计算出烟雾飘散的方向；e)将待测图像中的烟雾区域从RGB(Red,Green,Blue)颜色空间转到HSVHue,Saturation,Value)颜色空间，计算所述分割后的图像在亮度V空间的像素值在所述掩膜Mask图像中，水平和垂直分别投影的累加值；f)通过烟雾飘散的方向与所述累加值确定烟雾浓度。本申请实施例在对目标检测算法进行改造时，通过对目标检测算法中中心点损失函数进行改造，即，采用预先标注的中心点直接进行计算。减少了计算步骤，缩短计算时间。并且，还通过烟雾飘散的方向与其在亮度空间像素的水平和垂直的投影，计算出烟雾的浓度值，通过对浓度值的计算对云朵、雾气等图像进行区分，减少误报率。本申请实施例通过基于卷积神经网络的深度学习烟雾检测方法，与基于形状和位置相关性的判别方法。先后采用上述两种方法对待测烟雾图像进行检测，保证对烟雾具有较高检出率的同时，也可以过滤掉部分误报。进一步的，通过烟雾飘散的方向与所述累加值确定烟雾浓度之后，也就是步骤f)后还包括如下步骤：在检测到待测烟雾图像中待测区域自下而上的浓度值依次变小的情况下，则确定所述待测区域为烟雾区域。进一步的，通过烟雾图像样本，对目标检测算法进行训练，具体的步骤b)中通过函数：计算分类损失函数与回归损失函数，以及确定烟雾浓度中心点的损失函数，式中分类损失Lcls采用FocalLoss损失函数，中心点损失Lcenter-ness采用BCE损失函数，回归损失Lreg采用加权GIoU损失函数，在图像样本为正样本时取构建数据集时设置的烟雾标签值，在图像样本为负样本时取0，所述烟雾标签值是通过对烟雾浓度的确定而设定的数值，Npos为标注正样本的个数，λ1与λ2均为权重值，px,y为目标分类得分，为神经网络输出分类得分，tx,y为目标回归得分，为神经网络输出回归得分，centernessx,y为目标中心点得分，为神经网络输出中心点得分。本申请实施例利用烟雾自下而上浓度逐渐降低的特点，通过确定待测区域自下而上的浓度值，以此将烟雾与云朵或雾气进行区分，进而降低烟雾图像检测模型在烟雾检测时的误报率。进一步的，步骤e)中包括如下步骤：e-1)通过公式Sumi＝pixel+sumi，ifmask＝0，计算像素值在所述掩膜Mask图像中，水平和垂直分别投影的累加值Sumi，式中i为横轴或纵轴，pixel为像素，mask为掩膜二进制图像，当mask＝0时pixel＝1，当mask≠0时pixel＝0；e-2)根据nongdu(x,y)＝sumx×sumy计算烟雾浓度nongdu(x,y)，式中x,y分别为像素点的横坐标与纵坐标，y＝x×tanθ，θ为分割后的图像的角度方向。本申请实施例通过对中心点损失函数进行改造，不需要单独对中心点进行计算，直接将预先标注出的烟雾图像中烟雾浓度最高的点作为中心点损失函数中的中心点进行计算，减少了计算步骤，使计算过程更为简洁。在本申请的一种实现方式中，回归损失采用加权GIoU损失函数，具体为根据下面公式得到回归损失：所述回归损失Lreg采用加权GIoU损失函数，通过如下公式计算得到回归损失：式中wj表示加权权重；Awc是加权并集面积，disti为中心点到第i个边缘点的距离，distj为中心点到第j个边缘点的距离，cornernet_point是网络输出的中心点，center_point是实际烟雾浓度最高的中心点；x1，y1分别表示对烟雾区域标注的矩形框的左上角点的横坐标与纵坐标，x2，y2分别表示标注的矩形框右下角点的横坐标与纵坐标；x1′，y1′分别表示预测出的烟雾区域的矩形框的左上角点的横坐标与纵坐标，x2′，y2′分别表示预测出的烟雾区域的矩形框的右下角点的横坐标与纵坐标，为矩形框的左上角的横坐标加权，为矩形框的右下角的横坐标加权，为矩形框的左上角的纵坐标加权，为矩形框的右下角的纵坐标加权；Awc是加权并集面积；U为并集面积；IoU是交集与并集比值，w1标注矩形框左上角(x1，y1)与标注中心点的距离权重，w2为标注矩形框右下角(x2，y2)与标注中心点的距离权重，w1'为预测矩形框左上角(x1'，y1′)与预测中心点的距离权重，w2'为预测矩形框右下角(x2'，y2′)与预测中心点的距离权重。通过计算加权的回归损失，使训练模型的精度更高。后续在使用训练好的模型对烟雾图像进行检测时，可以提高烟雾的检出率，并且对检出的烟雾的位置进行标注的矩形框位置也更为精确。进一步的，步骤d)中将分割后的图像的二值图像作为掩膜Mask图像，计算出烟雾飘散的方向，具体包括：d-1)以待测图像的左边缘边界线与上边缘边界线的交点为原点建立坐标轴，以向右延伸方向为x轴，向下延伸方向为y轴；d-2)基于空间Moment算法，根据确定连通区域的角度方向，所述连通区域为待测图像中分割后的烟雾区域，其中θ为连通区域的角度，u11，u20，u02为中心距。进一步的，步骤d)中对所述烟雾图形检测模型输出的中心点作为初始种子点坐标，通过漫水填充法对烟雾区域进行图像分割。进一步的，步骤b)中通过所述烟雾图像样本，对所述目标检测算法进行训练之前还包括：根据函数AP(x,y)＝G(x,y)×Smoke(x,y)+(1-G(x,y))×BP(x,y)，通过G(x,y)高斯加权构建合成图像训练集；其中AP为合成本文档来自技高网...

【技术保护点】
1.一种烟雾识别方法，其特征在于，包括如下步骤：/na)通过目标检测算法对输电线路通道可视化烟雾图像样本中的烟雾浓度中心点的损失函数，以及分类损失函数与回归损失函数进行计算，其中，所述烟雾浓度中心点为所述烟雾图像样本中预先标注出的烟雾浓度的最高点；/nb)通过烟雾图像样本，对目标检测算法进行训练，得到训练后的烟雾图像检测模型；/nc)根据训练后的烟雾图像检测模型，确定待测图像中烟雾区域的位置；/nd)对待测图像中烟雾区域进行图像分割，并将分割后的图像的二值图像作为掩膜Mask图像，计算出烟雾飘散的方向；/ne)将待测图像中的烟雾区域从RGB颜色空间转到HSV颜色空间，计算所述分割后的图像在亮度V空间的像素值在所述掩膜Mask图像中，水平和垂直分别投影的累加值；/nf)通过烟雾飘散的方向与所述累加值确定烟雾浓度。/n

【技术特征摘要】
1.一种烟雾识别方法，其特征在于，包括如下步骤：
a)通过目标检测算法对输电线路通道可视化烟雾图像样本中的烟雾浓度中心点的损失函数，以及分类损失函数与回归损失函数进行计算，其中，所述烟雾浓度中心点为所述烟雾图像样本中预先标注出的烟雾浓度的最高点；
b)通过烟雾图像样本，对目标检测算法进行训练，得到训练后的烟雾图像检测模型；
c)根据训练后的烟雾图像检测模型，确定待测图像中烟雾区域的位置；
d)对待测图像中烟雾区域进行图像分割，并将分割后的图像的二值图像作为掩膜Mask图像，计算出烟雾飘散的方向；
e)将待测图像中的烟雾区域从RGB颜色空间转到HSV颜色空间，计算所述分割后的图像在亮度V空间的像素值在所述掩膜Mask图像中，水平和垂直分别投影的累加值；
f)通过烟雾飘散的方向与所述累加值确定烟雾浓度。


2.根据权利要求1所述的烟雾识别方法，其特征在于，步骤f)后还包括如下步骤：在检测到待测烟雾图像中待测区域自下而上的浓度值依次变小的情况下，则确定所述待测区域为烟雾区域。


3.根据权利要求1所述的烟雾识别方法，其特征在于：步骤b)中通过函数：



计算分类损失函数与回归损失函数，以及确定烟雾浓度中心点的损失函数，式中分类损失Lcls采用FocalLoss损失函数，中心点损失Lcenter-ness采用BCE损失函数，回归损失Lreg采用加权GIoU损失函数，在图像样本为正样本时取构建数据集时设置的烟雾标签值，在图像样本为负样本时取0，所述烟雾标签值是通过对烟雾浓度的确定而设定的数值，Npos为标注正样本的个数，λ1与λ2均为权重值，px,y为目标分类得分，为神经网络输出分类得分，tx,y为目标回归得分，为神经网络输出回归得分，centernessx,y为目标中心点得分，为神经网络输出中心点得分。


4.根据权利要求1所述的烟雾识别方法，其特征在于，步骤e)中包括如下步骤：
e-1)通过公式Sumi＝pixel+sumi，ifmask＝0，计算像素值在所述掩膜Mask图像中，水平和垂直分别投影的累加值Sumi，式中i为横轴或纵轴，pixel为像素，mask为掩膜二进制图像，当mask＝0时pixel＝1，当mask≠0时pixel＝0；
e-2)根据nongdu(x,y)＝sumx×sumy计算烟雾浓度nongdu(x,y)，式中x,y分别为像素点的横坐标与纵坐标，y＝x×tanθ，θ为分割后的图像的角度方向。


5.根据权利要求3所述的烟雾识别方法，其特征在于，所述回归损失Lreg采用加权GIoU损失函数，通过如下公式计算得到回归损失：















式中wj表示加权权重；Awc是加权并集面积，disti为中心点到第i个边缘点的距离，distj为中心点到第j个边缘点的距离，cornernet_point是网络输出的中心点，center_point是实际烟雾浓度最高的中心点；x1，y1分别表示对烟雾区域标注的矩形框的左上角点的横坐标与纵坐标，x2，y2分别表示标注的矩形框右下角点的横坐标与纵坐标；x1′，y1′分别表示预测出的烟雾区域的矩形框的左上角点的横坐标与纵坐标，x2′，y2′分别表示预测出的烟雾区域的矩形框的右下角点的横坐标与纵坐标，为矩...

【专利技术属性】
技术研发人员：李程启，郑文杰，辜超，姚金霞，张围围，韩建强，张振军，李娜，王安东，杨祎，林颖，白德盟，秦佳峰，刘辉，孙晓斌，杨波，
申请(专利权)人：国网山东省电力公司电力科学研究院，国网山东省电力公司，国家电网有限公司，
类型：发明
国别省市：山东;37