基于语义分割的红外图像光伏组件视觉识别方法技术

本发明专利技术公开了基于语义分割的红外图像光伏组件视觉识别方法，属于属于图像处理领域技术领域，包括：使用语义分割算法进行光伏组件串区域的准确快速分割；对光伏组件串区域进行图像增强，提高间隙与光伏组件区域的对比度；使用最大熵阈值分割算法与Hough直线变换从光伏组件串图片中提取出分离直线，分离光伏组件；使用连通区域提取算法提取图片中的光伏组件区域；对光伏组件区域进行透视校正，消除拍摄角度影响；本发明专利技术基于语义分割的红外图像光伏组件视觉识别方法使用对航拍图像进行语义分割，可在准确快速地得到光伏组件串中区域，并在提取光伏组件前进行图像增强，使得光伏组件分离提取的准确率提高。件分离提取的准确率提高。件分离提取的准确率提高。

【技术实现步骤摘要】
基于语义分割的红外图像光伏组件视觉识别方法


[0001]本专利技术属于图像处理领域
，具体涉及基于语义分割的红外图像光伏组件视觉识别方法。

技术介绍

[0002]随着光伏电站的大规模发展，光伏面板及其它设备的数量变得非常庞大。传统的人工巡检方式已无法满足需求，需要投入更多的人力、物力进行巡检。同时由于电站地形地势的原因，巡检工人无法到达一些隐蔽区域，从而形成巡检盲区。且因人工巡检周期较长，巡检的频率很低，导致很多电站故障无法及时被发现。因此大型集中式光伏电站的巡检需要一套自动化的智能方案，满足以上运维难点。
[0003]工业实践中常用无人机巡检技术观察光伏电站故障。无人机根据导航系统沿着预定的路线对光伏电站进行巡检，从空中拍摄光伏组件的图像，经由图像处理得到光伏组件的缺陷结果。红外图像包含光伏组件串区域和背景区域，其中光伏组件串区域又包含光伏组件区域和各光伏组件之间的间隙区域。根据航拍图像分析光伏组件缺陷，首先应从航拍图像中分割出各个光伏组件串和光伏组件区域。

技术实现思路

[0004]本专利技术的目的在于提供基于语义分割的红外图像光伏组件视觉识别方法，该方法利用语义分割算法，从航拍图像中分割出光伏组件串区域，并利用图像增强、图像分割、连通域提取等手段在光伏组件串中提取出光伏组件区域，然后对光伏组件区域进行透视校正，得到用于缺陷检测的光伏组件区域，可以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：基于语义分割的红外图像光伏组件视觉识别方法，包括：
[0006]使用语义分割算法进行光伏组件串区域的准确快速分割；
[0007]对光伏组件串区域进行图像增强，提高间隙与光伏组件区域的对比度；
[0008]使用最大熵阈值分割算法与Hough直线变换从光伏组件串图片中提取出分离直线，分离光伏组件；
[0009]使用连通区域提取算法提取图片中的光伏组件区域；
[0010]对光伏组件区域进行透视校正，消除拍摄角度影响
[0011]进一步地，所述语义分割算法由特征提取和掩模预测两部分组成；
[0012]其中，特征提取使用图像卷积和空间金字塔结构提取图像特征，掩模预测是对特征图进行上采样和像素分类得到目标分割掩模；
[0013]A.特征提取：
[0014]图像卷积通过卷积核提取图像特征,假设输入图像第h行w列像素为 x(h,w)，卷积核w
2n+1
为边长2n+1的方阵，卷积输出y
c
(h,w)：
[0015][0016]式中卷积输出y
c
(h,w)通过线性修正函数获取非线性功能，卷积输出通过空间金字塔结构，使用不同间隔卷积核提取图像不同感受野特征，将不同感受野特征融合得到图像的多尺度信息；
[0017]B.掩膜预测：
[0018]首先使用双线性插值将特征图上采样到原图大小，然后使用大小为1*1 的卷积核融合图像中每个像素的特征；使用Logistic函数将融合结果放缩[0,1] 范围内，计算像素属于不同类别的概率：
[0019][0020]式中，y
cf
表示融合后的特征值，k为常数，实验中k取1，并根据像素类别概率y
p
(h,w)得到语义分割结果：y
p
(h,w)接近0时像素属于背景区域，y
p
(h,w) 接近1时像素属于目标区域。
[0021]进一步地，所述图像增强包括k近邻中值滤波、直方图均衡和Gamma变换三个步骤；
[0022]A.K近邻中值滤波：
[0023]以待处理的像素为中心构造一个N
′
N的模板，N取奇数；在N
′
N个像素中选取与待处理的像素值相近的k个近邻点，以k个近邻点的中值代替待处理的像素值；
[0024]B.直方图均衡：
[0025]将图像分为8*8大小相同的矩形，计算每一个矩形的直方图，并进行归一化；设置阈值T，统计归一化直方图中高于T的部分，设这部分的和为total；将total平均分给所有的灰度级，每个灰度级分到计算直方图的升高高度Upper＝T
‑
L；对直方图进行如下处理：
[0026][0027]式中，k＝1,2,...,255；h
′
(k)为限制对比度后灰度值为k的像素出现的概率。
[0028]C.Gamma变换：
[0029]g
o
(i，j)＝cg
i
(i，j)
γ
ꢀꢀꢀ
(4)
[0030]式中，c为补偿系数，g为γ系数，调整补偿系数和γ系数，图像会获得不同的增强效果。
[0031]进一步地，所述使用最大熵阈值分割算法与Hough直线变换从光伏组件串图片中提取出分离直线，具体包括以下过程：
[0032]首先使用最大熵阈值分割算法从光伏组件串图片中提取出间隙区域；
[0033]再使用Hough直线变换得到分离直线；
[0034]A.基于最大熵阈值分割的间隙区域提取：
[0035]设定阈值q将灰度图像I
cr
分割为间隙区域和非间隙区域；统计间隙区域和非间隙
区域各灰度值累计出现概率P0(q)和P1(q)；计算该阈值下图像总熵 H
T
(q)为
[0036][0037]式中H0(q)表示图像中间隙区域熵值，H1(q)表示非间隙区域熵值；
[0038]遍历所有阈值q直到图像总熵达到最大，将最大熵对应的阈值作为间隙分割阈值，之后采用核尺寸为3的膨胀操作来连接断开的间隙区域；其中，膨胀定义为：
[0039][0040]式中，集合A和S为图像平面上的元素，S为结构元素，为S的映像；
[0041]B.基于Hough变换的分离直线检测：
[0042]利用Hough直线变换从间隙区域中提取出分离直线，Hough变换定义如下：
[0043][0044]f(x,y)为定义在x
‑
y平面D上的离散函数，式中，x、y、r、q为离散变量W、H表示图像矩阵的大小；图像中每条直线都会在r
‑
q空间中形成一个亮点，直线的检测转化为在r
‑
q空间对亮点的检测。
[0045]进一步地，所述使用连通区域提取算法提取图片中的光伏组件区域，具体包括以下步骤：
[0046]a)将首个1值像素作为种子(像素位置)，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；
[0047]b)弹出栈顶元素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；
[0048]c)重复步骤b)，直到栈为空；
[0049]d)重复步骤a)直到扫描结束，得到图像中所有的连通区域；
[0050]e)按照轮廓面积、长宽比、矩形度对提取得到的各连通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于语义分割的红外图像光伏组件视觉识别方法，其特征在于，包括：使用语义分割算法进行光伏组件串区域的准确快速分割；对光伏组件串区域进行图像增强，提高间隙与光伏组件区域的对比度；使用最大熵阈值分割算法与Hough直线变换从光伏组件串图片中提取出分离直线，分离光伏组件；使用连通区域提取算法提取图片中的光伏组件区域；对光伏组件区域进行透视校正，消除拍摄角度影响。2.根据权利要求1所述的基于语义分割的红外图像光伏组件视觉识别方法，其特征在于，所述语义分割算法由特征提取和掩模预测两部分组成；其中，特征提取使用图像卷积和空间金字塔结构提取图像特征，掩模预测是对特征图进行上采样和像素分类得到目标分割掩模；A.特征提取：图像卷积通过卷积核提取图像特征,假设输入图像第h行w列像素为x(h,w)，卷积核w
2n+1
为边长2n+1的方阵，卷积输出y
c
(h,w)：式中卷积输出y
c
(h,w)通过线性修正函数获取非线性功能，卷积输出通过空间金字塔结构，使用不同间隔卷积核提取图像不同感受野特征，将不同感受野特征融合得到图像的多尺度信息；B.掩膜预测：首先使用双线性插值将特征图上采样到原图大小，然后使用大小为1*1的卷积核融合图像中每个像素的特征；使用Logistic函数将融合结果放缩[0,1]范围内，计算像素属于不同类别的概率：式中，y
cf
表示融合后的特征值，k为常数，实验中k取1，并根据像素类别概率y
p
(h，w)得到语义分割结果：y
p
(h，w)接近0时像素属于背景区域，y
p
(h，w)接近1时像素属于目标区域。3.根据权利要求1所述的基于语义分割的红外图像光伏组件视觉识别方法，其特征在于，所述图像增强包括k近邻中值滤波、直方图均衡和Gamma变换三个步骤；A.K近邻中值滤波：以待处理的像素为中心构造一个N
′
N的模板，N取奇数；在N
′
N个像素中选取与待处理的像素值相近的k个近邻点，以k个近邻点的中值代替待处理的像素值；B.直方图均衡：将图像分为8*8大小相同的矩形，计算每一个矩形的直方图，并进行归一化；设置阈值T，统计归一化直方图中高于T的部分，设这部分的和为total；将total平均分给所有的灰度级，每个灰度级分到计算直方图的升高高度Upper＝T
‑
L；对直方图进行如下处
理：式中，k＝1，2，...，255；h
′
(i)为限制对比度后灰度值为k的像素出现的概率。C.Gamma变换：g
o
(i，j)＝cg
i
(i，j)
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：刘锋，周倩男，吴楠，王海峰，褚上海，
申请(专利权)人：旻投电力发展有限公司，
类型：发明
国别省市：