基于实例分割的红外图像光伏组件视觉识别方法技术

本发明专利技术公开了基于实例分割的红外图像光伏组件视觉识别方法，包括如下步骤：S1、对航拍图像进行实例分割，确定光伏组件串的位置范围，减少冗余信息；S2、采用YOLO目标检测算法提取并定位光伏组件缺陷；S3、将目标检测算法输出的位置信息与实例分割结果进行比对，根据重叠面积占比筛选保留有效输出；S4、根据无人机及相机的实时参数计算出图像四个顶点坐标，结合缺陷在图像中的定位计算得到缺陷所在组件中心的GPS坐标。本发明专利技术方法利用面积重合度对检测结果进行筛选，删除无效信息，提高检测精度，再根据巡检无人机的参数确定图像关键点的地理位置信息，提高了智能化巡检输出的直观性。性。性。

【技术实现步骤摘要】
基于实例分割的红外图像光伏组件视觉识别方法


[0001]本专利技术涉及识别方法，具体涉及基于实例分割的红外图像光伏组件视觉识别方法。

技术介绍

[0002]随着全球经济的快速发展，对能源的需求与日俱增，传统化石能源带来的严重环境污染及其不可再生性导致的资源枯竭问题让人们意识到大力开发新能源，进而摆脱对传统化石能源的过度依赖是可持续发展的必然选择。太阳能光伏发电是一种最具可持续发展理想特征的可再生能源发电技术，可靠性高、使用寿命长，拥有最丰富的资源和最清洁的发电过程。大规模光伏电站一般设置在海拔高，阳光资源相对充足的山顶区域，传统人工检测方式不仅需要耗费大量的人工及时间成本，巡检人员的工作也存在一定危险性，随着光伏发电项目规模的不断增大,巡检工作的复杂性越来越高,人工监测难以满足未来大规模光伏电站的巡检要求，因此需要借助无人机等智能化方式实现大规模光伏电站的智能运维，提高电站效益。
[0003]近年来，智能车、无人机等智能设备被广泛用于农林、电力行业的巡检工作中。无人机光伏电站巡检主要通过无人机携带摄像头、红外传感器等设备获取光伏电站的图像、温度信息，对图像进行分析处理以确定光伏电板是否出现热斑、旁路二极管短路、零点流或存在遮挡、倾塌等外界破坏隐患，获取检测结果在图像中的位置信息。基于图像处理的缺陷检测方式由于缺少地理位置信息，通常以图像像素坐标为定位信息，检测结果为目标光伏组件相对于图像的位置，还需要巡检人员根据分析图像所处位置进一步寻找目标组件，步骤繁琐，工作量较大。
[0004]针对现有技术中存在的问题，本专利技术提供了一种基于卷积神经网络和GPS定位的综合光伏组件缺陷检测方法，该方法特征提取、置信度预测、掩膜预测和掩膜筛选等步骤得到光伏组件串的位置范围，再通过卷积神经网络提取图像特征，回归预测目标边界框并通过非极大值抑制算法筛选有效输出，定位图像中的缺陷目标。将卷积神经网络的预测结果与光伏组件串掩膜进行比对，删除重叠面积与预测面积比值小于阈值的边界框，进一步提高检测效果；最终根据航拍图像对应的无人机、相机参数计算出图像四个顶点的地理位置坐标，由预测边界框相对于图像的位置推算出目标光伏板的地理位置。

技术实现思路

[0005]本专利技术的目的在于提供基于实例分割的红外图像光伏组件视觉识别方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：基于实例分割的红外图像光伏组件视觉识别方法，包括如下步骤：S1、对航拍图像进行实例分割，确定光伏组件串的位置范围，减少冗余信息；S2、采用YOLO目标检测算法提取并定位光伏组件缺陷；
S3、将目标检测算法输出的位置信息与实例分割结果进行比对，根据重叠面积占比筛选保留有效输出；S4、根据无人机及相机的实时参数计算出图像四个顶点坐标，结合缺陷在图像中的定位计算得到缺陷所在组件中心的GPS坐标。
[0007]所述步骤S1中对航拍图像进行实例分割具体包括如下步骤：A.特征提取图像卷积通过卷积核提取图像特征，输入大小为的图像，设输入图像第行列像素为，卷积核为边长的方阵，使用卷积核覆盖图像中以为中心的区域，则卷积后图像中对应位置元素可表示为卷积核区域与覆盖区域的元素乘积和，即：卷积输出通过线性修正函数获取非线性功能，线性修正函数输出如式（2）所示：结合式（1）和式（2）模仿任意非线性函数，通过不同卷积核,实现不同特征的提取，通过控制卷积核移动步长实现图像尺寸的压缩，通过重叠多个卷积层可提取图像的高级特征；B.置信度预测经过特征提取模块得到大小为的特征向量，即图像被划分为大小的网格，每个网络使用大小的向量表示图像中对应区域的特征，经过卷积运算将特征向量压缩为大小，使用Sigmoid函数将压缩后的特征向量投影到固定范围：各网格中保存一个范围的数，表示该网格中包含检测目标的概率，称为置信度；C.掩模预测使用特征提取模块输出的特征向量计算检测目标的分割掩模，由于特征提取过程中多层卷积丢失了部分图像细节，使用特征金字塔结构融合不同尺度的图像特征，设图像
不同尺度的三个特征分别为、和，则特征金字塔输出是可表示为：式中，、和表示双线性插值，将不同尺度的特征向量放大到原图大小，为特征拼接操作；使用一系列卷积核融合拼接特征中每个像素的特征，融合后特征为该像素特征的线性加权和，将融合后的特征向量对齐为大小，使用所示函数将融合结果放缩到范围内，计算像素属于不同类别的概率，根据像素类别概率得到语义分割结果：类别概率接近0时像素属于背景区域，类别概率接近1时像素属于目标区域；D.掩模筛选经过置信度预测和掩模预测模块得到个置信度和分割掩模，掩模筛选模块通过矩阵非极大值抑制算法对这个掩模进行筛选，得到可靠且不重复的目标分割掩模，首先根据置信度对所有分割掩模从大到小排序，从最大概率分割掩模开始，计算其余分割掩模与最大概率分割掩模的重合度：其中，和为分析的分割掩模，若重合度大于预设阈值，则抛弃该分割掩模，保存最大概率分割掩模，选取剩余分割掩模中置信度最大的分割掩模，重复上述操作。
[0008]进一步的，所述步骤S2中YOLO目标检测算法包括边界框回归和边界框筛选两个步骤：A1边界框回归使用卷积神经网络提取图像特征，图像经过深度卷积神经网络得到大小的特征图对于特征图上的每一点，网络预测三个不同尺度的边界框，每个边界框包括共5个参数，其中表示预测框中包含检测目标的概率，为边界框左上角坐标相对于网格顶点的偏移，为检测边界框宽高与预设边界框宽高的比值，同时用个参数表示该网格中目标属于不同类别的概率，则检测目标的位置可以通过边界框表示：
式中，为目标检测框左上角在图像坐标系中的坐标，和分别为检测框的宽和高，为该网格点左上角的坐标，和为预设Anchor Box的宽和高该点处目标的类别可表示为：式中，表示最大值所在的位置；B1.边界框筛选根据YOLO目标检测网络回归得到的边界框中存在大量的重叠，可使用非边界框极大值抑制算法消除重叠边界框根据置信度对同一类别缺陷从大到小排序，从最大概率边界框开始，计算其余边界框与最大概率边界框的重合度：其中，和表示分析的两个边界框包围的面积。
[0009]进一步的，所述步骤S3具体包括：根据光伏组件分割和缺陷检测算法可以得到同一张图像中的光伏组件分割掩模和缺陷边界框，根据光伏组件分割掩模计算该图像中分割掩模的平均面积：其中，为该图像中光伏组件数目，为第个光伏组件的分割掩模；计算各个缺陷边界框与光伏组件分割掩模的重叠面积：
比较重叠面积与分割掩模面积的大小，如果重叠面积在光伏组件分割掩模中的占比大于阈值，则认为该光伏组件中包含缺陷。
[0010]更进一步的，所述步骤S4具体包括：计算带缺陷光伏组件的实际位置设无人机飞行高度为，相机倾斜角为，相机视野角为，则图像四个顶点坐标可表示为：根据图像四个顶点坐标和带缺陷的光伏组件在图中的相对位置，可计算得到光伏组件的实际坐标：与现有技术相比，本专利技术的有益效果是：本专利技术方法利用面积重合度对检测结果进行筛选，删除无效信息，提高检测精度，再根据巡检无人机的参数确定图像关键点的地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于实例分割的红外图像光伏组件视觉识别方法，其特征在于，包括如下步骤：S1、对航拍图像进行实例分割，确定光伏组件串的位置范围，减少冗余信息；S2、采用YOLO目标检测算法提取并定位光伏组件缺陷；S3、将目标检测算法输出的位置信息与实例分割结果进行比对，根据重叠面积占比筛选保留有效输出；S4、根据无人机及相机的实时参数计算出图像四个顶点坐标，结合缺陷在图像中的定位计算得到缺陷所在组件中心的GPS坐标。2.根据权利要求1所述的基于实例分割的红外图像光伏组件视觉识别方法，其特征在于，所述步骤S1中对航拍图像进行实例分割具体包括如下步骤：A.特征提取图像卷积通过卷积核提取图像特征，输入大小为的图像，设输入图像第行列像素为，卷积核为边长的方阵，使用卷积核覆盖图像中以为中心的区域，则卷积后图像中对应位置元素可表示为卷积核区域与覆盖区域的元素乘积和，即：卷积输出通过线性修正函数获取非线性功能，线性修正函数输出如式（2）所示：结合式（1）和式（2）模仿任意非线性函数，通过不同卷积核,实现不同特征的提取，通过控制卷积核移动步长实现图像尺寸的压缩，通过重叠多个卷积层可提取图像的高级特征；B.置信度预测经过特征提取模块得到大小为的特征向量，即图像被划分为大小的网格，每个网络使用大小的向量表示图像中对应区域的特征，经过卷积运算将特征向量压缩为大小，使用Sigmoid函数将压缩后的特征向量投影到固定范围：各网格中保存一个范围的数，表示该网格中包含检测目标的概率，称为置信度，C.掩模预测使用特征提取模块输出的特征向量计算检测目标的分割掩模，由于特征提取过程中多
层卷积丢失了部分图像细节，使用特征金字塔结构融合不同尺度的图像特征，设图像不同尺度的三个特征分别为、和，则特征金字塔输出是可表示为：式中，、和表示双线性插值，将不同尺度的特征向量放大到原图大小，为特征拼接操作；使用一系列卷积核融合拼接特征中每个像素的特征，融合后特征为该像素特征的线性加权和，将融合后的特征向量对齐为大小，使用所示函数将融合结果放缩到范围内，计算像素属于不同类别的概率，根据像素类别概率得到语义分割结果：类别概率接近0时像素属于背景区域，类别概率接近1时像素属于目标区域；D.掩模筛选经过置信度预测和掩模预测模块得到个置信度和分割掩模，掩模筛选模块通过矩阵非极大值抑制算法对这个掩模进行筛选，得到可靠且不重复的目标分...

【专利技术属性】
技术研发人员：莫绍凡，刘锋，吴楠，周倩男，王理想，
申请(专利权)人：旻投电力发展有限公司，
类型：发明
国别省市：