一种基于端对端架构的光伏表面缺陷识别方法及系统技术方案

本发明专利技术涉及光伏表面缺陷识别技术领域，提供了一种基于端对端架构的光伏表面缺陷识别方法及系统，包括：获取光伏表面图像；采用基于端对端架构的光伏缺陷识别模型对光伏表面图像进行缺陷识别，得到光伏表面图像的缺陷区域；其中，基于端对端架构的光伏缺陷识别模型包括依次连接的特征提取层、模型编码器、模型解码器和线性层；所述模型编码器利用多尺度可变形注意力机制来处理所述特征提取层提取到的图像特征图，得到多尺度特征图；所述模型解码器利用自注意力机制与可变形交叉注意力机制对多尺度特征图进行处理，将得到的解码特征和参考点输入所述线性层。不仅提高了稀疏光伏缺陷的识别精度，而且改善了以往缺陷识别模型收敛慢的弊端。收敛慢的弊端。收敛慢的弊端。

【技术实现步骤摘要】
一种基于端对端架构的光伏表面缺陷识别方法及系统


[0001]本专利技术属于光伏表面缺陷识别
，尤其涉及一种基于端对端架构的光伏表面缺陷识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前的光伏表面缺陷识别方式主要分为人工目视检查以及基于CNN的识别算法。
[0004]如果采用人工目视检查的方式进行光伏表面缺陷识别与识别，则会造成较高的人工成本，同时针对部分无法轻易识别的缺陷，人工目视检查的误检率较高，因此存在较多的弊端。
[0005]基于CNN的缺陷识别算法进一步克服了传统人工目视检查的弊端，将缺陷目标识别推向了人工智能与深度学习领域。但基于CNN的识别算法在缺陷特征提取、模型训练耗时以及识别精度等方面都有较大的改进空间，尤其是需要手动提取特征。

技术实现思路

[0006]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于端对端架构的光伏表面缺陷识别方法及系统，不仅提高了稀疏光伏缺陷的识别精度，而且改善了以往缺陷识别模型收敛慢的弊端。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术的第一个方面提供一种基于端对端架构的光伏表面缺陷识别方法，其包括：
[0009]获取光伏表面图像；
[0010]采用基于端对端架构的光伏缺陷识别模型对光伏表面图像进行缺陷识别，得到光伏表面图像的缺陷区域；
[0011]其中，基于端对端架构的光伏缺陷识别模型包括依次连接的特征提取层、模型编码器、模型解码器和线性层；所述模型编码器利用多尺度可变形注意力机制来处理所述特征提取层提取到的图像特征图，得到多尺度特征图；所述模型解码器利用自注意力机制与可变形交叉注意力机制对多尺度特征图进行处理，将得到的解码特征和参考点输入所述线性层。
[0012]进一步地，在对光伏表面图像进行缺陷识别之前，对光伏表面图像的尺寸和分辨率进行处理。
[0013]进一步地，所述模型编码器对多尺度特征图进行维度压缩后，与位置编码相加得到序列化数据，之后序列化数据与尺度级嵌入相加。
[0014]进一步地，所述模型编码器采用基于正弦函数与余弦函数的位置编码方式。
[0015]进一步地，所述模型解码器针对每个目标特征像素点，由线性层与激活函数学习
参考点的二维坐标，之后应用所述可变形交叉注意力机制进行坐标回归操作。
[0016]本专利技术的第二个方面提供一种基于端对端架构的光伏表面缺陷识别系统，其包括：
[0017]图像获取模块，其被配置为：获取光伏表面图像；
[0018]缺陷识别模块，其被配置为：采用基于端对端架构的光伏缺陷识别模型对光伏表面图像进行缺陷识别，得到光伏表面图像的缺陷区域；
[0019]其中，基于端对端架构的光伏缺陷识别模型包括依次连接的特征提取层、模型编码器、模型解码器和线性层；所述模型编码器利用多尺度可变形注意力机制来处理所述特征提取层提取到的图像特征图，得到多尺度特征图；所述模型解码器利用自注意力机制与可变形交叉注意力机制对多尺度特征图进行处理，将得到的解码特征和参考点输入所述线性层。
[0020]进一步地，还包括预处理模块，其被配置为：在对光伏表面图像进行缺陷识别之前，对光伏表面图像的尺寸和分辨率进行处理。
[0021]进一步地，所述模型编码器对多尺度特征图进行维度压缩后，与位置编码相加得到序列化数据，之后序列化数据与尺度级嵌入相加。
[0022]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于端对端架构的光伏表面缺陷识别方法中的步骤。
[0023]本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于端对端架构的光伏表面缺陷识别方法中的步骤。
[0024]与现有技术相比，本专利技术的有益效果是：
[0025]本专利技术提供了一种基于端对端架构的光伏表面缺陷识别方法，其将整体的光伏缺陷识别视为一种集合预测问题，在端对端架构识别过程中，利用ConvNext提取基础特征，送入编码器与解码器做关系建模，将缺陷图像中所有的特征看做一个集合，而端对端识别器则需要预测缺陷图像中的这一集合，不再应用传统意义上的各类缺陷单独预测，而是从全局关系上将缺陷图片上的所有特征作为预测目标，移除空间锚点与非极大值抑制等人工组件，通过推断目标识别对象与全局图像上下文之间的关系，同时以并行方式预测最终的识别集合，并将集合预测方式引入到端对端架构识别过程中，提高稀疏光伏缺陷的识别精度。
[0026]本专利技术提供了一种基于端对端架构的光伏表面缺陷识别方法，其借鉴了DCN的主要思想，构建可变形注意力机制，减少特征像素与其他非必要特征像素交互计算的次数，改善以往缺陷识别模型收敛慢的弊端。
[0027]本专利技术提供了一种基于端对端架构的光伏表面缺陷识别方法，其针对现有缺陷识别系统计算量大以及空间复杂度高等问题，该专利技术利用尺度级嵌入来区分不同的特征层，使同一特征层的特征点来对应相同的尺度级嵌入，同时尺度级嵌入采用随机初始化的方式，并跟随网络一起训练学习，实现对多尺度特征的关注。
附图说明
[0028]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示
意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0029]图1是本专利技术实施例一的一种基于端对端架构的光伏表面缺陷识别方法的流程图；
[0030]图2是本专利技术实施例一的基于端对端架构的光伏缺陷识别模型架构图。
具体实施方式
[0031]下面结合附图与实施例对本专利技术作进一步说明。
[0032]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0033]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0034]实施例一
[0035]本实施例提供了一种基于端对端架构的光伏表面缺陷识别方法，如图1所示，具体包括以下步骤：
[0036]步骤1、数据采集：获取光伏表面图像。
[0037]通过高分辨率的工业摄像机采集光伏表面(光伏板表面)的实时视频，对每一帧视频进行图像采集。
[0038]其中，摄像头平行于光伏表面进行视频的采集，将采集后的视频传输进行数据预处理，进行数据集的制作。
[0039]步骤2、数据预处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端对端架构的光伏表面缺陷识别方法，其特征在于，包括：获取光伏表面图像；采用基于端对端架构的光伏缺陷识别模型对光伏表面图像进行缺陷识别，得到光伏表面图像的缺陷区域；其中，基于端对端架构的光伏缺陷识别模型包括依次连接的特征提取层、模型编码器、模型解码器和线性层；所述模型编码器利用多尺度可变形注意力机制来处理所述特征提取层提取到的图像特征图，得到多尺度特征图；所述模型解码器利用自注意力机制与可变形交叉注意力机制对多尺度特征图进行处理，将得到的解码特征和参考点输入所述线性层。2.如权利要求1所述的一种基于端对端架构的光伏表面缺陷识别方法，其特征在于，在对光伏表面图像进行缺陷识别之前，对光伏表面图像的尺寸和分辨率进行处理。3.如权利要求1所述的一种基于端对端架构的光伏表面缺陷识别方法，其特征在于，所述模型编码器对多尺度特征图进行维度压缩后，与位置编码相加得到序列化数据，之后序列化数据与尺度级嵌入相加。4.如权利要求1所述的一种基于端对端架构的光伏表面缺陷识别方法，其特征在于，所述模型编码器采用基于正弦函数与余弦函数的位置编码方式。5.如权利要求1所述的一种基于端对端架构的光伏表面缺陷识别方法，其特征在于，所述模型解码器针对每个目标特征像素点，由线性层与激活函数学习参考点的二维坐标，之后应用所述可变形交叉注意力机制进行坐标回归操作。6.一种基于端对端架构的光伏表面缺陷识别系统，其特征在于，包括：图像获取模块，其被配置为：获取...

【专利技术属性】
技术研发人员：田强，王金友，陈晓东，田明国，陈文佼，胡丽，马海春，鞠若彬，任磊，姜文，张帆，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：