基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质技术方案

本发明专利技术提供了一种基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质。通过本申请提出的技术方案，能够同时利用无人机获取的可见光图像和热成像图像实现对光伏面板安装区域进行高速自动化巡检，具体地，通过改进的目标检测算法对双光图像分别进行检测，将基于可见光图像的缺陷检测算法的结果与目标组件的热斑温度、平均温度相结合，从而对于光伏面板缺陷均能够实现及时检出。在双光图像融合的过程中，克服了双光相机的拍摄偏差，同时实现了对于缺陷面板的精准定位，能够自动生成包含缺陷检测信息、缺陷定位信息以及图像融合信息的自动化定制报告，适应于光伏电站的精细化运维需求，具有可推广价值。具有可推广价值。具有可推广价值。

【技术实现步骤摘要】
基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质


[0001]本专利技术涉及图像处理分析
，具体地，公开了一种基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质。

技术介绍

[0002]随着国家“双碳”能源战略发展，为顺应能源数字化转型，光伏电站已从建设高峰期进入精细化运维期。现有技术中通常采用人工巡检的方式来记录光伏电站运行数据的方式，然后考虑到光伏电站往往占地面积较大，人工巡检不仅会耗费大量的人工成本，而且无法保证数据采集的准确性，人工全天候采集记录数据及其枯燥且效率低下，亟需采用无人机巡检等自动化方式进行有效代替。
[0003]而在传统的自动化无人机巡检过程中，往往仅采用可见光图像分析或是热成像图像分析的方式进行。可以理解的是，若仅通过可见光图像进行分析，则无法有效观察到光伏面板内部的故障；若仅通过热成像图像进行分析，则无法观察到光伏面板上实际的遮挡、裂痕或者附着物，无法满足精细化运维的需求。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供一种基于双光融合的光伏面板缺陷检测方法、系统、设备及计算机可读存储介质。
[0005]在本申请的第一方面提供了一种基于双光融合的光伏面板缺陷检测方法，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；
[0006]该种光伏面板缺陷检测方法包括：
[0007]获取热成像图像数据和可见光图像数据；
[0008]对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对可见光图像数据进行可见光缺陷检测获取对应的第二检测结果；
[0009]根据预设参数，对热成像图像数据和可见光图像数据进行图像畸变矫正，以获取对应的矫正参数；
[0010]根据第一检测结果、第二检测结果以及矫正参数，对热成像图像数据和可见光图像数据进行双光融合操作，以获取光伏面板缺陷分布情况；
[0011]根据光伏面板缺陷分布情况，获取存在缺陷的光伏面板的实际缺陷分布位置；
[0012]根据第一检测结果、第二检测结果以及实际缺陷分布位置，生成关联于存在缺陷的光伏面板的缺陷检测报告。
[0013]在上述第一方面的一种可能的实现中，在对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果的过程中，还包括：
[0014]于热成像图像数据中，基于yolact算法获取每个光伏面板的图像掩膜；
[0015]对每个图像掩膜对应的最大热成像区域进行二值化处理以获取对应的识别区域；
[0016]于识别区域中，获取光伏面板对应的最小外接矩形，并将最小外接矩形作为光伏面板对应的检测判断区域；
[0017]于检测判断区域中判断光伏面板是否存在缺陷，以生成第一检测结果。
[0018]在上述第一方面的一种可能的实现中，第一检测结果包括光伏面板处于正常工况以及光伏面板内部组件出现温度异常工况。
[0019]在上述第一方面的一种可能的实现中，在对可见光图像数据进行可见光缺陷检测获取对应的第二检测结果的过程中，还包括：
[0020]对可见光图像数据进行图像分割以获取满足预设目标检测网络的像素要求的检测图像；
[0021]根据预设目标检测网络对检测图像中是否存在缺陷进行检测，以生成第二检测结果。
[0022]在上述第一方面的一种可能的实现中，第二检测结果包括光伏面板处于正常工况以及光伏面板表面出现异常工况。
[0023]在上述第一方面的一种可能的实现中，在根据预设参数对热成像图像数据和可见光图像数据进行图像畸变矫正的过程中，还包括：
[0024]根据预设的标记热成像图像以及标记可见光图像，获取热成像图像数据与可见光图像数据的初始配准参数；
[0025]根据标记热成像图像以及标记可见光图像对应的经纬度信息，获取可见光图像数据对应的实际距离偏差；
[0026]根据相机成像原理，将实际距离偏差映射至初始配准参数中，以获取矫正参数。
[0027]在上述第一方面的一种可能的实现中，在根据光伏面板缺陷分布情况获取存在缺陷的光伏面板的实际缺陷分布位置的过程中，还包括：
[0028]获取无人机于拍摄过程中的飞行姿态数据以及无人机于拍摄过程中的实际定位信息；
[0029]根据飞行姿态数据和实际定位信息，获取可见光图像数据中的图像像素坐标与地理信息坐标的映射关系；
[0030]根据第一检测结果和第二检测结果，在光伏面板出现非正常工况的情况下，获取光伏面板的图像像素坐标对应的地理信息坐标，并将地理信息坐标作为实际缺陷分布位置。
[0031]本申请的第二方面提供了一种基于双光融合的光伏面板缺陷检测系统，应用于前述第一方面提供的基于双光融合的光伏面板缺陷检测方法中，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；
[0032]该种光伏面板缺陷检测系统包括：
[0033]获取单元，用于获取热成像图像数据和可见光图像数据；
[0034]检测单元，用于对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对可见光图像进行可见光缺陷检测获取对应的第二检测结果；
[0035]校准单元，用于根据预设参数，对热成像图像数据和可见光图像数据进行图像畸变矫正，以获取矫正的第一热成像图像和第一可见光图像；
[0036]双光融合单元，用于根据第一检测结果、第二检测结果、第一热成像图像和第一可见光图像进行双光融合操作，以获取光伏面板缺陷分布情况；
[0037]定位单元，用于根据光伏面板缺陷分布情况，获取存在缺陷的光伏面板的实际缺陷分布位置；
[0038]检测生成单元，用于根据第一检测结果、第二检测结果以及实际缺陷分布位置，生成关联于存在缺陷的光伏面板的缺陷检测报告。
[0039]本申请的第三方面提供了一种基于双光融合的光伏面板缺陷检测设备，包括：
[0040]存储器，用于存储计算机程序；
[0041]处理器，用于执行计算机程序时实现前述第一方面所提供的基于双光融合的光伏面板缺陷检测方法。
[0042]本申请的第四方面提供了一种计算机可读存储介质，该种计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时实现前述第一方面所提供的基于双光融合的光伏面板缺陷检测方法。
[0043]与现有技术相比，本申请具有如下的有益效果：
[0044]通过本申请提出的技术方案，能够同时利用无人机获取的可见光图像和热成像图像实现对光伏面板安装区域进行高速自动化巡检，具体地，通过改进的目标检测算法对双光图像分别进行检测，将基于可见光图像的缺陷检测算法的结果与目标组件的热斑温度、目标组串的平均温度相结合，从而对于大部分光伏面板缺陷问题均能够实现及时检出。在双光图像融合的过程中，克服了双光相机的拍摄偏差，使得多源图像中的待检测目标均可以通过坐标转换实现相互映射，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双光融合的光伏面板缺陷检测方法，其特征在于，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；所述光伏面板缺陷检测方法包括：获取所述热成像图像数据和所述可见光图像数据；对所述热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对所述可见光图像数据进行可见光缺陷检测获取对应的第二检测结果；根据预设参数，对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正，以获取对应的矫正参数；根据所述第一检测结果、所述第二检测结果以及所述矫正参数，对所述热成像图像数据和所述可见光图像数据进行双光融合操作，以获取光伏面板缺陷分布情况；根据所述光伏面板缺陷分布情况，获取存在缺陷的所述光伏面板的实际缺陷分布位置；根据所述第一检测结果、所述第二检测结果以及所述实际缺陷分布位置，生成关联于存在缺陷的所述光伏面板的缺陷检测报告。2.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在对所述热成像图像数据进行热成像缺陷检测获取对应的第一检测结果的过程中，还包括：于所述热成像图像数据中，基于yolact算法获取每个所述光伏面板的图像掩膜；对每个所述图像掩膜对应的最大热成像区域进行二值化处理以获取对应的识别区域；于所述识别区域中，获取所述光伏面板对应的最小外接矩形，并将所述最小外接矩形作为所述光伏面板对应的检测判断区域；于所述检测判断区域中判断所述光伏面板是否存在缺陷，以生成所述第一检测结果。3.如权利要求1或2所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，所述第一检测结果包括所述光伏面板处于正常工况以及所述光伏面板内部组件出现温度异常工况。4.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在对所述可见光图像数据进行可见光缺陷检测获取对应的第二检测结果的过程中，还包括：对所述可见光图像数据进行图像分割以获取满足预设目标检测网络的像素要求的检测图像；根据所述预设目标检测网络对所述检测图像中是否存在缺陷进行检测，以生成所述第二检测结果。5.如权利要求1或4所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，所述第二检测结果包括所述光伏面板处于正常工况以及所述光伏面板表面出现异常工况。6.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在根据预设参数对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正的过程中，还包括：根据预设的标记热成像图像以及标记可见光图像，获取所述热...

【专利技术属性】
技术研发人员：肖素枝，胡金磊，钱茂冬，王海滨，
申请(专利权)人：星逻人工智能技术上海有限公司，
类型：发明
国别省市：