一种电力设备的图像融合方法、系统、设备和介质技术方案

本发明专利技术公开了一种电力设备的图像融合方法、系统、设备和介质，通过当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。通过多尺度注意机制特征融合方法实现不同模态和不同尺度特征之间的交互，加强多模态图像源和多尺度的特征融合，提高融合图像的目标细节。目标细节。目标细节。

【技术实现步骤摘要】
一种电力设备的图像融合方法、系统、设备和介质


[0001]本专利技术涉及电力设备
，尤其涉及电力设备的图像融合方法、系统、设备和介质。

技术介绍

[0002]为了保证电力系统的稳定运行，有必要定期对电力设备进行检查。智能巡检机器人在电力线、火电发电、智能变电站等方面的应用研究取得了很大进展。目前电力工业以推广无人机巡检、智能机器人巡检等为主。由于智能传感器的广泛应用，许多智能系统得以实现，如高压变电站无人操作、站运维智能化全覆盖、设备24小时运行等，这些领域高度融合了监控、检测、运维、检修、安防等方面的智能技术。
[0003]为了保证变电站的正常运行，有必要在电力设备上部署检测系统。然而，目前的电力设备的图像融合系统仍然存在许多缺陷，如板载电池容量有限、线路故障检测不可靠、电磁屏蔽等。在这方面，采用目标检测和图像融合的电力设备的图像融合能够很好地弥补以上问题。
[0004]目标检测是机器视觉的一个热门领域，其目的是设计一种模型，使计算机能够独立地在输入图像中找到目标。但现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低。

技术实现思路

[0005]本专利技术提供了一种电力设备的图像融合方法、系统、设备和介质，解决了现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低的技术问题。
[0006]本专利技术提供的一种电力设备的图像融合方法，应用于图像融合模型，所述方法包括：当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集。
[0007]可选地，所述图像组包括红外图像和对应的可见光图像；所述分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集的步骤，包括：将所述红外图像和所述可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征；
将所述红外浅层特征和所述可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征；将所述红外中层特征和所述可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征；采用所述红外浅层特征、所述可见光浅层特征、所述红外中层特征、所述可见光中层特征、所述红外深层特征和所述可见光深层特征，构建所述图像组对应的特征集。
[0008]可选地，所述特征集包括多个特征组；所述采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集的步骤，包括：分别将所述特征组进行通道注意力机制特征检测，生成通道注意力输出特征图；所述通道注意力输出特征图为：；式中，为通道注意力输出特征图；为第i个输入特征通道c的特征；为全局平均池化；、分别为两层全连接；为Sigmoid激活函数；分别将所述特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图；所述空间注意力输出特征图为：；式中，为空间注意力输出特征图；为第i个输入特征通道c的特征；为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作；采用所述通道注意力输出特征图和所述空间注意力输出特征图进行元素级相乘，生成所述特征组对应的注意力输出特征；采用全部所述注意力输出特征，构建注意力输出特征集。
[0009]可选地，所述采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像的步骤，包括：采用所述红外深层特征和所述可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征；采用所述红外采样特征、所述可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征；将所述第三红外堆叠特征和所述第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征；采用所述红外压缩特征和所述可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。
[0010]可选地，所述注意力输出特征集包括浅层注意力输出特征、中层注意力输出特征和深层注意力输出特征；所述采用所述红外采样特征、所述可见光采样特征和所述注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征的步骤，包括：
将所述红外采样特征和所述可见光采样特征分别输入对应的第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特征；采用所述第一红外提取特征和所述第一可见光提取特征分别与所述深层注意力输出特征进行堆叠，生成第一红外堆叠特征和第一可见光堆叠特征；将所述第一红外堆叠特征和所述第一可见光堆叠特征分别输入对应的第五预设特征提取模块进行特征提取，生成第二红外提取特征和第二可见光提取特征；采用所述第二红外提取特征和所述第二可见光提取特征分别与所述中层注意力输出特征进行堆叠，生成第二红外堆叠特征和第二可见光堆叠特征；将所述第二红外堆叠特征和所述第二可见光堆叠特征分别输入对应的第六预设特征提取模块进行特征提取，生成第三红外提取特征和第三可见光提取特征；采用所述第三红外提取特征和所述第三可见光提取特征分别与所述浅层注意力输出特征进行堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
[0011]可选地，所述采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集的步骤，包括：分别将所述红外重建图像和对应的红外图像输入红外判别器进行推土机距离计算，生成红外图像距离；分别将所述可见光重建图像和对应的可见光图像输入可见光判别器进行推土机距离计算，生成可见光图像距离；当所述红外图像距离和所述可见光图像距离都满足预设距离阈值时，采用所述电力设备可见光图像和对应的红外重建图像进行元素级相加，生成可见光与红外融合图像；采用全部所述可见光与红外融合图像，构建所述电力设备对应的可见光与红外融合图像集。
[0012]本专利技术还提供了一种电力设备的图像融合系统，应用于图像融合模型，所述系统包括：特征集生成模块，用于当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；注意力输出特征集生成模块，用于采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；红外重建图像和可见光重建图像生成模块，用于采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；可见光与红外融合图像集构建模块，用于采用全部所述红外重建图像和对应的可见光重建图像进行推本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力设备的图像融合方法，其特征在于，应用于图像融合模型，所述方法包括：当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集。2.根据权利要求1所述的电力设备的图像融合方法，其特征在于，所述图像组包括红外图像和对应的可见光图像；所述分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集的步骤，包括：将所述红外图像和所述可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征；将所述红外浅层特征和所述可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征；将所述红外中层特征和所述可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征；采用所述红外浅层特征、所述可见光浅层特征、所述红外中层特征、所述可见光中层特征、所述红外深层特征和所述可见光深层特征，构建所述图像组对应的特征集。3.根据权利要求1所述的电力设备的图像融合方法，其特征在于，所述特征集包括多个特征组；所述采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集的步骤，包括：分别将所述特征组进行通道注意力机制特征检测，生成通道注意力输出特征图；所述通道注意力输出特征图为：；式中，为通道注意力输出特征图；为第i个输入特征通道c的特征；为全局平均池化；、分别为两层全连接；为Sigmoid激活函数；分别将所述特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图；所述空间注意力输出特征图为：；式中，为空间注意力输出特征图；为第i个输入特征通道c的特征；为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作；采用所述通道注意力输出特征图和所述空间注意力输出特征图进行元素级相乘，生成所述特征组对应的注意力输出特征；采用全部所述注意力输出特征，构建注意力输出特征集。
4.根据权利要求2所述的电力设备的图像融合方法，其特征在于，所述采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像的步骤，包括：采用所述红外深层特征和所述可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征；采用所述红外采样特征、所述可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征；将所述第三红外堆叠特征和所述第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征；采用所述红外压缩特征和所述可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。5.根据权利要求4所述的电力设备的图像融合方法，其特征在于，所述注意力输出特征集包括浅层注意力输出特征、中层注意力输出特征和深层注意力输出特征；所述采用所述红外采样特征、所述可见光采样特征和所述注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征的步骤，包括：将所述红外采样特征和所述可见光采样特征分别输入对应的第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特...

【专利技术属性】
技术研发人员：吴悦园，林丽霞，李华轩，沈润，李杏，康钱江，陈晓儒，陈智豪，王斌，庄凤彩，施冬松，陈浩，陈婷，莫仲辉，赵浩远，孙美蝶，张彤，
申请(专利权)人：广东电网有限责任公司湛江供电局，
类型：发明
国别省市：