本发明专利技术属于电力设备状态监测技术领域，具体涉及一种基于注意力机制的红外图像与深度图像融合方法及系统。针对现有电力设备状态识别方法准确性较低的不足，本发明专利技术采用如下技术方案：一种基于注意力机制的红外图像与深度图像融合方法，应用于预先构建的生成对抗网络，所述生成对抗网络包括生成器、注意力特征提取模块及判别器，包括：获取红外图像和深度图像，分别进行编码；对编码后的度图像进行注意力特征提取，得到融合图像；对所述融合图像进行检测，得到红外图像细节及深度图像细节。本发明专利技术的有益效果是：采用深度图像可以适应图像焦距差异，抑制日照、环境等干扰因素，兼顾增强重点区域和保留设备细节信息的要求，提升设备状态监测的准确性。监测的准确性。监测的准确性。
【技术实现步骤摘要】
红外图像与深度图像融合方法、系统、装置及存储介质
[0001]本专利技术属于电力设备状态监测
，具体涉及一种基于注意力机制的红外图像与深度图像融合方法、系统、装置及存储介质。
技术介绍
[0002]电力设备的可靠性是电网安全运行的基础，其运行状态感知是电网运维和运行控制的重要支撑。近年来，电力设备状态感知技术向数字化和智能化方向快速发展，新技术不断涌现，有效提升了设备智能化水平。电力设备状态感知多通过获取红外图像和可见光图像实现。
[0003]红外图像具有较强的目标识别能力，对于热源区域较为敏感，有利于发现设备发热点等目标，而且可以实现日夜全天候监测。可见光图像能够为目标区域提供丰富的背景信息，从而可以更好地掌握目标距离、表面纹理、环境信息等。利用人工智能、深度学习等技术，对红外、可见光图像进行分析，可以对电力设备状态进行较为准确的判断。
[0004]公开号为CN 111709902 A的中国专利技术专利申请公开了一种基于自注意力机制的红外和可见光图像融合方法，该方法首先搭建基于自注意力机制的深度自编码网络结构，将编码层不同分支的特征图输入自注意力机制获得注意力图，并采用均值融合策略获得输出特征图，设计内容损失和细节损失两类损失函数，分别用于突出红外目标信息，锐化边缘和更好地利用源图像中的纹理细节，最后训练神经网络，并对自注意力机制进行可视化以调整网络结构和损失函数。该方法虽然通过学习注意力图以最佳方式分配注意力，获取图像关键信息，改善了视觉效果，提高了融合图像的质量，但是缺乏对融合图像的检验，不能满足电力设备监测对准确性的高要求。
[0005]公开号为CN114187214A的中国专利技术专利申请公开了一种红外与可见光图像融合系统及方法，通过多尺度特征提取单元分别提取红外图像和可见光图像的多尺度特征，然后通过双重注意力机制对多尺度特征进行特征筛选，再由图像重构单元完成图像融合，从而得到细节清晰的红外和可见光融合图像。但是，上述方法缺乏对远距离红外、激光、可见光等成像方式的考虑，由于电力设备工作环境的特点，特别在架空输电线路的远距离非接触测量中，存在图像焦距，以及日照、风偏等干扰，除了可见光图像，还需要引入对深度图像的分析。
[0006]综上所述，为了提高电力设备状态监测的准确性，特别是针对输电线路远距离非接触测温等场景，需要在现有红外、可见光图像融合的基础上，实现对深度图像的融合；为了提高融合图像的质量，需要应用人工智能算法，并引入注意力机制，较好保存源图像信息，解决感知图像中重点区域、细节的完整性问题；为了提高融合图像的准确性，需要使用生成对抗网络技术，并采用双判别器结构，兼顾红外图像、深度图像的差异，通过生成器与判别器的博弈对抗，获得融合图像，可以适应成像焦距差异，抑制日照、环境等干扰因素，促进电力设备状态监测技术的数字化、智能化发展。
技术实现思路
[0007]本专利技术针对现有电力设备状态识别方法采用的是红外图像和可见光图像融合，应用在电力设备的输电线路等远距离非接触测温场景下，准确性较低的不足，提供一种基于注意力机制的红外图像与深度图像融合方法，将红外图像和深度图像进行融合，以提升设备状态监测的准确性。本专利技术同时提供一种基于注意力机制的红外图像与深度图像融合系统、图像融合装置及计算机可读存储介质。
[0008]为实现上述目的，本专利技术采用如下技术方案：一种基于注意力机制的红外图像与深度图像融合方法，应用于预先构建的生成对抗网络，所述生成对抗网络包括生成器、注意力特征提取模块及判别器，所述方法包括：
[0009]步骤S101、获取电力设备红外图像和深度图像，基于所述生成器，对电力设备红外图像和深度图像分别进行编码，得到编码后的电力设备红外图像和深度图像；
[0010]步骤S102、基于所述注意力特征提取模块，对所述编码后的电力设备红外图像和深度图像进行注意力特征提取，得到电力红外特征和深度图像特征，将所述电力红外特征和所述深度图像特征融合，得到融合图像；
[0011]步骤S103、采用所述判别器，对所述融合图像进行检测，得到所述融合图像的红外图像细节及深度图像细节。
[0012]本专利技术的基于注意力机制的红外图像与深度图像融合方法，考虑到电力设备红外图像、深度图像具有不同的模态，在图像融合过程中引入注意力机制，针对电力设备非接触测温等应用，提取对应的特征并实现图像融合，相比可见光图像，采用深度图像可以适应图像焦距差异，抑制日照、环境等干扰因素，兼顾增强重点区域和保留设备细节信息的要求，提升设备状态监测的准确性。
[0013]进一步地，步骤S101中，所述生成器包括两个数据流，每个数据流包含3个卷积模块，每个卷积模块包括卷积层和ReLU激活函数。
[0014]进一步地，步骤S102中，将输入的特征定义为Feature
i
，经过全局平均池化操作获得每个特征的关键值Key
i
，将需融合的图像细节定义为Layer，将图像细节Layer与关键值Key
i
进行相似度计算得到权重系数，然后将权重与原始特征相乘，如下：
[0015][0016]基于注意力机制提升图像中典型特征区域的多尺度感知能力，然后将特征结合统一解码过程生成融合图像。
[0017]进一步地，步骤S103中，所述判别器是包含卷积的多层网络，所述判别器有两个，两个所述判别器具有相同的网络结构，所述判别器包含6个卷积模块，每个模块包含卷积层和LeakyReLU激活函数。进一步地，步骤S103中，红外图像细节包括红外强度。
[0018]进一步地，步骤S103中，深度图像细节包括距离、轮廓、纹理中的至少一种。
[0019]进一步地，电力设备包括变电设备和架空线路；采用红外热像仪或光学变焦红外成像设备获取红外图像，采用三维激光扫描仪获取深度图像。
[0020]一种基于注意力机制的红外图像与深度图像融合系统，所述系统包括：
[0021]编码模块，用于对电力设备红外图像和深度图像分别进行编码，得到编码后的电力设备红外图像和深度图像；
[0022]注意力特征提取模块，用于对所述编码后的电力设备红外图像和深度图像进行注
意力特征提取，得到电力红外特征和深度图像特征，将所述电力红外特征和所述深度图像特征融合，得到融合图像；
[0023]判别模块，用于对所述融合图像进行检测，得到所述融合图像的红外图像细节及深度图像细节。
[0024]进一步地，所述编码模块包括两个数据流，每个数据流包含3个卷积模块，每个卷积模块包括卷积层和ReLU激活函数。
[0025]进一步地，所述注意力特征提取模块将输入的特征定义为Feature
i
，经过全局平均池化操作获得每个特征的关键值Key
i
，将需融合的图像细节定义为Layer，将图像细节Layer与关键值Key
i
进行相似度计算得到权重系数，然后将权重与原始特征相乘，如下：
[0026][本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：应用于预先构建的生成对抗网络，所述生成对抗网络包括生成器、注意力特征提取模块及判别器，所述方法包括：步骤S101、获取电力设备红外图像和深度图像，基于所述生成器，对电力设备红外图像和深度图像分别进行编码，得到编码后的电力设备红外图像和深度图像；步骤S102、基于所述注意力特征提取模块，对所述编码后的电力设备红外图像和深度图像进行注意力特征提取，得到电力红外特征和深度图像特征，将所述电力红外特征和所述深度图像特征融合，得到融合图像；步骤S103、采用所述判别器，对所述融合图像进行检测，得到所述融合图像的红外图像细节及深度图像细节。2.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S101中，所述生成器包括两个数据流，每个数据流包含3个卷积模块，每个卷积模块包括卷积层和ReLU激活函数。3.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S102中，将输入的特征定义为Feature
i
，经过全局平均池化操作获得每个特征的关键值Key
i
，将需融合的图像细节定义为Layer，将图像细节Layer与关键值Key
i
进行相似度计算得到权重系数，然后将权重与原始特征相乘，如下：基于注意力机制提升图像中典型特征区域的多尺度感知能力，然后将特征结合统一解码过程生成融合图像。4.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S103中，所述判别器是包含卷积的多层网络，所述判别器有两个，两个所述判别器具有相同的网络结构，所述判别器包含6个卷积模块，每个模块包含卷积层和LeakyReLU激活函数。5.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S103中，红外图像细节包括红外强度，深度图像细节包括距离、轮廓、纹理中的至少一种；电力设备包括变电设备和架空线路；采用红外热像仪或...
【专利技术属性】
技术研发人员：朱金华，邵先军，姜凯华，梁云，张志峰，王少华，李特，王振国，张永，周啸宇，温典，
申请(专利权)人：国网智能电网研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。