一种基于红外与可见光图像融合的变电站无人机巡检方法技术

本发明专利技术公开了一种基于红外与可见光图像融合的变电站无人机巡检方法，具体涉及变电站巡检技术领域，包括获取变电站电气设备的红外图像与可见光图像；对红外图像、可见光图像对进行配准处理；构建图像融合网络；利用融合网络获得融合图像；将融合图像作为训练和被识别对象，采用图像识别算法对变电站电气设备进行识别，进而完成变电站无人机巡检。通过将图像融合模块和语义分割模块级联，利用语义损失引导高级语义信息流回图像融合模块，且通过融合网络中嵌入的GRDB，可以增强融合网络对变电站无人机巡检图像细粒度空间细节的描述能力，解决现有网络体系结构在提取细粒度的细节特征方面效率不高的问题。方面效率不高的问题。方面效率不高的问题。

【技术实现步骤摘要】
一种基于红外与可见光图像融合的变电站无人机巡检方法

：
[0001]本专利技术涉及变电站巡检
，尤其涉及一种基于红外与可见光图像融合的变电站无人机巡检方法。

技术介绍
：
[0002]变电站是电力系统中不可缺少的重要组成部分，其安全稳定运行是保证电力系统正常运行的基础。变电站的巡检业务是保证电网安全稳定运行的关键工作之一，对变电站的运行状况进行实时监测，及时发现变电站电气设备的缺陷，作出预警，避免发生安全事故。目前，变电站内运维巡检主要有人工巡检、机器人巡检两种方式，人工巡检为传统巡检方式，机器人巡检为近年来广受欢迎的新兴巡检方式，在输电线路巡检应用中已形成一定规模，具有全自主、近距离、高质量等特点。
[0003]现有变电站无人机巡检系统图像主要是通过红外与可见光传感器获取的，它们可以同时安装在无人机巡检中，两者输出的图像含有不同的信息，这些信息相互补充可以融合在一起用于变电站无人机巡检电气设备的识别。在过去的几十年里，人们提出了许多图像融合技术，包括传统的方法和最近的基于深度学习的方法。尽管近年来基于深度学习的图像融合算法能够生成令人满意的融合图像，但在图像融合领域仍存在一些紧迫的挑战：一方面，虽然有些研究在特征层面引入感知损失来约束融合图像和源图像，但感知损失并不能有效增强融合图像中的语义信息；另一方面，现有的网络体系结构在提取细粒度的细节特征方面效率不高。因此，急需要提出一种更合理的红外与可见光图像融合技术应用于变电站无人机巡检方法当中，克服上述的缺陷。

技术实现思路
：
[0004]为了弥补现有技术问题的不足，本专利技术提供了一种基于红外与可见光图像融合的变电站无人机巡检方法，通过将图像融合模块和语义分割模块级联，利用语义损失引导高级语义信息流回图像融合模块，解决了现有技术不能有效增强融合图像中的语义信息的问题，且通过融合网络中嵌入的gradient residual dense block(GRDB)，可以增强融合网络对变电站无人机巡检图像细粒度空间细节的描述能力，解决现有网络体系结构在提取细粒度的细节特征方面效率不高的问题。
[0005]本专利技术的技术方案如下：
[0006]一种基于红外与可见光图像融合的变电站无人机巡检方法，其特征在于，包括以下步骤：
[0007](1)、利用无人机的信息采集设备，获取变电站电气设备的红外图像与可见光图像，分别进行预处理；
[0008](2)、对红外图像、可见光图像对进行配准处理；
[0009](3)、构建图像融合网络，所述图像融合网络包括特征提取模块、特征融合与图像重建模块，所述图像融合网络是通过内容损失和语义损失组成的联合损失进行约束的；
[0010](4)、利用特征提取模块从配准后红外图像和可见光图像中提取红外特征和可见光特征；
[0011](5)、利用特征融合与图像重建模块将上述提取的红外特征和可见光特征进行融合，得到融合特征，并根据融合特征获得融合图像；
[0012](6)、将融合图像作为训练和被识别对象，采用图像识别算法对变电站电气设备进行识别，进而完成变电站无人机巡检。
[0013]步骤(3)中所述内容损失定义如下：
[0014][0015]为强度损失，约束融合图像的整体表观强度，为纹理损失，强制融合图像包含更多细粒度纹理细节；α被用来在强度损失和纹理损失之间取得平衡；
[0016]强度损失度量的是变电站无人巡检融合图像和源图像在像素级上的差异；因此，将红外图像和可见光图像的强度损失定义为:
[0017][0018]H、W分别为图像的高度和宽度，I
i
为红外图像，I
v
为可见光图像，I
f
为融合图像，||
·
||1为L1
‑
norm，即L1范数，max(
·
)表示元素最大选择数，通过最大选择策略整合了变电站无人巡检红外图像和可见光图像的像素强度分布；然后，利用融合分布约束融合图像的像素强度分布；
[0019]纹理损失迫使融合图像包含更多的细粒度纹理信息，其定义如下：
[0020][0021]其中表示Sobel梯度算子，用于测量图像的细粒度纹理信息。|
·
|表示绝对运算；变电站无人巡检融合图像的最佳纹理假定是红外图像和可见光图像纹理的最大聚合。
[0022]步骤(3)中所述语义损失是通过引入实时语义分割网络对融合图像进行分割来实现，实时语义分割网络输出分割结果为I
S
∈R
H
×
W
×
C
和辅助分割结果为I
Sa
∈R
H
×
W
×
C
，其中，H为图像高度，W为图像宽度，C为图像通道数；相应地，语义损失包括主语义损失和辅语义损失两个元素，从不同的角度反映了融合图像所包含的语义信息，分别定义如下：
[0023][0024][0025]表示从语义标签L
s
∈(1，C)
H
×
W
转换而来的单热点向量；因此，
语义损失为：
[0026][0027]其中β为平衡主语义损失和辅语义损失的常数。
[0028]步骤(3)中所述联合损失
[0029][0030]其中，为内容损失，为语义损失，γ是表征语义损失重要性的超参数，γ根据联合底层和高层任务的自适应训练策略逐步增加，因为随着训练的进行，分割网络随着融合模型变得自适应。
[0031]所述联合底层和高层任务的自适应训练策略，具体如下：
[0032]对图像融合网络和分割网络进行迭代训练，并设置迭代次数为M；首先，在联合损失的指导下，利用Adam优化器对融合网络中的所有参数进行优化；同时，联合损失超参数γ随迭代动态调整，其表达式为:
[0033]γ＝δ
×
(m
‑
1)
[0034]其中，m表示第m次迭代，γ随着训练的进行而逐渐增加，这是由于随着迭代次数的增加分割网络更适合融合网络，语义损失更准确地指导融合网络的训练，δ是一个常量，用于平衡语义损失和内容损失；然后，根据当前的融合结果，通过优化语义损失来更新分割网络的参数。
[0035]步骤(4)中利用特征提取模块E
F
，从配准后红外图像和可见光图像中提取红外特征和可见光特征，可以表示为：
[0036]{F
i
，f
v
}＝{E
F
(I
i
)，E
F
(I
v
)}
[0037]其中，F
i
，F
v
分别表示为红外特征和可见光特征；
[0038]所述特征提取模块中嵌入有梯度残差密集块GRDB，用于提高变电站无人机巡检红外和可见光图像细粒度细节的描述能力，同时提取高级语义特征；
...

【技术保护点】

【技术特征摘要】
1.一种基于红外与可见光图像融合的变电站无人机巡检方法，其特征在于，包括以下步骤：(1)、利用无人机的信息采集设备，获取变电站电气设备的红外图像与可见光图像，分别进行预处理；(2)、对红外图像、可见光图像对进行配准处理；(3)、构建图像融合网络，所述图像融合网络包括特征提取模块、特征融合与图像重建模块，所述图像融合网络是通过内容损失和语义损失组成的联合损失进行约束的；(4)、利用特征提取模块从配准后红外图像和可见光图像中提取红外特征和可见光特征；(5)、利用特征融合与图像重建模块将上述提取的红外特征和可见光特征进行融合，得到融合特征，并根据融合特征获得融合图像；(6)、将融合图像作为训练和被识别对象，采用图像识别算法对变电站电气设备进行识别，进而完成变电站无人机巡检。2.根据权利要求1所述的一种基于红外与可见光图像融合的变电站无人机巡检方法，其特征在于，步骤(3)中所述内容损失定义如下：定义如下：为强度损失，约束融合图像的整体表观强度，为纹理损失，强制融合图像包含更多细粒度纹理细节；α被用来在强度损失和纹理损失之间取得平衡；强度损失度量的是变电站无人巡检融合图像和源图像在像素级上的差异；因此，将红外图像和可见光图像的强度损失定义为:H、W分别为图像的高度和宽度，I
i
为红外图像，I
v
为可见光图像，I
f
为融合图像，||
·
||1为L1
‑
norm，即L1范数，max(
·
)表示元素最大选择数，通过最大选择策略整合了变电站无人巡检红外图像和可见光图像的像素强度分布；然后，利用融合分布约束融合图像的像素强度分布；纹理损失迫使融合图像包含更多的细粒度纹理信息，其定义如下：其中表示Sobel梯度算子，用于测量图像的细粒度纹理信息。|
·
|表示绝对运算；变电站无人巡检融合图像的最佳纹理假定是红外图像和可见光图像纹理的最大聚合。3.根据权利要求1所述的一种基于红外与可见光图像融合的变电站无人机巡检方法，其特征在于，步骤(3)中所述语义损失是通过引入实时语义分割网络对融合图像进行分割来实现，实时语义分割网络输出分割结果为I
S
∈R
H
×
W
×
C
和辅助分割结果为I
Sa
∈R
H
×
W
×
C
，其中，H为图像高度，W为图像宽度，C为图像通道数；相应地，语义损失包括主语义损失和辅
语义损失两个元素，从不同的角度反映了融合图像所包含的语义...

【专利技术属性】
技术研发人员：李多雄，
申请(专利权)人：安徽优航遥感信息技术有限公司，
类型：发明
国别省市：