一种电力巡检场景下的红外与可见光图像配准方法技术

本发明专利技术涉及一种电力巡检场景下的红外与可见光图像配准方法，包括以下步骤：步骤S1:获取电力设备的红外图像与可见光图像；步骤S2:通过Sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；步骤S3:采用SuperPoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；步骤S4:根据步骤S3得到的两幅边缘图像的特征点，通过SuperGlue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；步骤S5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准。本发明专利技术实现对电力设备红外与可见光图像的精确配准，在可见光图像背景中获取电力设备的温度信息。度信息。度信息。

【技术实现步骤摘要】
一种电力巡检场景下的红外与可见光图像配准方法


[0001]本专利技术属于图像处理
，具体涉及一种电力巡检场景下的红外与可见光图像配准方法。

技术介绍

[0002]电网的建设和维护对于国家以及社会的发展有着重要的作用，电力事业是国家综合实力提升以及社会高速发展的重要保障。电力设备是电网中的重要组成部分，当电力设备正常工作时，在电流的作用下会产生一定的热量，但温度应当在一定的范围内。当电力设备老化或故障时，会出现设备局部发热异常的状况，危及电网的安全稳定运行。因此有必要对电力设备进行安全检测，及时发现设备异常发热状况并维修。
[0003]现有的电力设备发热检测通常使用测温仪或红外相机的方式进行，需要在电力系统中大规模地布置检测仪器，成本高、容易遗漏死角，并且检测结果需要由技术人员进行分析判断，花费的人力物力大，效率低。随着图像处理技术的发展，可以采用红外与可见光图像协同处理的方式，结合红外图像能检测物体温度、抗干扰能力强以及可见光图像细节信息丰富、分辨率高的特点，实现在可见光图像背景中获取电力设备温度信息的功能。结合红外与可见光图像的检测结果信息丰富，易于观察，便于技术人员对电力设备进行异常发热检测。
[0004]红外与可见光图像协同处理的前提需要将二者图像进行配准。图像配准是从不同传感器、不同视角、不同时间获取的两幅或多幅图像中识别然后对应出相同或相似的结构和内容，依据一些相似性度量决定图像间的变换参数，使两幅或多幅图像变换到同一坐标系下，在像素层上得到最佳匹配的过程。红外与可见光图像配准属于多模态图像配准，由于二者成像机理不同导致图像之间存在明显差异，红外图像相较于可见光图像分辨率低、图像模糊、细节信息较差，并且二者的灰度特征具有较大差异，配准难度较大。现有的方法多基于图像点特征进行配准：如SIFT和SURF等方法。然而大部分方法在红外与可见光图像配准方面的精确度和正确率很低，无法实现配准。针对这一问题，需要一种能对红外和可见光图像进行精确配准的方法。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种电力巡检场景下的红外与可见光图像配准方法，实现对电力设备红外与可见光图像的精确配准，在可见光图像背景中获取电力设备的温度信息。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]一种电力巡检场景下的红外与可见光图像配准方法，包括以下步骤：
[0008]步骤S1:获取电力设备的红外图像与可见光图像；
[0009]步骤S2:通过Sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；
[0010]步骤S3:采用SuperPoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；
[0011]步骤S4:根据步骤S3得到的两幅边缘图像的特征点，通过SuperGlue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；
[0012]步骤S5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准。
[0013]进一步的，所述步骤S2具体为:
[0014]步骤S21:通过灰度变换函数对电力设备的红外图像A和可见光图像B进行灰度化处理，将彩色图像转换为灰度图像；
[0015]步骤S22:通过Sobel边缘检测算子提取电力设备的红外边缘图像和可见光边缘图像设Sobel
x
、Sobel
y
分别为横向以及纵向卷积因子，通过将其与图像作卷积运算，分别得到图像横向及纵向边缘检测结果图G
x
＝Sobel
x
*A,G
y
＝Sobel
y
*A；通过将二者结合，得到最终的边缘图像。
[0016]进一步的，所述Sobel卷积因子具体为：
[0017][0018]进一步的，所述步骤S3具体为：
[0019]步骤S31:根据获取的红外边缘图像图像尺寸为H
×
W，通过编码器网络对红外边缘图像进行处理，处理后的边缘图像由变为其空间尺寸为Hc
×
Wc，其中Hc＜H，Wc＜W；
[0020]步骤S32:在特征点提取网络，输入为张量首先通过卷积层进行两次卷积运算，得到每个像素点为特征点的得分；随后通过Softmax函数，将每个像素的得分映射到[0,1]之间，对应于红外边缘图像的像素点为特征点的概率；最后通过上采样恢复到原尺寸大小；
[0021]步骤S33:描述子解码器网络通过计算张量并将其转换为网络的输出为L2范数标准归一化的固定长度描述子；
[0022]步骤S34:对于可见光边缘图像通过相同的处理，得到可见光边缘图像的特征点及描述子。
[0023]进一步的，所述编码器网络结构单元由卷积层Conv、非线性激活函数Relu和池化层Pool组成，具体如下：
[0024]a.卷积层：卷积层首先对输入图像的边界进行填充，然后利用卷积核对输入图像进行卷积运算，提取图像的特征并输出特征图；
[0025]b.非线性激活函数：在每一个卷积层后都有ReLU非线性激活函数，增加神经网络的非线性。
[0026]c.池化层：池化层对卷积层所得到的特征图进行下采样，降低卷积层输出的特征
图尺寸，减少网络的计算量。
[0027]进一步的，所述步骤S33具体为：
[0028]a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为其中65个通道对应于图像中不重叠的局部8*8像素网格区域，外加1个对应于在8*8区域中未检测到特征点的通道；然后，将不含特征点的1个通道去除，得到
[0029]b.使用Softmax函数将中每个像素点的得分映射到[0,1]之间，得到每个像素点为特征点的概率；
[0030]c.通过子像素卷积将尺寸较小的特征图放大，首先在64个特征图的同一位置各取一个像素点，拼成8*8尺寸的特征图；然后对特征图其他位置像素点进行同样的处理；最终将特征图的尺寸放大为原来的8倍，输出与最初红外边缘图像尺寸一致的结果图
[0031]进一步的，所述步骤S34具体为：
[0032]a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为
[0033]b.提取特征点对应的描述子，首先对图像尺寸进行归一化，同时特征点也随之移动到归一化处理后图像相应的位置；然后通过归一化后的特征点构建K组1
×1×
2的张量，其中K表示特征点数量，2分别代表特征点的横纵坐标；将特征点的位置进行反归一化，并通过双线次插值算法，将描述子插入到对应关键点的位置；最后通过L2范数标准归一化，得到统一长度的描述子。
[0034]进一步的，所述步骤S4具体为：
[0035]步骤S41:通过Su本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，包括以下步骤：步骤S1:获取电力设备的红外图像与可见光图像；步骤S2:通过Sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；步骤S3:采用SuperPoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；步骤S4:根据步骤S3得到的两幅边缘图像的特征点，通过SuperGlue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；步骤S5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准。2.根据权利要求1所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤S2具体为:步骤S21:通过灰度变换函数对电力设备的红外图像A和可见光图像B进行灰度化处理，将彩色图像转换为灰度图像；步骤S22:通过Sobel边缘检测算子提取电力设备的红外边缘图像和可见光边缘图像设Sobel
x
、Sobel
y
分别为横向以及纵向卷积因子，通过将其与图像作卷积运算，分别得到图像横向及纵向边缘检测结果图G
x
＝Sobel
x
*A,G
y
＝Sobel
y
*A；通过将二者结合，得到最终的边缘图像。3.根据权利要求2所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述Sobel卷积因子具体为：4.根据权利要求1所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤S3具体为：步骤S31:根据获取的红外边缘图像图像尺寸为H
×
W，通过编码器网络对红外边缘图像进行处理，处理后的边缘图像由变为其空间尺寸为Hc
×
Wc，其中Hc＜H，Wc＜W；步骤S32:在特征点提取网络，输入为张量首先通过卷积层进行两次卷积运算，得到每个像素点为特征点的得分；随后通过Softmax函数，将每个像素的得分映射到[0,1]之间，对应于红外边缘图像的像素点为特征点的概率；最后通过上采样恢复到原尺寸大小；步骤S33:描述子解码器网络通过计算张量并将其转换为网络的输出为L2范数标准归一化的固定长度描述子；步骤S34:对于可见光边缘图像通过相同的处理，得到可见光边缘图像的特征点及描述子。
5.根据权利要求4所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述编码器网络结构单元由卷积层Conv、非线性激活函数Relu和池化层Pool组成，具体如下：a.卷积层：卷积层首先对输入图像的边界进行填充，然后利用卷积核对输入图像进行卷积运算，提取图像的特征并输出特征图；b.非线性激活函数：在每一个卷积层后都有ReLU非线性激活函数，增加神经网络的非线性。c.池化层：池化层对卷积层所得到的特征图进行下采样，降低卷积层输出的特征图尺寸，减少网络的计算量。6.根据权利要求4所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤S33具体为：a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为其中65个通道对应于图像中不重叠的局部8*8像素网格区域，外加1个对应于在8*8区域中未检测到特征点的通道；然后，将不含特征点的1个通道去除，得到b.使用Softmax函数将中每个像素点的得分映射到[0,1]之间，得到每个像素点为特征点的概率；c.通过子像素卷积将尺寸较小的特征图放大，首先在64个特征图的同一位置各取一个像素点，拼成8*8尺寸的特征图；然后对特征图其他位置像素点进行同样的处理；最终将特征图的尺寸放大为原来的8倍，输出与最初红外边缘图像尺寸一致的结果图7.根据权利要求4所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤S34具体为：a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为b.提取特征点对应的描述子，首先对图像尺寸进行归一化，同时特征点也随之移动到归一化处理后图像相应的位置；然后通过归一化后的特征点构建K组1
×1×
2的张量...

【专利技术属性】
技术研发人员：吴志成，林秀贵，许家浩，杨昌加，王门鸿，叶学知，陈子良，李博宁，蔡志坚，林旭鸣，张志祥，陈健伟，
申请(专利权)人：国网福建省电力有限公司，
类型：发明
国别省市：