基于红外与可见光图像融合的变电设备定位方法及装置制造方法及图纸

本发明专利技术属于输变电设备运行状态检修领域，尤其涉及一种基于红外与可见光图像融合的变电设备定位方法及装置。方法包括：采集典型和目标变电设备红外与可见光图像融合后获得模板图像和监测图像，采用SURF-FAST结合算法进行特征点检测，并采用FREAK算法生成二进制描述子并进行初匹配；用RANSAC算法消除错误匹配；通过矩阵的逆运算得到仿射变换矩阵；进行仿射变换得到模板图像在监测图像中的位置并定位出目标变电设备的识别区域。装置包括：红外图像采集装置、可见光图像采集装置、图像融合处理模块、变电设备模板图像库、特征点检测模块、特征点描述与初匹配模块、特征点错误匹配消除模块、仿射变换模块、目标设备定位模块。

【技术实现步骤摘要】

本专利技术属于输变电设备运行状态检修领域，尤其涉及一种基于红外与可见光图像融合的变电设备定位方法及装置。
技术介绍
在变电设备状态监测领域，常采用红外热像仪检测设备的热故障，但红外图像对比度和清晰度较差，而可见光图像细节丰富，可清晰地反映设备的场景信息，因此，现场有利用以红外热像仪和可见光摄像机为核心装置构建的双通道系统，同时采集设备的红外图像与可见光图像，从而完成检测。但目前对于红外与可见光图像大都依靠运行人员主观分析，在背景复杂、角度多变等环境下容易对目标造成漏检，因此，利用图像处理技术将其进行融合可以充分利用图像所含信息的互补性，从而可以实现更精确的目标识别，能为变电设备的故障检测奠定基础，所以研究基于红外与可见光图像融合的变电设备自动定位方法具有非常重要的实用价值。本专利技术主要研究利用局部不变特征从融合图像中自动定位变电设备的方法。局部不变特征主要有2步骤：特征点检测与特征点描述。SURF(Speed Up Robust Feature，加速鲁棒特征)特征点检测算法在目标发生平移、旋转、缩放、亮度变化时都能取得较好的检测效果，但其基于快速海森矩阵的关键点检测算法，容易从图像中信息匮乏的背景边缘区域提取大量独特性低的特征，进而导致不可忽视的误匹配率；同时，其高斯滤波带来的图像模糊使得算法在融合图像目标区域内检测到的关键点数量减少，并不直接适用于变电设备融合图像。FAST角点检测算法能够对图像的细节信息进行提取，但并不具有尺度不变性，容易受到高频噪声的干扰。新颖的FREAK(Fast Retina Keypoint，快速视网膜特征)二进制描述符具有更快，内存占用量更低的优点。
技术实现思路
为了减少由于背景复杂、角度多变等环境因素导致的漏检，并且减少人工参与，从而提高设备检测质量与效率，本专利技术提供一种基于红外与可见光图像融合的变电设备定位方法及装置。一种基于红外与可见光图像融合的变电设备定位方法，包括：步骤1、采集典型变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理，建立典型变电设备模板图像库；步骤2、采集目标变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理得到监测图像；步骤3、采用SURF-FAST结合算法对模板图像和监测图像进行特征点检测；步骤4、对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；步骤5、用RANSAC算法消除模板图像中候选匹配特征点集E1、监测图像中候选匹配特征点集E2中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E1'和监测图像的匹配特征点集E2'；步骤6、由于模板图像与监测图像之间存在缩放、平移及旋转，且E1'与仿射变换矩阵H的积为E2'，即E1'×H＝E2'，则通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；步骤7、对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。所述步骤3的具体步骤包括：步骤301、分别对融合后的监测图像与模板图像构建尺度图像金字塔，用Hessian矩阵求出极值后在3×3×3的立体邻域内进行非极大值抑制，将比上一尺度、下一尺度及本尺度周围的26个邻域值都大或者都小的极值点作为候选特征点，然后在尺度空间和图像空间中进行插值运算，得到稳定的特征点位置及所在的尺度值；步骤302、在SURF特征点检测运算的基础之上，构建一个3×3的Bresenham圆，其圆周上共有16个像素，圆心为点P，将检测点P的邻域分为3类：g=-1,Id≤Ip-t10,Ip-t1<Id<Ip+t11,Ip+t1≤Id---(3)]]>其中d表示待测点P的邻域点，Ip表示待测点P的像素值，Id则表示点d的像素值，t1表示灰度阈值；g＝-1,0,1分别表示d点比待测点P暗、相似、亮；如果圆周上存在一组n个邻近的像素，比候选像素Ip+t1更大，或者比Ip-t1更小，那么就把P归类为角点；为了排除大量非角点，实现高速检测，n最初取为12；步骤303、将得到的FAST角点与SURF特征点合并，并剔除重复点获得新的特征点集。所述步骤4的具体步骤包括：步骤401、对检测到的特征点利用FREAK算法生成二进制描述子，由采样点对的感受域强度两两比较的结果级联而成，假设F为描述子，则其中Pa为第a对感受域，a＝1,2,3…N，N为描述子的维数，映射函数T的表达式为：r1，r2表示感受域对的前后顺序关系，是Pa对的前一个感受域平滑后的强度，是Pa对的后一个感受域平滑后的强度；步骤402、采用异或操作分别计算模板图像中的候选匹配特征点集E1和监测图像中的候选匹配特征点集E2的描述符之间的汉明距离；当描述符之间的汉明距离小于距离阈值t2时，则认为其是匹配的一对特征点。一种基于红外与可见光图像融合的变电设备定位装置，包括：红外图像采集装置、可见光图像采集装置、图像融合处理模块、变电设备模板图像库、特征点检测模块、特征点描述与初匹配模块、特征点错误匹配消除模块、仿射变换模块、目标设备定位模块；其中，红外图像采集装置的功能是：采集典型变电设备和目标变电设备的红外图像；可见光图像采集装置的功能是：采集典型变电设备和目标变电设备的可见光图像；图像融合处理模块的功能是：利用现有像素级融合算法实现典型变电设备和目标变电设备的红外图像与可见光图像的融合处理，分别得到模板图像和监测图像；变电设备模板图像库的功能是：将典型变电设备的红外图像与可见光图像融合处理后的图像保存在模板图像库中；特征点检测模块的功能是：采用SURF-FAST结合算法对典型变电设备的模板图像和目标变电设备的监测图像进行特征点检测；特征点描述与初匹配模块的功能是：对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；特征点错误匹配消除模块的功能是：用RANSAC算法消除模板图像中候选匹配特征点集E1、监测图像中候选匹配特征点集E2中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E1'和监测图像的匹配特征点集E2'；仿射变换模块的功能是：通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；目标设备定位模块的功能是：对模板图像与仿射变换矩阵H相乘进行仿射变换得本文档来自技高网...

【技术保护点】
一种基于红外与可见光图像融合的变电设备定位方法，其特征在于，包括：步骤1、采集典型变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理，建立典型变电设备模板图像库；步骤2、采集目标变电设备的红外图像与可见光图像，利用现有像素级融合算法实现红外图像与可见光图像的融合处理得到监测图像；步骤3、采用SURF‑FAST结合算法对模板图像和监测图像进行特征点检测；步骤4、对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹配；步骤5、用RANSAC算法消除模板图像中候选匹配特征点集E1、监测图像中候选匹配特征点集E2中的错误匹配特征点对，得到消除错误匹配操作后的模板图像匹配特征点集E1'和监测图像的匹配特征点集E2'；步骤6、由于模板图像与监测图像之间存在缩放、平移及旋转，且E1'与仿射变换矩阵H的积为E2'，即E1'×H＝E2'，则通过矩阵的逆运算得到相对于监测图像、模板图像的仿射变换矩阵H；步骤7、对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识别区域。

【技术特征摘要】
1.一种基于红外与可见光图像融合的变电设备定位方法，其特征在于，包
括：
步骤1、采集典型变电设备的红外图像与可见光图像，利用现有像素级融合
算法实现红外图像与可见光图像的融合处理，建立典型变电设备模板图像库；
步骤2、采集目标变电设备的红外图像与可见光图像，利用现有像素级融合
算法实现红外图像与可见光图像的融合处理得到监测图像；
步骤3、采用SURF-FAST结合算法对模板图像和监测图像进行特征点检测；
步骤4、对检测到的特征点采用FREAK算法生成二进制描述子并进行初匹
配；
步骤5、用RANSAC算法消除模板图像中候选匹配特征点集E1、监测图像
中候选匹配特征点集E2中的错误匹配特征点对，得到消除错误匹配操作后的模
板图像匹配特征点集E1'和监测图像的匹配特征点集E2'；
步骤6、由于模板图像与监测图像之间存在缩放、平移及旋转，且E1'与仿
射变换矩阵H的积为E2'，即E1'×H＝E2'，则通过矩阵的逆运算得到相对于监测
图像、模板图像的仿射变换矩阵H；
步骤7、对模板图像与仿射变换矩阵H相乘进行仿射变换得到模板图像在
监测图像中的位置，并利用位置的边界在监测图像中定位出目标变电设备的识
别区域。
2.根据权利要求1所述的方法，其特征在于，所述步骤3的具体步骤包括：
步骤301、分别对融合后的监测图像与模板图像构建尺度图像金字塔，用
Hessian矩阵求出极值后在3×3×3的立体邻域内进行非极大值抑制，将比上一尺
度、下一尺度及本尺度周围的26个邻域值都大或者都小的极值点作为候选特征
点，然后在尺度空间和图像空间中进行插值运算，得到稳定的特征点位置及所
在的尺度值；
步骤302、在SURF特征点检测运算的基础之上，构建一个3×3的Bresenham

\t圆，其圆周上共有16个像素，圆心为点P，将检测点P的邻域分为3类：
g=-1,Id≤Ip-t10,Ip-t1<Id<Ip+t11,Ip+t1≤Id---(3)]]>其中d表示待测点P的邻域点，Ip表示待测点P的像素值，Id则表示点d
的像素值，t1表示灰度阈值；g＝-1,0,1分别表示d点比待测点P暗、相似、亮；
如果圆周上存在一组n个邻近的像素，比候选像素Ip+t1更大，或者比Ip-t1更小，
那么就把P归类为角点；为了排除大量非角点，实现高速检测，n最初取为12；
步骤303、将得到的FAST角点与SURF特征点合并，...

【专利技术属性】
技术研发人员：赵振兵，徐国智，蔡银萍，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：河北;13