一种基于反馈机制的电力设备红外与可见光图像配准方法技术

本发明专利技术公开了一种基于反馈机制的电力设备红外与可见光图像配准方法，利用Canny算法分别提取红外与可见光图像的边缘，并分别在红外与可见光边缘图像上提取SURF特征点；再通过对SURF特征点进行粗匹配与排序得到匹配点集，根据匹配点集计算出仿射矩阵集，采用先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；根据候选仿射矩阵集依次对红外图像进行仿射变换，采用归一化互信息快速计算方法计算出可见光与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集。本发明专利技术采用的方法可以有效地提高电力设备的红外与可见光图像的配准精度。

【技术实现步骤摘要】
一种基于反馈机制的电力设备红外与可见光图像配准方法
本专利技术属于图像处理
，涉及一种基于反馈机制的电力设备红外与可见光图像配准方法。
技术介绍
随着成像传感器技术的成熟和应用场景的日益复杂，仅使用单一的成像传感器来满足使用需求较为困难，而多成像传感器系统可将多个成像传感器获得的互补或冗余信息进行整合，能更好地满足使用需求。同时，多成像传感器系统意味着同一场景下图像的传感器来源不同、视角不同、获取时间不同，使得图像间无法正确匹配，而图像配准旨在获取图像间的几何对应关系，将同一场景的两幅或者多幅图像变换到同一几何坐标系下，从而在像素层上实现最佳匹配。电力设备通常处于长期运行状态，容易因安装不当、环境温度、积灰等因素导致过热激化，如果未能及时检测并定位出温度异常区域，持续的异常温度可能会导致设备内部元器件熔断甚至烧毁，从而引起严重事故。而红外图像是通过接受目标散发出来的红外福射成像，可以准确、快捷地记录场景的温度分布，因此借助红外图像定期对电力设备的运行温度进行检测有着重要的实际意义。然而，红外图像因成像机制的限制，其对目标的细节表现能力远不及可见光图像，导致无法对异常电力设备所处本文档来自技高网...

【技术保护点】
1.一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于，包括以下步骤：1)分别对红外图像与可见光图像进行各向异性滤波；2)利用Canny算法分别提取红外图像与可见光图像的边缘，并分别在红外边缘图像与可见光边缘图像上提取SURF特征点；3)通过对SURF特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵集，并采用预设的先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；4)根据候选仿射矩阵集依次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；5)基于反馈矩阵对匹...

【技术特征摘要】
1.一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于，包括以下步骤：1)分别对红外图像与可见光图像进行各向异性滤波；2)利用Canny算法分别提取红外图像与可见光图像的边缘，并分别在红外边缘图像与可见光边缘图像上提取SURF特征点；3)通过对SURF特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵集，并采用预设的先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；4)根据候选仿射矩阵集依次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集；6)根据最优匹配点集解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外与可见光图像配准。2.根据权利要求1所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤1)中，分别对红外图像与可见光图像进行各向异性滤波的具体步骤如下：令iterImg表示输入图像，令rows，cols分别表示iterImg的高和宽，iter表示迭代次数，11)令Ix,y表示输入图像iterImg中位于(x,y)处的像素值，令▽N(Ix,y)，▽S(Ix,y)，▽E(Ix,y)，▽W(Ix,y)分别表示上下左右四个方向的梯度，计算公式如下：12)令cNx,y，cSx,y，cEx,y，cWx,y分别表示上下左右四个方向的扩散系数，k是一个常系数，计算公式如下：13)更新输入图像iterImg的像素值Ix,y，其中x的范围是1～cols-1，y的范围是1～rows-1，计算公式如下：用Ix,y+k·(cNx,y·▽N(Ix,y)+cSx,y·▽S(Ix,y)+cEx,y·▽E(Ix,y)+cWx,y·▽W(Ix,y))替代Ix,y14)用iter-1替代iter；15)如果iter不等于0，则将更新后的输入图像iterImg再次作为输入图像，转至步骤2)，如果iter等于0，则停止迭代，滤波结束；分别令红外图像与可见光图像作为输入图像iterImg，重复上述滤波过程，滤波后的红外图像与可见光图像分别记为红外滤波图像infImg和可见光滤波图像visImg。3.根据权利要求2所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤2)中，具体步骤如下：21)分别对红外滤波图像infImg和可见光滤波图像visImg进行Canny边缘检测，提取出的边缘图像分别记为红外边缘图像infEdge和可见光边缘图像visEdge；22)分别对红外边缘图像infEdge和可见光边缘图像visEdge进行SURF特征点提取，分别令红外特征点集合infPoints和可见光特征点集合visPoints表示红外边缘图像infEdge和可见光边缘图像visEdge上的SURF特征点集合，infPoints[i]表示红外特征点集合infPoints中第i个特征点，visPoints[j]表示可见光特征点集合visPoints中第j个特征点，其中每个特征点包含该点在图像中的像素坐标和描述向量，所述描述向量在进行SURF特征点提取时计算得到。4.根据权利要求3所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤3)中，具体步骤如下：31)SURF特征点的粗匹配与排序：计算红外特征点infPoints[i]与可见光特征点visPoints[j]描述向量间的欧式距离，若欧式距离小于常量dis1，则认为红外特征点infPoints[i]与可见光特征点visPoints[j]匹配，并记它们为一对匹配点；改变i和j，使得红外特征点集合infPoints中的每个特征点infPoints[i]都与可见光特征点集合visPoints中的每个特征点visPoints[j]进行一次匹配判断；匹配判断完成后，根据匹配点描述向量间的欧式距离对匹配结果按照从小到大排序，并只保留前n1对匹配点，将前n1对匹配点记为匹配点集match，match[i]表示匹配点集match中第i对匹配点；32)匹配点集的仿射矩阵计算：从匹配点集match中选出3对匹配点进行组合，匹配点集match中有n1对匹配点，则一共有种组合方式，如(match[1],match[2],match[3])，(match[1],match[2],match[4])，…，(match[1],match[2],match[n1])，…，(match[n1-2],match[n1-1],match[n1])，表示某一种匹配点组合；根据(match[i1],match[i2],match[i3])可分别得到3对匹配点的像素横纵坐标，分别记为并求解下列方程：其中，a1，a2，a3，a4，a5，a6均是待求解参数，解出{a1,a2,a3,a4,a5,a6}，即计算出一个仿射矩阵，仿射矩阵的表示公式如下：遍历匹配点集中种匹配点组合方式，则所有计算出来的仿射矩阵可形成一个仿射矩阵集；33)基于先验约束的仿射矩阵筛选：利用先验约束对仿射矩阵集中的所有仿射矩阵进行筛选，如果仿射矩阵满足约束，则记为仿射矩阵hk，表示第k个满足约束的仿射矩阵，即候选仿射矩阵，并将计算出仿射矩阵hk的3对匹配点的像素横纵坐标集合加入坐标集合X中，先验约束条件如下：式中，str1、str2、str3和str4是常量阈值；当对仿射矩阵集中的所有仿射矩阵都进行筛选之后，所有满足约束的仿射矩阵形成的集合即是候选仿射矩阵集。5.根据权利要求4所述的一种基于反馈机制的电力设备红外与可见光图像配准方法，其特征在于：在所述步骤4)中，具体步骤如下：41)基于候选仿射矩阵的仿射变换：根据候选仿射矩阵依次对红外图像进行仿射变换，就是根据仿射矩阵hk对红外滤波图像infImg进行重映射，即对于红外滤波图像infImg中的每个像素(x,y)都进行如下操作：其中，(x',y')表示变换后的红外图像中的像素坐标，如果(x',y')是非整数坐标，则使用双线性插值将其变成整数坐标，针对红外滤波图像infImg的重映射和双线性插值操作即仿射变换，将基于仿射矩阵hk进行仿射变换后的红外滤波图像infImg记为红外仿射变换图像infImgk；42)成红外图像与可见光图像兴趣区域：421)分别记坐标集合X中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标为xmax，xmin，ymax，ymin，根据上述坐标形成兴趣矩形，其中(xmin，ymin)，(xmax，ymin)，(xmax，ymax)，(xmin，ymax)是兴趣矩形的4个顶点，兴趣矩阵的包含范围即是兴趣区域；422)在可见光滤波图像visImg上的兴趣区域范围形成一个新可见光图像，记为可见光兴趣区域图像visRoi，在红外仿射变换图像infImgk上的兴趣区域范围形成一个新红外图像，记为红外兴趣区域图像infRoik；43)可见光与仿射变换后的红外图像间的互信息计算:采用归一化互信息快速计算方法计算可见光与仿射变换后的红外图像间的互信息，步骤如下：431)分别得到可见光兴趣区域图像visRoi和红外兴趣区域图像infRoik中的最大灰度值vismax和infmax，将位于可见光兴趣区域图像visRoi中所有像素的像素值都乘以255/vismax，将位于红外兴趣区域图像infRoik中所有像素的像素值都乘以255/infmax；432)分别生成可见光兴趣区域图像visRoi和红外兴趣区域图像infRoik的灰度直方图，分别用{visBin0,visBin1,...,visBin255}、{infBin0,infBin1,...,infBin255}来表示，再将可见光兴趣区域图像visRoi和红外兴趣区域图像infRoik的灰度直方图进行线性叠...

【专利技术属性】
技术研发人员：马啸川，李庆武，许金鑫，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32