一种双光图像匹配融合方法及系统技术方案

本发明专利技术提供了一种双光图像匹配融合方法及系统，通过仿射矩阵先验信息、聚类分类、距离、角度、内接圆面积等多维信息的有机融合可以有效剔除错误匹配点对，快速高效的筛选出最佳匹配点对，同时提高图像匹配融合效果，通过对可见光图像进行基于拉普拉斯金字塔的多尺度图像处理、红外图像二值化、腐蚀、锐化等处理提取非设备区域特征后进行融合，可以突显红外图像中的热辐射信息和可见光中的外观信息。本发明专利技术可以实现在同一路视频中同时突显红外图像中热辐射信息和可见光图像中的设备外观信息，达到双光相机在执行巡检任务时可展示融合后的视频，满足现场不同场景的应用需求。满足现场不同场景的应用需求。满足现场不同场景的应用需求。

【技术实现步骤摘要】
一种双光图像匹配融合方法及系统


[0001]本专利技术属于图像处理、人工智能
，涉及一种双光图像匹配融合方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前变电站多采用巡检机器人或固定点摄像机来代替人工对变电站进行安全巡检和监控，克服人工巡检面临的工作量大、危险系数高、效率低和可靠性差等问题，以保障变电站安全运行。
[0004]当前变电站现场常依靠采集的红外图像或可见光图像对变电站设备进行检测诊断，红外图像中携带电力设备的热辐射信息，可见光图像中携带电力设备的外观信息，通过将二者进行配准、融合处理，实现在一幅图像上显示多源信息。融合后的图像相对于原始图像而言将具有较高的空间分辨率和光谱分辨率，同时能突显多源信息特征和较低的噪声，能便于人眼和机器对设备状态的识别和自动探测分析；另外通过将双光图像进行融合处理，有助于在变电站现场硬件有限的条件下，实现更多路视频的展示和监控。
[0005]因此，有部分研究学者提出了将双光图像进行融合的技术方案，但均存在一定的问题。例如，中国专利技术专利CN202111074441.2一种基于多特征相似度融合的红外和可见光图像匹配方法，中国专利技术专利CN202010848163.0一种基于连线特征一致性的特征匹配方法，中国专利技术专利CN202111074441.2一种基于多特征相似度融合的红外和可见光图像匹配方法，都在一定程度上提升了匹配的精度。但是也存在算法耗时，不满足实时性的应用要求；不适合变电站所有场景，变电站现场的机器人和固定点摄像机需要定期执行巡检任务，继而导致每次的红外和可见光场景不是固定不变的；需要成像距离等已知信息，不便于现场实施应用，适用性差；目前多数融合算法常依赖手动配准信息，非自动配准，需要人为干预或人为矫正；算法具有随机性，即同一组对的异源图像连续两次的配准结果可能不同等问题。

技术实现思路

[0006]本专利技术为了解决上述问题，提出了一种双光图像匹配融合方法及系统，本专利技术可以实现在同一路视频中同时突显红外图像中热辐射信息和可见光图像中的设备外观信息，达到双光相机在执行巡检任务时可展示融合后的视频，满足现场不同场景的应用需求。
[0007]根据一些实施例，本专利技术采用如下技术方案：
[0008]一种双光图像匹配融合方法，包括以下步骤：
[0009]对获取的可见光图像和红外图像进行预处理；
[0010]提取各预处理后图像的轮廓信息；
[0011]提取特征点，获取每个特征点的描述子；
[0012]基于所述描述子信息，对特征点进行初步匹配；
[0013]对初步匹配结果进行分类，分别从每一类中选取一组匹配点对计算仿射矩阵，将一图像中的若干点通过仿射变换到另一图像中，计算仿射点与原点之间的距离，选取距离低于阈值的匹配点对，直至遍历所有的组对；
[0014]将红外图像和可见光图像拼接到同一幅图像中，并映射各匹配点，基于匹配点对的坐标、距离和角度信息进行融合比对处理，剔除匹配点对中误匹配的点对；
[0015]在剩余的匹配点对中选择最佳匹配点对；
[0016]基于最佳匹配点对，对双光图像进行仿射变换、配准处理；
[0017]基于配准结果，分别对配准区域的红外图像和可见光图像进行后处理；
[0018]将后处理后的红外图像中的非设备区域的特征融合到后处理后的可见光图像中，实现图像融合。
[0019]作为可选择的实施方式，进行预处理的具体过程包括将可见光图像和红外图像灰度化以获取相应的灰度图，然后基于图像的最小高度对红外图像和可见光图像的尺寸进行归一化处理。
[0020]作为可选择的实施方式，提取各预处理后图像的轮廓信息时，利用边缘检测算法分别对预处理后的可见光图像和红外图像进行二值化。
[0021]作为可选择的实施方式，获取每个特征点的描述子时，需要计算图像目标区域的质心来修正特征点的主方向。
[0022]作为可选择的实施方式，初步匹配过程中，采用BBF算法对特征点进行初步匹配，基于尺度不变、倾斜角度一致性的特征对BBF算法的匹配结果进行再次匹配矫正。
[0023]作为可选择的实施方式，从每一类中选取一组匹配点的选取方式是通过随机组对的方式实现的。
[0024]作为可选择的实施方式，剔除匹配点对中误匹配的点对的具体过程包括在已知匹配点对在拼接图像中的坐标信息的基础上，首先计算每一个匹配点对间的距离，获取平均距离，通过与平均距离进行比较剔除差值大于阈值的错误匹配点对；然后再计算剩余匹配点对间连线的斜率，剔除斜率差值大于斜率阈值的错误匹配点对；最后获取匹配正确的点对。
[0025]作为可选择的实施方式，在剩余的匹配点对中选择最佳匹配点对的具体过程包括利用聚类方法，将匹配点对进行分类，通过分别从不同类点中选取一个点组成三角形，选取内接圆面积最大的一组作为最佳匹配点对。
[0026]作为可选择的实施方式，对红外图像的后处理过程包括对配准区域的红外图像进行灰度化、二值化、单通道转三通道和腐蚀处理，再进行膨胀、取非、与腐蚀和与膨胀处理。
[0027]作为可选择的实施方式，对可见光图像的后处理过程包括采样重建处理和与、锐化处理。
[0028]一种双光图像匹配融合系统，包括：
[0029]预处理模块，被配置为对获取的可见光图像和红外图像进行预处理；
[0030]特征提取模块，被配置为提取各预处理后图像的轮廓信息，提取特征点，获取每个特征点的描述子；
[0031]初步匹配模块，被配置为基于所述描述子信息，对特征点进行初步匹配；
[0032]仿射变换模块，被配置为对初步匹配结果进行分类，分别从每一类中选取一组匹配点对计算仿射矩阵，将一图像中的若干点通过仿射变换到另一图像中，计算仿射点与原点之间的距离，选取距离低于阈值的匹配点对，直至遍历所有的组对；
[0033]剔除模块，被配置为将红外图像和可见光图像拼接到同一幅图像中，并映射各匹配点，基于匹配点对的坐标、距离和角度信息进行融合比对处理，剔除匹配点对中误匹配的点对；
[0034]最佳匹配点选择模块，被配置为在剩余的匹配点对中选择最佳匹配点对，基于最佳匹配点对，对双光图像进行仿射变换、配准处理；
[0035]后处理模块，被配置为基于配准结果，分别对配准区域的红外图像和可见光图像进行后处理；
[0036]融合模块，被配置为将后处理后的红外图像中的非设备区域的特征融合到后处理后的可见光图像中，实现图像融合。
[0037]与现有技术相比，本专利技术的有益效果为：
[0038]本专利技术创新地提供了一种利用多维信息特征的双光图像匹配融合方法，能够摆脱手动配准的束缚，能够克服因不同品牌双光相机参数的不同导致的复杂应用环境，提高不同分辨率，不同通道数、不同场景的双光图像的配准率，提升算法效率，满足实时性，实现在同一路视频中同时突显红外图像中热辐射信息和可见光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双光图像匹配融合方法，其特征是，包括以下步骤：对获取的可见光图像和红外图像进行预处理；提取各预处理后图像的轮廓信息；提取特征点，获取每个特征点的描述子；基于所述描述子信息，对特征点进行初步匹配；对初步匹配结果进行分类，分别从每一类中选取一组匹配点对计算仿射矩阵，将一图像中的若干点通过仿射变换到另一图像中，计算仿射点与原点之间的距离，选取距离低于阈值的匹配点对，直至遍历所有的组对；将红外图像和可见光图像拼接到同一幅图像中，并映射各匹配点，基于匹配点对的坐标、距离和角度信息进行融合比对处理，剔除匹配点对中误匹配的点对；在剩余的匹配点对中选择最佳匹配点对；基于最佳匹配点对，对双光图像进行仿射变换、配准处理；基于配准结果，分别对配准区域的红外图像和可见光图像进行后处理；将后处理后的红外图像中的非设备区域的特征融合到后处理后的可见光图像中，实现图像融合。2.如权利要求1所述的一种双光图像匹配融合方法，其特征是，进行预处理的具体过程包括将可见光图像和红外图像灰度化以获取相应的灰度图，然后基于图像的最小高度对红外图像和可见光图像的尺寸进行归一化处理。3.如权利要求1所述的一种双光图像匹配融合方法，其特征是，提取各预处理后图像的轮廓信息时，利用边缘检测算法分别对预处理后的可见光图像和红外图像进行二值化。4.如权利要求1所述的一种双光图像匹配融合方法，其特征是，获取每个特征点的描述子时，需要计算图像目标区域的质心来修正特征点的主方向。5.如权利要求1所述的一种双光图像匹配融合方法，其特征是，初步匹配过程中，对特征点进行初步匹配，基于尺度不变、倾斜角度一致性的特征对初步匹配结果进行再次匹配矫正。6.如权利要求1所述的一种双光图像匹配融合方法，其特征是，从每一类中选取一组匹配点的选取方式是通过随机组对的方式实现的。7.如权利要求1所述的一种双光图像匹配融合方法，其特征是，剔除匹配点对中误匹配的点对的具体过程包括在已知匹配点对在拼接图...

【专利技术属性】
技术研发人员：邓燕，邵光亭，李健，张传友，王亚菲，裴淼，蒋克强，李天玉，薛保平，胡清波，
申请(专利权)人：国网智能科技股份有限公司，
类型：发明
国别省市：