一种可见光与红外热成像图像配准的方法及系统技术方案

本发明专利技术公开了一种可见光与红外热成像图像配准的方法及系统，方法包括步骤：拟合仿射变换曲线；采集目标对象的图像和距离信息；使用单阶段目标检测模型识别定位目标，输出目标像素区域；可见光图像与红外热成像图像初次配准；可见光图像与红外热成像精准配准，匹配得到特征点对；计算特征点对的置信度，如果置信度大于预设置信度阈值，则判断可见光图像与红外热成像图像的配准精度满足要求。本发明专利技术减少了图像区域的检测范围，分析目标对象区域的特征信息，使用具有效率优势的改进ORB算法做特征提取和匹配，解决图像配准速度慢、实时性差以及稳定性不足等问题。以及稳定性不足等问题。以及稳定性不足等问题。

【技术实现步骤摘要】
一种可见光与红外热成像图像配准的方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种可见光与红外热成像图像配准的方法及系统。

技术介绍

[0002]红外热成像是探测物体的热辐射，能获取物体表面的精确温度信息，不受光照影响，在军事、工业、医学等领域都有广泛应用。目前从红外热成像中识别定位出目标，还存在诸多不利的限制因素。与可见光图像相比较，红外热成像分辨率低，缺乏细节，图像纹理信息少，这些因素会影响目标识别定位的准确率。
[0003]可见光图像具有分辨率高、纹理信息丰富的优点，广泛用于目标识别定位。可见光图像容易受光照影响。因此红外热成像和可见光图像具有很好的互补性，将这两者的优势相结合，建立这两者的对应关系，实现可见光和红外热成像双光谱信息匹配融合，可增强对目标对象的精确感知能力。
[0004]建立可见光图像与红外热成像的对应关系，也就是建立可见光与红外热成像图像坐标间的几何变换关系。目前主流的可见光与红外热成像图像配准方法，不管是基于空间域、频域(如最大互信息、小波变换法)，还是基于特征(如点特征、线特征、面特征)的配准，需要对可见光和红外热成像的整个图像区域做遍历，对其灰度信息或者图像特征进行分析提取和配准，在嵌入式系统上存在图像配准速度慢、实时性差、效率低的问题。

技术实现思路

[0005]技术目的：针对上述技术问题，本专利技术提出了一种可见光与红外热成像图像配准方法及系统，其只分析目标对象区域的特征信息，使用具有效率优势的改进ORB算法做特征提取和匹配，能够快速实现可见光与红外热成像图像的配准，具有实时性好、稳定性优越等优点。
[0006]技术方案：为实现上述技术目的，本专利技术采用了如下技术方案：
[0007]一种可见光与红外热成像图像配准的方法，其特征在于，包括步骤：
[0008]S1、拟合仿射变换曲线：预先对图像采集设备做光学标定，在工作范围内的多个不同距离点采集标定板的可见光图像和红外热成像图像，计算可见光图像与红外热成像图像之间的图像像素几何变换关系，拟合出仿射变换曲线；
[0009]S2、采集目标对象的图像和距离信息：采集目标对象的可见光图像、红外热成像图像和目标距离信息；
[0010]S3、使用单阶段目标检测模型识别定位目标：可见光图像作为单阶段目标检测模型的输入源，识别定位出目标，输出目标像素区域；
[0011]S4、可见光图像与红外热成像图像初次配准：基于步骤S1的仿射变换曲线，输入步骤S2的目标距离信息，计算出相应的仿射变换矩阵；对步骤S3输出的目标像素区域使用本步骤计算出的仿射变换矩阵做仿射变换；
[0012]可见光图像的目标像素区域经过仿射变换后，作为待配准图像，初次配准后的红外热成像图像，作为参考图像；
[0013]S5、可见光图像与红外热成像精准配准：对待配准图像与参考图像进行特征点提取和特征点匹配，匹配得到特征点对；
[0014]S6、计算特征点对的置信度：对步骤S5得到的特征点对，计算特征点对的置信度，如果置信度大于预设置信度阈值，则判断可见光图像与红外热成像图像的配准精度满足要求。
[0015]优选地，所述步骤S5中，对待配准图像与参考图像采用基于改进ORB算法，进行特征点提取和特征点匹配，包括步骤：
[0016]S5.1、利用FAST算法分别提取目标对象的待配准图像和参考图像中的关键点；
[0017]S5.2、计算关键点主方向；根据可见光与红外热成像目标轮廓相似的特点，选取关键点所在的边缘领域的切线方向作为该关键点的主方向；
[0018]S5.3、使用BRIEF二进制特征描述符对检测的关键点进行描述；
[0019]S5.4、使用汉明距离做特征点匹配；当可见光图像和红外热成像图像的描述子的相似度大于预设相似度阈值，则判定特征点是匹配的。
[0020]优选地，所述FAST算法提取关键点的步骤包括：
[0021]步骤S5.1.1，在图像中，以像素点p为中心的预设半径长度的圆上，选择第一数量的像素点，计算第一数量的像素点与像素点p的灰度差，如果灰度差超过像素阈值的像素点超过第一预设值，则将像素点p作为候选关键点，进入下一步；否则，像素点p不作为关键点，重新选择作为中心的像素点；
[0022]步骤S5.1.2，如果p是候选关键点，则计算所述圆上的第二数量的像素点与中心p的灰度差，如果灰度差超过阈值t的像素点大于第二预设值，则中心点p是关键点，进入下一步；否则，中心点p不是关键点，返回步骤S5.1.1，重新选择作为中心的像素点；第二数量大于第一数量，第二预设值大于第一预设值；
[0023]步骤S5.1.3，对图像进行非极大值抑制：计算关键点p的得分值，得分值为所述圆上的第二预设数量的像素点与关键点p的灰度差值的绝对值总和；
[0024]以关键点p为中心的预设邻域内，如果有多个关键点，则判断每个关键点的得分值，如果关键点p的得分值是预设邻域所有关键点中最大的，则保留该关键点p；否则，抑制该关键点p；如果预设邻域内只有一个关键点，则保留该关键点p。
[0025]优选地，步骤S1中，标定板采用透明导热的光学玻璃，光学玻璃上面使用特征点清晰的规则图案，在预设区域涂隔热材料，其它区域未涂隔热材料，标定板在可见光波段和红外波段均能获得清晰度符合要求的轮廓图像；
[0026]标定板的红外热成像为参考图像、可见光图像为待配准图像，每对可见光图像和红外热成像图像选择稳定的三对角点为配准点，计算出对应的仿射变换矩阵，对多组不同距离点的仿射变换矩阵，使用最小二乘法多项式曲线拟合出仿射变换曲线。
[0027]优选地，步骤S1中，得到的仿射变换矩阵为(m
00
，m
01
，m
02
，m
10
，m
11
，m
12
)，与距离参数d
i
(i＝1，2，3，...，n)组成样本数据，样本数据为(m
00
，d
i
)、(m
01 d
i
)、(m
02
，d
i
)、(m
10
，d
i
)、(m
11
，d
i
)、(m
12
，d
i
)样本数据，使用最小二乘法多项式曲线，拟合出仿射变换参数m
00
、m
01
、m
02
、m
10
、m
11
、m
12
的曲线。
[0028]优选地，所述步骤S4中，使用该仿射变换矩阵对可见光图像的目标像素区域做仿射变换得到待配准图像，几何变换计算如公式(2)所示：
[0029][0030](x，y)为目标对象的可见光图像的像素点，(x
′
，y
′
)为经过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光与红外热成像图像配准的方法，其特征在于，包括步骤：S1、拟合仿射变换曲线：预先对图像采集设备做光学标定，在工作范围内的多个不同距离点采集标定板的可见光图像和红外热成像图像，计算可见光图像与红外热成像图像之间的图像像素几何变换关系，拟合出仿射变换曲线；S2、采集目标对象的图像和距离信息：采集目标对象的可见光图像、红外热成像图像和目标距离信息；S3、使用单阶段目标检测模型识别定位目标：可见光图像作为单阶段目标检测模型的输入源，识别定位出目标，输出目标像素区域；S4、可见光图像与红外热成像图像初次配准：基于步骤S1的仿射变换曲线，输入步骤S2的目标距离信息，计算出相应的仿射变换矩阵；对步骤S3输出的目标像素区域使用本步骤计算出的仿射变换矩阵做仿射变换；可见光图像的目标像素区域经过仿射变换后，作为待配准图像，初次配准后的红外热成像图像，作为参考图像；S5、可见光图像与红外热成像精准配准：对待配准图像与参考图像进行特征点提取和特征点匹配，匹配得到特征点对；S6、计算特征点对的置信度：对步骤S5得到的特征点对，计算特征点对的置信度，如果置信度大于预设置信度阈值，则判断可见光图像与红外热成像图像的配准精度满足要求。2.根据权利要求1所述的一种可见光与红外热成像图像配准的方法，其特征在于，所述步骤S5中，对待配准图像与参考图像采用基于改进ORB算法，进行特征点提取和特征点匹配，包括步骤：S5.1、利用FAST算法分别提取目标对象的待配准图像和参考图像中的关键点；S5.2、计算关键点主方向；根据可见光与红外热成像目标轮廓相似的特点，选取关键点所在的边缘领域的切线方向作为该关键点的主方向；S5.3、使用BRIEF二进制特征描述符对检测的关键点进行描述；S5.4、使用汉明距离做特征点匹配；当可见光图像和红外热成像图像的描述子的相似度大于预设相似度阈值，则判定特征点是匹配的。3.根据权利要求2所述的一种可见光与红外热成像图像配准的方法，其特征在于，所述FAST算法提取关键点的步骤包括：步骤S5.1.1，在图像中，以像素点p为中心的预设半径长度的圆上，选择第一数量的像素点，计算第一数量的像素点与像素点p的灰度差，如果灰度差超过像素阈值的像素点超过第一预设值，则将像素点p作为候选关键点，进入下一步；否则，像素点p不作为关键点，重新选择作为中心的像素点；步骤S5.1.2，如果p是候选关键点，则计算所述圆上的第二数量的像素点与中心p的灰度差，如果灰度差超过阈值t的像素点大于第二预设值，则中心点p是关键点，进入下一步；否则，中心点p不是关键点，返回步骤S5.1.1，重新选择作为中心的像素点；第二数量大于第一数量，第二预设值大于第一预设值；步骤S5.1.3，对图像进行非极大值抑制：计算关键点p的得分值，得分值为所述圆上的第二预设数量的像素点与关键点p的灰度差值的绝对值总和；以关键点p为中心的预设邻域内，如果有多个关键点，则判断每个关键点的得分值，如
果关键点p的得分值是预设邻域所有关键点中最大的，则保留该关键点p；否则，抑制该关键点p；如果预设邻域内只有一个关键点，则保留该关键点p。4.根据权利要求1所述的一种可见光与红外热成像图像配准的方法，其特征在于：步骤S1中，标定板采用透明导热的光学玻璃，光学玻璃上面使用特征点清晰的规则图案，在预设区域涂隔热材料，其它区域未涂隔热材料，标定板在可见光波段和红外波段均能获得清晰度符合要求的轮廓图像；标定板的红外热成像为参考图像、可见光图像为待配准图像...

【专利技术属性】
技术研发人员：陈广贤，宋海良，贾希志，
申请(专利权)人：广东亿嘉和科技有限公司，
类型：发明
国别省市：