一种红外图像与高清视频的融合方法与系统技术方案

本发明专利技术公开了一种红外图像与高清视频的融合方法与系统，方法包含以下步骤：步骤1

【技术实现步骤摘要】
一种红外图像与高清视频的融合方法与系统


[0001]本专利技术涉及红外图像与高清视频的融合领域，具体涉及一种红外图像与高清视频的融合方法与系统。

技术介绍

[0002]可见光图像与红外图像属于两种不同的形态，红外图像根据物体的热辐射成像，具有丰富热辐射信息，且不受光线、背景杂波、成像距离的影响；但是，红外图像会丢失纹理、结构等细节；可见光图像具有丰富的颜色和纹理信息，然而，可见光图像很容易受到照明，遮挡等因素的影响；红外图像和可见光图像包含的信息具有互补性，其互补性在检测和识别，模式识别的场景分析，遥感图像，医学图像，现代军队，夜间监视等领域有广泛的应用；为充分利用可见光图像与红外图像的互补信息，配准两种图像是最基本和最关键的步骤。图像配准即在变换空间中寻找一种最优的变换，使两幅图像通过该变换能实现转换；
[0003]图像配准是图像处理领域常见的基础问题，是在变换空间中寻找一种或多种变换，使来自不同时间不同传感器或不同视角的同一场景的两幅或多幅图像在空间上一致，由于拍摄时间、角度、环境的变化、多种传感器的使用和传感器本身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸变，在这种条件下，匹配算法如何达到高精度、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现成为人们准求的目标；
[0004]但是红外图像与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大，如果所测物体的温差不是很大的话，那么红外热图像的对比度就会低，就会使分辨细节能力变差，因此需要将红外图像和高清视频融合得到一幅既具有温度分布信息，又有较高清晰度的融合图像，才能够准确定位高温区域。

技术实现思路

[0005]本专利技术要解决的技术问题是红外图像与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大，如果所测物体的温差不是很大的话，那么红外热图像的对比度就会低，就会使分辨细节能力变差，本专利技术提供一种红外图像与高清视频的融合方法，本专利技术还提供一种红外图像与高清视频的融合系统，能够将红外图像和高清视频融合得到一幅既具有温度分布信息、又有较高清晰度的融合图像，能够准确定位高温区域，可以快速定位故障位置，如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，结构简单，便于使用，用以解决现有技术导致的缺陷。
[0006]为解决上述技术问题本专利技术提供以下的技术方案：
[0007]第一方面，一种红外图像与高清视频的融合方法，其中，包含以下步骤：
[0008]步骤1:从红外热成像模块中获取温度数据并进行处理得到红外热图像记为imgA；
[0009]获取可见光视频帧图记为imgB，低照度摄像头可实时获取可见光视频帧；
[0010]对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与所述imgB的图像尺
寸一致，优选为240*320像素大小，便于后续处理；
[0011]步骤2：对所述imgA与所述imgB分别进行边缘提取得到边缘图像数据分别记为imgA_canny与imgB_canny；
[0012]步骤3：从所述imgB_canny中找出待检测目标的五个轮廓点,得到矩阵retB＝[ptB1,ptB2,ptB3,ptB4,ptB5]；
[0013]步骤4：根据所述矩阵retB与所述imgA_canny进行相似性度量计算得到相似性度值；
[0014]根据所述相似性度值获取所述imgA中的五个轮廓点，得到矩阵retA＝[ptA1,ptA2,ptA3,ptA4,ptA5]；
[0015]步骤5：将ptBi(i＝1,
…
,5)与ptAi(i＝1,
…
,5)依次对应，得到五对关键点{ptB1,ptA1}、{ptB2,ptA2}、{ptB3,ptA3}、{ptB4,ptA4}、{ptB5,ptA5}，其中ptBi表示矩阵retB中的点，i＝0,1,2,3,4，ptAi表示所述imgA中的像素点，i＝0,1,2,3,4；
[0016]所述imgB_canny中的五个轮廓点能够描述出物体的轮廓，通过相似性度值得到所述imgA中与所述imgB_canny中五个轮廓点相匹配的五个轮廓点，将所述imgA中与所述imgB_canny中的五个轮廓点相匹配得到五对关键点；
[0017]步骤6：根据五对所述关键点对所述imgA与所述imgB进行图像融合。
[0018]上述的一种红外图像与高清视频的融合方法，其中，步骤1中从红外热成像模块中获取24*32个所述温度数据的阵列，对所述温度数据阵列进行处理后得到红外热图像记为imgA；
[0019]采用双线性插值法对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与所述imgB的图像尺寸一致；
[0020]双线性插值法的描述如下：对于一个目标像素，设置坐标通过反向变换得到浮点坐标为(i+u,j+v)，其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0,1)区间的浮点数，则这个像素的值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：f(i+u,j+v)＝(1
‑
u)(1
‑
v)f(i,j)+(1
‑
u)vf(i,j+1)+u(1
‑
v)f(i+1,j)+uvf(i+1,j+1)，其中f(i,j)表示源图像(i,j)处的的像素值，以此类推。
[0021]上述的一种红外图像与高清视频的融合方法，其中，步骤2中使用边缘检测算法对所述imgA与所述imgB分别进行边缘提取,得到边缘图像数据分别记为imgA_canny与imgB_canny；
[0022]边缘检测算法优选为Canny算子，Canny算子是一种边缘检测算法，能够获取图像的轮廓特征，Canny算子的计算过程为：1)将图片灰度化；2)将图片进行高斯滤波；3)将计算梯度值和方向；4)非极大值抑制；5)双阈值选取；6)边缘检测。
[0023]上述的一种红外图像与高清视频的融合方法，其中，步骤3中从所述imgB_canny中的边廓线中获取待检测目标的五个轮廓点。
[0024]上述的一种红外图像与高清视频的融合方法，其中，步骤4中根据公式对所述矩阵retB与所述imgA_canny进行相似性度量计算
得到相似性度值，其中B
i
表示矩阵retB中的点，i＝0,1,2,3,4，A
j
表示所述imgA_canny中的像素点，j＝0,1,
…
,240*320，cos(θ)
i,j
表示B
i
和A
j
两个向量方向之间的差异；
[0025]将所述相似性度值输入公式中进行计算得到所述imgA中得分最高的五个点并用矩阵retA＝[ptA1,ptA2,ptA3,ptA4,p本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外图像与高清视频的融合方法，其特征在于，包含以下步骤：步骤1:从红外热成像模块中获取温度数据并进行处理得到红外热图像记为imgA；获取可见光视频帧图记为imgB；对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与所述imgB的图像尺寸一致；步骤2：对所述imgA与所述imgB分别进行边缘提取得到边缘图像数据分别记为imgA_canny与imgB_canny；步骤3：从所述imgB_canny中找出待检测目标的五个轮廓点,得到矩阵retB＝[ptB1,ptB2,ptB3,ptB4,ptB5]；步骤4：根据所述矩阵retB与所述imgA_canny进行相似性度量计算得到相似性度值；根据所述相似性度值获取所述imgA中的五个轮廓点，得到矩阵retA＝[ptA1,ptA2,ptA3,ptA4,ptA5]；步骤5：将ptBi(i＝1,
…
,5)与ptAi(i＝1,
…
,5)依次对应，得到五对关键点{ptB1,ptA1}、{ptB2,ptA2}、{ptB3,ptA3}、{ptB4,ptA4}、{ptB5,ptA5}，其中ptBi表示矩阵retB中的点，i＝0,1,2,3,4，ptAi表示所述imgA中的像素点，i＝0,1,2,3,4；步骤6：根据五对所述关键点对所述imgA与所述imgB进行图像融合。2.如权利要求1所述的一种红外图像与高清视频的融合方法，其特征在于，步骤1中从红外热成像模块中获取24*32个所述温度数据的阵列，对所述温度数据阵列进行处理后得到红外热图像记为imgA；采用双线性插值法对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与所述imgB的图像尺寸一致。3.如权利要求2所述的一种红外图像与高清视频的融合方法，其特征在于，步骤2中使用边缘检测算法对所述imgA与所述imgB分别进行边缘提取,得到边缘图像数据分别记为imgA_canny与imgB_canny。4.如权利要求3所述的一种红外图像与高清视频的融合方法，其特征在于，步骤3中从所述imgB_canny中的边廓线中获取待检测目标的五个轮廓点。5.如权利要求4所述的一种红外图像与高清视频的融合方法，其特征在于，步骤4中根据公式对所述矩阵retB与所述imgA_canny进行相似性度量计算得到相似性度值，其中B
i
表示矩阵retB中的点，i＝0,1,2,3,4，A
j
表示所述imgA_canny中的像素点，j＝0,1,
…
,240*320，cos(θ)
i,j
表示B
i
和A
j
两个向量方向之间的差异；将...

【专利技术属性】
技术研发人员：钱韫辉，高巍，
申请(专利权)人：上海擎测机电工程技术有限公司，
类型：发明
国别省市：