可实时的可见光图像与红外图像多通道融合方法及装置制造方法及图纸

本发明专利技术公开了一种可实时的可见光图像与红外图像多通道融合方法及装置，包括：对可见光图像对应的可见光矩阵进行分解，得到可见光低频矩阵和可见光高频矩阵，并对红外图像对应的红外矩阵进行分解，得到红外低频矩阵和红外高频矩阵；根据可见光低频权重和红外低频权重，融合可见光低频矩阵和红外低频矩阵，得到低频融合矩阵，并根据可见光高频权重和红外高频权重，融合可见光高频矩阵和红外高频矩阵，得到高频融合矩阵；基于预设融合方式融合低频融合矩阵和高频融合矩阵，生成可见光图像和红外图像对应的融合矩阵。可见，实施本发明专利技术能够融合可见光图像和红外图像，进而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度。高图像纹理的细致程度。高图像纹理的细致程度。

【技术实现步骤摘要】
可实时的可见光图像与红外图像多通道融合方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种可实时的可见光图像与红外图像多通道融合方法及装置。

技术介绍

[0002]在图像分析领域，可见光图像的信息量较大、像素强度较高，可以为计算机视觉任务提供较为直观的细节，但是可见光图像的图像质量容易受到数据收集环境的影响（如照明和天气条件），导致可见光图像中需突出显示的主体内容（如人物）与背景区域的差异不够分明；而基于红外热成像技术生成的红外图像虽然能够根据物体表面的热辐射差异显著区分红外图像中的主体内容和背景区域，但由于红外图像通常为人眼难以区分的灰度级图像，且红外图像的对比度较低、图像较为模糊，导致红外图像的图像纹理不够细致。可见，如何提升图像中主体内容和背景区域的区分度以及提高图像纹理的细致程度显得尤为重要。

技术实现思路

[0003]本专利技术所要解决的技术问题在于，提供一种可实时的可见光图像与红外图像多通道融合方法及装置，能够融合可见光图像和红外图像，进而有利于在提高图像中主体内容和背景区域的区分度的同时提高图像纹理的细致程度。
[0004]为了解决上述技术问题，本专利技术第一方面公开了一种可实时的可见光图像与红外图像多通道融合方法，所述方法包括：对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外低频矩阵和所述红外图像对应的红外高频矩阵，其中，所述可见光矩阵中每个元素值均对应所述可见光图像中其中一个像素点的色彩量化值，所述红外矩阵中每个元素值均对应所述红外图像中其中一个像素点的温度量化值；根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵，并根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵；基于预设融合方式融合所述低频融合矩阵和所述高频融合矩阵，生成所述可见光图像和所述红外图像对应的融合矩阵，所述融合矩阵用于生成所述可见光图像和所述红外图像的融合图像。
[0005]作为一种可选的实施方式，在本专利技术第一方面中，所述对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，包括：基于预先确定出的用于均值卷积运算的均值滤波算子和所述均值卷积运算对应
的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到所述可见光图像对应的可见光低频矩阵：imgC_B=conv(avg,imgC)，其中，imgC_B用于表示所述可见光低频矩阵，avg用于表示所述均值滤波算子，imgC用于表示所述可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；基于所述可见光矩阵和所述可见光低频矩阵，确定所述可见光图像对应的可见光高频矩阵：imgC_F=imgC
‑
imgC_B，其中，imgC_F用于表示所述可见光高频矩阵。
[0006]作为一种可选的实施方式，在本专利技术第一方面中，在所述根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵之前，所述方法还包括：确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重；其中，所述确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，包括：根据所述可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和所述可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算所述可见光图像对应的可见光范数矩阵，并根据所述红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和所述红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算所述红外图像对应的红外范数矩阵：imgC_D(i,j)=||imgC_G(i,j)
‑
imgC_M(i,j)||
p
，imgT_D(i,j)=||imgT_G(i,j)
‑
imgT_M(i,j)||
p
，其中，(i,j)用于表示所述可见光图像以及所述红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示所述可见光范数矩阵，imgC_G(i,j)用于表示所述可见光高斯滤波矩阵，imgC_M(i,j)用于表示所述可见光中值滤波矩阵，imgT_D(i,j)用于表示所述红外范数矩阵，imgT_G(i,j)用于表示所述红外高斯滤波矩阵，imgT_M(i,j)用于表示所述红外中值滤波矩阵；根据所述可见光范数矩阵和所述红外范数矩阵，计算所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重：，；其中，imgC_W(i,j)用于表示所述可见光高频权重，imgT_W(i,j)用于表示所述红外高频权重，a、b均为预设权重值，且a+b=1。
[0007]作为一种可选的实施方式，在本专利技术第一方面中，在所述根据确定出的所述可见
光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵之前，所述方法还包括：确定所述红外图像对应的彩色矩阵；根据所述彩色矩阵以及所述红外低频矩阵确定所述红外图像对应的彩色红外低频矩阵imgT_B*imgTC，并根据所述彩色矩阵以及所述红外高频矩阵确定所述红外图像对应的彩色红外高频矩阵imgT_F*imgTC，其中，imgT_B用于表示所述红外低频矩阵，imgT_F用于表示所述红外高频矩阵，imgTC用于表示所述彩色矩阵：将所述彩色红外低频矩阵更新为所述红外低频矩阵，将所述彩色红外高频矩阵更新为所述红外高频矩阵。
[0008]作为一种可选的实施方式，在本专利技术第一方面中，所述确定所述红外图像对应的彩色矩阵，包括：计算所述红外图像在所述可见光图像的每个色彩通道的通道分量；根据所述红外图像在每个所述色彩通道的通道分量，确定所述红外图像对应的彩色矩阵；其中，当所述可见光图像为基于RGB空间的三通道图像时，所述计算所述红外图像在所述可见光图像的每个色彩通道的通道分量，包括：根据所述红外矩阵所表征的温度分布信息，确定所述红外图像对应的第一标记值l1、第二标记值l2和第三标记值l3，其中，l1<l2<l3；根据所述红外矩阵、所述第一标记值l1、所述第二标记值l2和所述第三标记值l3，计算所述红外图像在所述可见光图像的每个色彩通道的通道分量：，，，其中，imgTC_r(i,j)、imgTC_g(i,j)和imgTC_b(i,j)分别用于表示所述红外图像在每个所述色彩通道的通道分量，imgT(i,j)用于表示所述红外矩阵。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，在所述对用于图像融合的可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可实时的可见光图像与红外图像多通道融合方法，其特征在于，所述方法包括：对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，并对用于图像融合的红外图像对应的红外矩阵进行分解，得到所述红外图像对应的红外低频矩阵和所述红外图像对应的红外高频矩阵，其中，所述可见光矩阵中每个元素值均对应所述可见光图像中其中一个像素点的色彩量化值，所述红外矩阵中每个元素值均对应所述红外图像中其中一个像素点的温度量化值；根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵，并根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵；基于预设融合方式融合所述低频融合矩阵和所述高频融合矩阵，生成所述可见光图像和所述红外图像对应的融合矩阵，所述融合矩阵用于生成所述可见光图像和所述红外图像的融合图像。2.根据权利要求1所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，所述对用于图像融合的可见光图像对应的可见光矩阵进行分解，得到所述可见光图像对应的可见光低频矩阵和所述可见光图像对应的可见光高频矩阵，包括：基于预先确定出的用于均值卷积运算的均值滤波算子和所述均值卷积运算对应的邻域窗口尺寸，对用于图像融合的可见光图像对应的可见光矩阵进行卷积运算处理，得到所述可见光图像对应的可见光低频矩阵：imgC_B=conv(avg,imgC)，其中，imgC_B用于表示所述可见光低频矩阵，avg用于表示所述均值滤波算子，imgC用于表示所述可见光矩阵，conv(avg,imgC)用于表示针对avg和imgC的卷积运算算法；基于所述可见光矩阵和所述可见光低频矩阵，确定所述可见光图像对应的可见光高频矩阵：imgC_F=imgC
‑
imgC_B，其中，imgC_F用于表示所述可见光高频矩阵。3.根据权利要求1或2所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，在所述根据确定出的所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，融合所述可见光高频矩阵和所述红外高频矩阵，得到高频融合矩阵之前，所述方法还包括：确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重；其中，所述确定所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重，包括：根据所述可见光矩阵经过高斯滤波处理之后所得的可见光高斯滤波矩阵和所述可见光矩阵经过中值滤波处理之后所得的可见光中值滤波矩阵，计算所述可见光图像对应的可见光范数矩阵，并根据所述红外矩阵经过高斯滤波处理之后所得的红外高斯滤波矩阵和所述红外矩阵经过中值滤波处理之后所得的红外中值滤波矩阵，计算所述红外图像对应的红外范数矩阵：
imgC_D(i,j)=||imgC_G(i,j)
‑
imgC_M(i,j)||
p
，imgT_D(i,j)=||imgT_G(i,j)
‑
imgT_M(i,j)||
p
，其中，(i,j)用于表示所述可见光图像以及所述红外图像中每个像素点对应的坐标值，imgC_D(i,j)用于表示所述可见光范数矩阵，imgC_G(i,j)用于表示所述可见光高斯滤波矩阵，imgC_M(i,j)用于表示所述可见光中值滤波矩阵，imgT_D(i,j)用于表示所述红外范数矩阵，imgT_G(i,j)用于表示所述红外高斯滤波矩阵，imgT_M(i,j)用于表示所述红外中值滤波矩阵；根据所述可见光范数矩阵和所述红外范数矩阵，计算所述可见光图像对应的可见光高频权重和所述红外图像对应的红外高频权重：，；其中，imgC_W(i,j)用于表示所述可见光高频权重，imgT_W(i,j)用于表示所述红外高频权重，a、b均为预设权重值，且a+b=1。4.根据权利要求1或2所述的可实时的可见光图像与红外图像多通道融合方法，其特征在于，在所述根据确定出的所述可见光图像对应的可见光低频权重和所述红外图像对应的红外低频权重，融合所述可见光低频矩阵和所述红外低频矩阵，得到低频融合矩阵之前，所述方法还包括：确定所述红外图像对应的彩色矩阵；根据所述彩色矩阵以及所述红外低频矩阵确定所述红外图像对应的彩色红外低频矩阵imgT_...

【专利技术属性】
技术研发人员：周振彬，娄珂，宾朝林，秦文礼，
申请(专利权)人：深圳顶匠科技有限公司，
类型：发明
国别省市：