图像融合方法、装置及计算机可读存储介质制造方法及图纸

本申请公开了一种图像融合方法、装置及计算机可读存储介质。其中，方法包括基于红外相机和可见光相机的相对几何位置关系确定，拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像之间的坐标映射关系，并基于坐标映射关系将红外图像和可见光图像的像素坐标对齐至同一坐标系下；分别将红外图像对应的伪彩图像和可见光图像由原始色彩空间转换至目标类型色彩空间，提取伪彩图像的色彩分量信息和可见光图像的亮度分量信息；基于色彩分量信息和亮度分量信息在目标类型色彩空间下计算得到融合彩色图像，在充分提取可见光图像和红外图像的所有有效信息的前提下实现了两者的图像融合。

【技术实现步骤摘要】
图像融合方法、装置及计算机可读存储介质
本申请涉及图像处理
，特别是涉及一种图像融合方法、装置及计算机可读存储介质。
技术介绍
红外图像和可见光作为实用性很强的两种图像类型广泛应用在各行各业。根据黑体辐射理论，任何温度超过绝对零度的物体都会向外辐射电磁波。自然界中大部分物体辐射的电磁波主要成分是红外线，其波长高于可见光，人体肉眼无法直接观察。红外探测器是一种可以接收并“感知”红外线的特殊仪器。基于红外探测器开发的红外热像仪可以把物体辐射的红外信息以图像的形式展现出来，也就是所谓的红外图像。因为红外图像反映物体主动向外辐射的能量信息，无论白天还是夜晚、晴天还是雨雾天都可以正常工作，外界环境对其影响较小。可见光图像例如可为通过手机、相机等拍摄得到照片或视频，可见光是电磁波谱中人眼可以感知的部分。可见光图像一般包含物体丰富的细节和纹理信息，人和机器比较容易理解和分析。可以理解的是，自然界中大多数物体无法主动“发光”，对于这些物体，可见光图像捕捉到的是它们反射的光线，所以图像质量受光照的影响非常大，过亮和过暗的环境都会严重影响图像质量和细节，比如强烈阳光或者夜晚无照明条件下拍摄的照片或视频一般效果都不太好。而由于物体辐射的能量和物体本身几乎没有区别导致红外图像一般无法获取物体表面的纹理细节等信息。此外，由于红外波长和制造工艺的限制，红外探测器的像元尺寸比可见光大，其图像分辨率或者称为图像像素数也不如可见光图像高，这进一步增加了红外图像捕捉物体细节的难度，缺乏图像纹理细节信息会给图像的进一步质量和细节分析带来困难。可见，红外图像和可见光图像各有优劣，且提供了关于物体或场景互补的信息。同时使用一个红外相机和可见光相机观察场景或物体可以在更广泛地环境条件下更加全面地了解其特征。在实际应用中，如果分别显示红外和可见光图像，会造成显示资源的浪费如需要两台显示器或降低图像的显示质量如需要把一台显示器分成两个部分，这就促使红外图像与可见光图像融合成一张图像的图像融合技术诞生。相关技术在进行红外图像和可见光图像的融合过程，通常先分别对红外和可见光图像再采样，然后基于提取得到的可见光图像的轮廓和边缘信息进行红外和可见光的图像融合。但是，仅仅利用可见光图像中的轮廓/边缘信息这些高频信息并无法包含图像的所有有效信息，融合得到的图像由于仅包含图像细节而忽视其他低频信息导致融合图像质量不佳，无法满足用户需求。鉴于此，如何在充分提取可见光和红外图像的所有有效信息前提下实现两者的图像融合，是所属领域技术人员需要解决的技术问题。
技术实现思路
本申请提供了一种图像融合方法、装置及计算机可读存储介质，在充分提取可见光图像和红外图像的所有有效信息前提下实现了两者的图像融合。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种图像融合方法，包括：获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像；基于红外相机和可见光相机的相对几何位置关系确定所述红外图像和所述可见光图像的坐标映射关系，并基于所述坐标映射关系将所述红外图像和所述可见光图像的像素坐标对齐至同一坐标系下；分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息；基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像。可选的，所述原始色彩空间不为YCbCr色彩空间，所述分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息包括：基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；将所述原始色彩空间下的所述伪彩图像转换为YCbCr色彩空间下的图像，并提取色度分量Cb和Cr，以作为所述色彩分量信息；将所述原始色彩空间下的所述可见光彩色图像转换为YCbCr色彩空间下的图像，并提取亮度分量Y，以作为所述亮度分量信息。可选的，所述原始色彩空间不为HSL/HSV色彩空间，所述分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息包括：基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；将原始色彩空间下的所述伪彩图像转换为HSL/HSV色彩空间下的图像，并提取色调分量H和饱和度分量S，以作为所述色彩分量信息；将原始色彩空间下的所述可见光彩色图像转换为HSL/HSV色彩空间下的图像，并提取亮度分量L/V，以作为所述亮度分量信息。可选的，所述基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像包括：调用预先设置的第一单调函数对所述色彩分量信息进行单调变换处理，得到单调色彩特征；调用预先设置的第二单调函数对所述亮度分量信息进行单调变换处理，得到单调亮度特征；基于所述单调色彩特征和所述单调亮度特征在所述目标类型色彩空间下计算得到融合彩色图像。可选的，所述基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像之后还包括：将所述融合彩色图像再变换至所需类型的色彩空间中，得到目标融合彩色图像；将所述目标融合彩色图像进行存储，并输出至显示设备。可选的，所述获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像包括：获取于同一时刻拍摄同一目标的可见光图像和红外图像；若所述可见光图像和所述红外图像的图像尺寸不一致，则进行图像裁剪以使所述可见光图像和所述红外图像的图像尺寸相同；若所述可见光图像和所述红外图像的分辨率不同，则对所述红外图像进行再采样，以使所述可见光图像和所述红外图像的分辨率相同。本专利技术实施例另一方面提供了一种图像融合装置，包括：图像获取模块，用于获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像；像素坐标对齐模块，用于基于红外相机和可见光相机的相对几何位置关系确定所述红外图像的坐标映射关系，并基于所述坐标映射关系将所述红外图像和所述可见光图像的像素坐标对齐至同一坐标系下；特征提取模块，用于分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息；图像融合模块，用于基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像。可选的，所述特征提取模块包括：红外图像处理子模块，用于基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；色彩分量信息提取子模块，用于将所述原始色彩空间下的所述伪彩图像转换为YCbCr色彩空间下的图像，并提取色度分量C本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，包括：/n获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像；/n基于红外相机和可见光相机的相对几何位置关系确定所述红外图像和所述可见光图像的坐标映射关系，并基于所述坐标映射关系将所述红外图像和所述可见光图像的像素坐标对齐至同一坐标系下；/n分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息；/n基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像。/n

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：
获取拍摄同一目标、且图像尺寸和分辨率均相同的可见光图像和红外图像；
基于红外相机和可见光相机的相对几何位置关系确定所述红外图像和所述可见光图像的坐标映射关系，并基于所述坐标映射关系将所述红外图像和所述可见光图像的像素坐标对齐至同一坐标系下；
分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息；
基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像。


2.根据权利要求1所述的图像融合方法，其特征在于，所述原始色彩空间不为YCbCr色彩空间，所述分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息包括：
基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；
将所述原始色彩空间下的所述伪彩图像转换为YCbCr色彩空间下的图像，并提取色度分量Cb和Cr，以作为所述色彩分量信息；
将所述原始色彩空间下的所述可见光彩色图像转换为YCbCr色彩空间下的图像，并提取亮度分量Y，以作为所述亮度分量信息。


3.根据权利要求1所述的图像融合方法，其特征在于，所述原始色彩空间不为HSL/HSV色彩空间，所述分别将所述红外图像对应的伪彩图像和所述可见光图像由原始色彩空间转换至目标类型色彩空间，提取所述伪彩图像的色彩分量信息和所述可见光图像的亮度分量信息包括：
基于所述红外图像的像素强度大小对所述红外图像进行伪彩映射，得到对应的伪彩图像；
将所述原始色彩空间下的所述伪彩图像转换为HSL/HSV色彩空间下的图像，并提取色调分量H和饱和度分量S，以作为所述色彩分量信息；
将所述原始色彩空间下的所述可见光彩色图像转换为HSL/HSV色彩空间下的图像，并提取亮度分量L/V，以作为所述亮度分量信息。


4.根据权利要求1至3任意一项所述的图像融合方法，其特征在于，所述基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到融合彩色图像包括：
调用预先设置的第一单调函数对所述色彩分量信息进行单调变换处理，得到单调色彩特征；
调用预先设置的第二单调函数对所述亮度分量信息进行单调变换处理，得到单调亮度特征；
基于所述单调色彩特征和所述单调亮度特征在所述目标类型色彩空间下计算得到融合彩色图像。


5.根据权利要求4所述的图像融合方法，其特征在于，所述基于所述色彩分量信息和所述亮度分量信息在所述目标类型色彩空间下计算得到...

【专利技术属性】
技术研发人员：杨思雨，李聪科，
申请(专利权)人：无锡英菲感知技术有限公司，
类型：发明
国别省市：江苏;32