图像融合方法、装置及计算机可读存储介质制造方法及图纸

本申请公开了一种图像融合方法、装置及计算机可读存储介质。其中，方法包括基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；根据像素融合需求调用包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点的像素排布模板，按照周期排布格式将像素排布模板填充至空白融合图像，将红外图像和可见光图像中满足位置选择条件的目标像素点对应填充至各像素排布模板的相应位置处以得到可见光图像和红外图像的所有像素点均有分布的融合图像，在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。

【技术实现步骤摘要】
图像融合方法、装置及计算机可读存储介质
本申请涉及图像处理
，特别是涉及一种图像融合方法、装置及计算机可读存储介质。
技术介绍
红外图像和可见光作为实用性很强的两种图像类型广泛应用在各行各业。根据黑体辐射理论，任何温度超过绝对零度的物体都会向外辐射电磁波。自然界中大部分物体辐射的电磁波主要成分是红外线，其波长高于可见光，人体肉眼无法直接观察。红外探测器是一种可以接收并“感知”红外线的特殊仪器。基于红外探测器开发的红外热像仪可以把物体辐射的红外信息以图像的形式展现出来，也就是所谓的红外图像。因为红外图像反映物体主动向外辐射的能量信息，无论白天还是夜晚、晴天还是雨雾天都可以正常工作，外界环境对其影响较小。可见光图像例如可为通过手机、相机等拍摄得到的照片或视频，可见光是电磁波谱中人眼可以感知的部分。可见光图像一般包含物体丰富的细节和纹理信息，人和机器比较容易理解和分析。可以理解的是，自然界中大多数物体无法主动“发光”，对于这些物体，可见光图像捕捉到的是它们反射的光线，所以图像质量受光照的影响非常大，过亮和过暗的环境都会严重影响图像质量和细节，比如强烈阳光或者夜晚无照明条件下拍摄的照片或视频一般效果都不太好。而由于物体辐射的能量和物体本身几乎没有区别导致红外图像一般无法获取物体表面的纹理细节等信息。此外，由于红外波长和制造工艺的限制，红外探测器的像元尺寸比可见光大，其图像分辨率或者称为图像像素数也不如可见光图像高，这进一步增加了红外图像捕捉物体细节的难度，缺乏图像纹理细节信息会给图像的进一步质量和细节分析带来困难。可见，红外图像和可见光图像各有优劣，且提供了关于物体或场景互补的信息。同时使用一个红外相机和可见光相机观察场景或物体可以在更广泛地环境条件下更加全面地了解其特征。在实际应用中，如果分别显示红外和可见光图像，会造成显示资源的浪费如需要两台显示器或降低图像的显示质量如需要把一台显示器分成两个部分，这就促使红外图像与可见光图像融合成一张图像的图像融合技术诞生。相关技术在进行红外图像和可见光图像的融合过程，通常先分别对红外图像和可见光图像进行再采样处理，然后基于提取得到的可见光图像的轮廓和边缘信息进行红外和可见光的图像融合。但是，图像在再采样过程中会丢失图像信息或是增加非图像本身的其他特征；降采样会丢失原始图像的信息，而升采样会引入人造/虚假的信息，使图像“失真”。仅仅利用可见光图像中的轮廓/边缘信息这些高频信息并无法包含图像的所有有效信息，如色彩信息，融合得到的图像由于丢失一些有效信息导致融合图像质量不佳，无法满足用户需求。鉴于此，如何在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合，是所属领域技术人员需要解决的技术问题。
技术实现思路
本申请提供了一种图像融合方法、装置及计算机可读存储介质，在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种图像融合方法，包括：基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；根据像素融合需求调用所需像素排布模板，并按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。可选的，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述像素排布模板中包括按照所述像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；所述第一类像素点为低分辨率图像中的同一个像素点，所述第二类像素点为所述第一类像素点基于所述坐标映射关系在高分辨率图像中确定的像素点，所述第三类像素点为所述高分辨图像中位于所述第二类像素点邻近区域的像素点；所述第一类像素点随着所述像素排布模板在所述空白融合图像的位置不同而不同。可选的，所述当前像素排布模板位于所述空白融合图像的第i行第j列，所述将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像包括：对所述当前像素排布模板，将所述低分辨率图像的第i行第j列的像素点作为所述第一类像素点填充至所述第一类像素点位于所述当前像素排布模板的位置处；基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置第m行第n列，并将所述目标坐标位置的像素点作为所述第二类像素点填充至所述第二类像素点位于所述当前像素排布模板的位置处；将所述高分辨率图像中第m±Δ1行、第n±Δ2列的像素点作为所述第三类像素点填充至所述第三类像素点位于所述当前像素排布模板的位置处；Δ1＝1,2,3,…，Δ2＝1,2,3,…。可选的，所述基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置包括：基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置；若所述目标坐标位置的数值不为整数，则向下取整得到整数，将整数对应的坐标位置作为目标坐标位置。可选的，所述像素排布模板中包含的像素点个数根据所述可见光图像和所述红外图像的分辨率比值确定，且所述像素排布模板的高宽比与所述可见光图像的高宽比相同。可选的，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述低分辨率图像的分辨率为w2*h2，所述按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处包括：将各像素排布模板在所述空白融合图像的行方向和列方向周期性排布，行方向上重复h2次，列方向上重复w2次。本专利技术实施例另一方面提供了一种图像融合装置，包括：图像获取模块，用于获取拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像；像素排布模板调用模块，用于根据像素融合需求调用所需像素排布模板；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；模板排布模块，用于按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；像素点填充模块，用于对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，包括：/n基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；/n根据像素融合需求调用所需像素排布模板，并按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；/n对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。/n

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：
基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；
根据像素融合需求调用所需像素排布模板，并按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；
对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。


2.根据权利要求1所述的图像融合方法，其特征在于，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述像素排布模板中包括按照所述像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；
所述第一类像素点为低分辨率图像中的同一个像素点，所述第二类像素点为所述第一类像素点基于所述坐标映射关系在高分辨率图像中确定的像素点，所述第三类像素点为所述高分辨图像中位于所述第二类像素点邻近区域的像素点；所述第一类像素点随着所述像素排布模板在所述空白融合图像的位置不同而不同。


3.根据权利要求2所述的图像融合方法，其特征在于，所述当前像素排布模板位于所述空白融合图像的第i行第j列，所述将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像包括：
对所述当前像素排布模板，将所述低分辨率图像的第i行第j列的像素点作为所述第一类像素点填充至所述第一类像素点位于所述当前像素排布模板的位置处；
基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置第m行第n列，并将所述目标坐标位置的像素点作为所述第二类像素点填充至所述第二类像素点位于所述当前像素排布模板的位置处；
将所述高分辨率图像中第m±Δ1行、第n±Δ2列的像素点作为所述第三类像素点填充至所述第三类像素点位于所述当前像素排布模板的位置处；Δ1＝1,2,3,…，Δ2＝1,2,3,…。


4.根据权利要求3所述的图像融合方法，其特征在于，所述基于所述坐标映射关系确定所述第一类像素点在所...

【专利技术属性】
技术研发人员：李聪科，杨思雨，
申请(专利权)人：无锡英菲感知技术有限公司，
类型：发明
国别省市：江苏;32