一种基于像素级的快速图像融合方法技术

技术编号:22077957 阅读:44 留言:0更新日期:2019-09-12 14:55
本发明专利技术提供一种基于像素级的快速图像融合方法,首先对待融合图像进行对比度增强操作,以提升目标和背景之间的反差。由于可见光图像和红外图像在体现目标特性之间存在差异性,二者存在一定的信息互补关系,为了能够较好的兼顾二者的特点,最大化的保留二者的信息,采用了自适应的融合权值确定方法,根据二者各自信息量的不同决定在融合过程中的权值分配比,避免了人工干预的过程。可见光图像相比于红外图像其光谱信息更丰富,分辨率也更高,加权融合之后融合结果相较于可见光图像其对比度会下降,因此,以原始可见光图像为基础对融合图像进行均值和对比度的优化,进一步提升其图像质量。

A Fast Image Fusion Method Based on Pixel Level

【技术实现步骤摘要】
一种基于像素级的快速图像融合方法
本专利技术涉及机载光电吊舱
,具体涉及一种基于像素级的快速图像融合方法。
技术介绍
图像融合作为一种综合处理多传感器图像数据的有效技术,得到了广泛的应用,尤其是可见光和红外传感器,其应用范围已遍及军事、安全监控等领域。可见光光谱信息丰富,在一定照度下能反映场景的细节,但在照度不足时对比度较低;红外图像为热辐射图像,目标的灰度值由自身与背景的温度差决定,在照度低时依然能够发现目标,但是分辨率不高,色彩不够丰富。单独使用可见光或红外图像均存在不足之处,而图像融合技术能够有效综合二者的特征信息,增强场景理解,突出目标,有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。机载光电吊舱集光学、机械、自动控制和通讯技术为一体,是航空航天领域的重要搜索、侦察设备,常搭载可见光和红外传感器,因此,研究应用于机载光电吊舱中的快速图像融合技术具有重要意义。
技术实现思路
本专利技术针对上述背景,提出了一种在像素层面进行的可见光和红外图像快速融合方法。为了达到上述目的,本专利技术采用了如下技术方案:一种基于像素级的快速图像融合方法,包括如下步骤:步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。所述步骤一中,两种色彩空间的变换关系如下:所述步骤一中,对可见光的Y分量和红外图像进行图像增强处理具体为采用简单的线性拉伸处理,公式为:其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。所述步骤二中,采用图像的信息熵来衡量图像包含的信息量的大小,计算公式如下:其中,P(i)表示图像中灰度值为i的像素所占的比例;分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。所述步骤二中,采用加权平均法进行融合过程处理,公式如下:F=Ptv×ftv+Pir×fir其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。所述步骤三中,采用的优化方法如下式所示:上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。所述步骤四中,两种色彩空间的逆变换关系如下:本专利技术的有益效果为:为了降低在获取图像瞬间光照等原因带来的影响,本专利技术首先对待融合图像进行对比度增强操作,以提升目标和背景之间的反差。由于可见光图像和红外图像在体现目标特性之间存在差异性,二者存在一定的信息互补关系,为了能够较好的兼顾二者的特点,最大化的保留二者的信息,采用了自适应的融合权值确定方法,根据二者各自信息量的不同决定在融合过程中的权值分配比,避免了人工干预的过程。可见光图像相比于红外图像其光谱信息更丰富,分辨率也更高,加权融合之后融合结果相较于可见光图像其对比度会下降,因此,以原始可见光图像为基础对融合图像进行均值和对比度的优化,进一步提升其图像质量。附图说明图1为本专利技术的基于像素级的快速图像融合方法流程图;图2为本专利技术的可见光和红外原始灰度图和彩色图;图3为可见光和红外图像直接融合效果图;图4为本专利技术的融合结果优化调整后效果图。具体实施方式参见图1-图4,本专利技术实施例提供的基于像素级的快速图像融合方法,包括如下步骤:步骤一、色彩空间变换通常情况下可见光图像为色彩丰富的彩色图像,分辨率较高,红外图像为灰度图像,分辨率较低,为了尽可能使两种图像的信息得到最大的保留,一般保留可见光图像的色调分量,利用其亮度分量和红外灰度图像进行融合处理,而在RGB空间下,可见光图像的亮度信息和色调信息具有较强的相关性,不方便处理,因此首先将RGB空间转换至YUV空间下,两种色彩空间的变换关系如下:获取转换后的可见光YUV图像,为了降低光照等原因对图像对比度所造成的影响,对可见光的Y分量和红外图像进行图像增强处理,提升其对比度,增大图像中目标和背景之间的反差,同时为了节省运算时间,采用简单的线性拉伸处理,公式为:其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。步骤二、灰度图像自适应融合步骤2.1、自适应权值获取为了确定可见光图像和红外图像在融合过程中分别占的比重,同时尽量减小人工干预的程度,采用自适应的方式来确定融合权值,根据图像各自所包含的信息量大小决定其权值分配比,信息量大证明图像中目标和背景差别较大,内容更丰富,融合过程中图像所表达的信息应该更多的得到保留。采用图像的信息熵来衡量图像包含的信息量的大小,信息熵从整个信息源的统计特性进行考虑,表征了图像灰度分布的聚集特性,反映了图像中平均信息量的多少,其计算公式如下:其中,P(i)表示图像中灰度值为i的像素所占的比例;分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。步骤2.2、灰度图像融合确定可见光图像和红外图像在融合过程中各自所占的权值后,即可进行图像融合。采用加权平均法进行融合过程处理,公式如下:F=Ptv×ftv+Pir×fir其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。以像素为单位进行融合运算,因此融合前需要保证参与融合的可见光图像和红外图像是像素级严格配准的。步骤三、融合图像优化调整由于成像机制的不同,红外图像和可见光图像强度分量的亮度分布差异有时会很大,在某些特定场景下,红外图像较为灰暗,而可见光图像整体较为明亮,在和红外图像融合时,红外图像只能起到很小的作用,最终的融合效果会受到较大影响。这种情况下就需要对融合结果进行优化调整,使其与对比度较强,整体较为明亮的可见光图像亮度分量在亮度分布上协调一致。采用的处理方法如下式所示:上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。灰度代表了图像的一阶统计量,方差代表了图像的二阶统计量。经过上述方法处理过后,灰度融合图像亮度分布的一阶和二阶统计量就会和可见光图像的相类似,灰度均值可以反映图像的平均亮度,方本文档来自技高网...

【技术保护点】
1.一种基于像素级的快速图像融合方法,其特征在于,包括如下步骤:步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。

【技术特征摘要】
1.一种基于像素级的快速图像融合方法,其特征在于,包括如下步骤:步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。2.根据权利要求1所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤一中,两种色彩空间的变换关系如下:3.根据权利要求2所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤一中,对可见光的Y分量和红外图像进行图像增强处理具体为采用简单的线性拉伸处理,公式为:其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。4....

【专利技术属性】
技术研发人员:谭仁龙张奇婕艾宏山董力文
申请(专利权)人:中国船舶重工集团公司第七一七研究所中国航空无线电电子研究所
类型:发明
国别省市:湖北,42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1