基于纹理信息重构的不同光照两帧图像融合方法技术

本发明专利技术公开了一种基于纹理信息重构的不同光照两帧图像融合方法，其实现步骤为：(1)输入待融合图像。(2)变换待融合图像通道。(3)重构亮度矩阵(4)采用加权最小二乘自适应滤波器对待融合图像滤波。(5)获得待融合图像纹理信息矩阵。(6)重构纹理信息矩阵。(7)对待融合图像进行融合。(8)矩阵变换。(9)输出融合后图像。本发明专利技术利用了两帧不同亮度图像的纹理信息和亮度信息对融合后图像进行自适应增强，提高了融合图像的清晰度并降低了融合图像的噪声，克服了现有图像融合技术亮度场景单一的缺点。

【技术实现步骤摘要】
基于纹理信息重构的不同光照两帧图像融合方法
本专利技术属于图像处理
，更进一步涉及图像清晰度增强
中的一种基于纹理信息重构的不同光照两帧图像融合方法。本专利技术可用于夜间拍照获得的一帧高亮度的闪光灯条件下拍摄图像和一帧低亮度的无闪光灯条件下拍摄图像融合中，在提取亮度较高图像纹理信息的同时，保留光照较低图像色彩信息，提升最终融合图像的清晰度。
技术介绍
目前，现有的图像融合方法主要有空间域图像融合方法与频域图像融合方法，最具代表性的融合方法有空间域的梯度融合方法和频域的小波融合方法。这两种方法都是根据一定的转换函数直接对两帧图像的像素值进行运算处理。梯度融合方法和小波融合方法的优点在于实现简单、速度快。但是这两种方法存在的缺点是应用场景单一，只能用于相同亮度场景下的图像融合，对亮度相差较大的图像会产生较大的噪声和色偏。AliAghagolzadeh和HadiSeyedarabi在其发表的论文“Multi-focusimagefusionforvisualsensornetworksinDCTdomain”(《SpecialIssueonImageProcessing》vol.37,Issue5,Sep.2011)中提出了一种基于小波变换的图像融合方法。该方法首先将图像从空间域变换到小波域，再根据高频成分均值大小选取均值较大的一帧图像作为基准图像，最后提取两帧图像中较大的高频成分到基准图像中，得到最终融合图像。该方法虽然对图像的清晰度有一定程度的提高。但是，该方法仍然存在的不足是，该方法不适用于两帧图像亮度差异较大时的融合，也没有考虑两帧图像的噪声大小，导致最终的融合图像中存在较大的噪声。微软公司申请的专利“Digitalphotographywithflash/noflashextension”(申请日：2005年07月15日，申请号：CN200510092389，公开号：CN100431339C)中公开了一种基于不同亮度的图像融合方法。该方法首先提取闪光灯条件下拍摄图像的纹理信息到融合后图像中，有效的提高了融合图像的清晰度，其次对融合后图像进行滤波，在降低最终融合图像噪声的同时，保留了低光照图像的色调与色温。该方法存在的不足是，直接在红绿蓝rgb三个颜色通道中做融合，导致最终的融合图像有色偏；其次，该方法没有考虑低光照图像中的纹理信息成分，导致最终的融合图像中部分区域发生模糊。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提出一种基于纹理信息重构的不同光照两帧图像融合方法。本专利技术根据在闪光灯条件下拍摄的一帧图像的亮度矩阵和在无闪光条件下拍摄的一帧图像的亮度矩阵，对待融合图像亮度矩阵进行重构，利用重构亮度矩阵后的无闪光条件下拍摄的一帧图像亮度通道纹理信息矩阵和闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵，对待融合图像亮度通道纹理信息矩阵进行重构，对待融合图像每一个像素点进行自适应的纹理增强，显著的提高融合图像的清晰度。为实现上述目的，本专利技术包括如下主要步骤：(1)输入待融合图像：分别输入待融合的一幅在有闪光灯和一幅在无闪光灯条件下拍摄的图像；(2)变换待融合图像通道：(2a)将闪光灯图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；(2b)将无闪光灯图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；(3)重构亮度矩阵：按照下式，重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值：Yi′＝max(YNFi,YFi)其中，Yi′表示无闪光灯条件下拍摄的一帧图像构建后亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素点的序号，max(·)表示取较大值操作，YNFi表示在无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值，YFi表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值；(4)采用加权最小二乘自适应滤波器，分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波；(5)分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值；(6)重构纹理信息矩阵：按照下式，重新构建待融合图像纹理信息矩阵中第i个像素的纹理值：Di＝max(DAi,DFi)其中，Di表示构建后纹理信息矩阵中第i个像素的纹理值，i表示待融合图像中像素的序号，max(·)表示取较大值操作，DAi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，DFi表示闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值；(7)按照下式，对待融合图像进行融合：Ei＝Di×Yi′；Fi＝M′i×Z′i；Gi＝N′i×W′i；其中，Ei表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素的序号，Di表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，Yi′表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值，Fi表示融合后的图像红色差通道红色差矩阵中第i个像素的色差值，M′i表示闪光灯条件下拍摄的一帧图像红色差通道纹理信息矩阵中第i个像素的纹理值，Z′i表示无闪光灯条件下拍摄的一帧图像红色差通道红色差矩阵中第i个像素的色差值，Gi表示融合后的图像蓝色差通道蓝色差矩阵中第i个像素的色差值，N′i表示闪光灯条件下拍摄的一帧图像蓝色差通道纹理信息矩阵中第i个像素的纹理值，Wi′表示无闪光灯条件下拍摄的一帧图像蓝色差通道蓝色差矩阵中第i个像素的色差值；(8)矩阵变换：将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵；(9)输出融合后图像：(9a)按照下式，计算融合后图像第i个像素的像素值：Ii＝[Ri,Gi,Bi]其中，Ii表示融合后图像第i个像素的像素值，i表示待融合图像中像素的序号，[·]表示矩阵元素做合并操作，Ri、Gi、Bi分别表示融合后图像红绿蓝三个矩阵中第i个像素的元素值；(9b)输出融合后图像。与现有的技术相比,本专利技术具有以下优点：第一，本专利技术能够根据闪光灯图像亮度矩阵和不闪光图像亮度矩阵，对待融合图像亮度矩阵进行重构，克服了现有技术存在的不适用于两帧待融合图像亮度差异较大进行的图像融合，只对某一部分图像适用的不足，使得本专利技术具有较好的亮度场景适应性。第二，本专利技术依据无闪光灯图像亮度通道纹理信息矩阵和闪光灯图像亮度通道纹理信息矩阵，对待融合图像亮度通道纹理信息矩阵进行重构，克服了现有技术在融合后图像中部分区域模糊的不足，使得本专利技术能够显著的提高融合图像的清晰度。附图说明图1为本专利技术的流程图；图2为本专利技术的仿真图。具体实施方式下面结合附图对本专利技术作进一步的描述。参考附图1，对本专利技术实现的步骤作进一步的详细描述。步骤1，输入待融合图像。分别输入待融合的一帧在闪光灯和一帧在无闪光灯条件下拍摄的图像。步骤2，变换待融合图像通道。利用下式，将闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵：YF＝0.2990×Rf+0.5870×Gf+0.1140×BfCbF＝-0.1687×Rf-0.3313×Gf+0.5000×Bf+128CrF＝-0.5000×Rf-0.4187×Gf-0.0813×Bf+128其本文档来自技高网...

【技术保护点】
一种基于纹理信息重构的不同光照两帧图像融合方法，包括如下步骤：(1)输入待融合图像：分别输入待融合的一帧在闪光灯和一帧在无闪光灯条件下拍摄的图像；(2)变换待融合图像通道：(2a)将闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；(2b)将无闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；(3)重构亮度矩阵：按照下式，重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值：Yi＝max(YNFi,YFi)其中，Yi表示构建后亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素点的序号，max(·)表示取较大值操作，YNFi表示在无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值，YFi表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值；(4)采用加权最小二乘自适应滤波器，分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波；(5)分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值；(6)重构纹理信息矩阵：按照下式，重新构建待融合图像纹理信息矩阵中第i个像素的纹理值：Di＝max(DAi,DFi)其中，Di表示构建后纹理信息矩阵中第i个像素的纹理值，i表示待融合图像中像素的序号，max(·)表示取较大值操作，DAi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，DFi表示闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值；(7)按照下式，对待融合图像进行融合：Ei＝Di×Yi；Fi＝Mi×Zi；Gi＝Ni×Wi；其中，Ei表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素的序号，Di表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，Yi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值，Fi表示融合后的图像红色差通道红色差矩阵中第i个像素的色差值，Mi表示闪光灯条件下拍摄的一帧图像红色差通道纹理信息矩阵中第i个像素的纹理值，Zi表示无闪光灯条件下拍摄的一帧图像红色差通道红色差矩阵中第i个像素的色差值，Gi表示融合后的图像蓝色差通道蓝色差矩阵中第i个像素的色差值，Ni表示闪光灯条件下拍摄的一帧图像蓝色差通道纹理信息矩阵中第i个像素的纹理值，Wi表示无闪光灯条件下拍摄的一帧图像蓝色差通道蓝色差矩阵中第i个像素的色差值；(8)矩阵变换：将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵；(9)输出融合后图像：(9a)按照下式，计算融合后图像第i个像素的像素值：Ii＝[Ri,Gi,Bi]其中，Ii表示融合后图像第i个像素的像素值，i表示待融合图像中像素的序号，[·]表示矩阵元素做合并操作，Ri、Gi、Bi分别表示融合后图像红绿蓝三个矩阵中第i个像素的元素值；(9b)输出融合后图像。...

【技术特征摘要】
1.一种基于纹理信息重构的不同光照两帧图像融合方法，包括如下步骤：(1)输入待融合图像：分别输入待融合的一帧在闪光灯和一帧在无闪光灯条件下拍摄的图像；(2)变换待融合图像通道：(2a)将闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；(2b)将无闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；(3)重构亮度矩阵：按照下式，重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值：Yi′＝max(YNFi,YFi)其中，Yi′表示无闪光灯条件下拍摄的一帧图像构建后亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素点的序号，max(·)表示取较大值操作，YNFi表示在无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值，YFi表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值；(4)采用加权最小二乘自适应滤波器，分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波；(5)分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值；(6)重构纹理信息矩阵：按照下式，重新构建待融合图像纹理信息矩阵中第i个像素的纹理值：Di＝max(DAi,DFi)其中，Di表示构建后纹理信息矩阵中第i个像素的纹理值，i表示待融合图像中像素的序号，max(·)表示取较大值操作，DAi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，DFi表示闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值；(7)按照下式，对待融合图像进行融合：Ei＝Di×Yi′；Fi＝M′i×Z′i；Gi＝N′i×W′i；其中，Ei表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素的序号，Di表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，Yi′表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值，Fi表示融合后的图像红色差通道红色差矩阵中第i个像素的色差值，M′i表示闪光灯条件下拍摄的一帧图像红色差通道纹理信息矩阵中第i个像素的纹理值，Z′i表示无闪光灯条件下拍摄的一帧图像红色差通道红色差矩阵中第i个像素的色差值，Gi表示融合后的图像蓝色差通道蓝色差矩阵中第i个像素的色差值，N′i表示闪光灯条件下拍摄的一帧图像蓝色差通道纹理信息矩阵中第i个像素的纹理值，Wi′表示无闪光灯条件下拍摄的一帧图像蓝色差通道蓝色差矩阵中第i个像素的色差值；(8)矩阵变换：将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵；(9)输出融合后图像：(9a)按照下式，计算融合后图像第i个像素的像素值：Ii＝[Ri,Gi,Bi]其中，Ii表示融合后图像第i个像素的像素值，i表示待融合图像中像素的序号，[·]表示矩阵元素做合并操作，Ri、Gi、Bi分别表示融合后图像红绿蓝三个矩阵中第i个像素的元素值；(9b)输出融合后图像。2.根据权利要求1所述的基于纹理信息重构的不同光照两帧图像融合方法，其特征在于：步骤(2a)中所述将闪光灯条件下拍摄的图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵的变换公式如下：YF＝0.2990×Rf+0.5870×Gf+0.1140×BfCbF＝-0.1687×Rf-0.3313×Gf+0.5000×Bf+128CrF＝-0.5000×Rf-0.4187×Gf-0.0813×Bf+128其中，YF、CbF、CrF表示变换后闪光灯条件下拍摄的一帧图像的亮度、红...

【专利技术属性】
技术研发人员：宋彬，王博，秦浩，蒋国良，陈鹏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61