基于快速BEMD和深度学习的图像融合方法技术

基于快速BEMD和深度学习的图像融合方法，属于图像处理技术领域。本发明专利技术使用快速BEMD对待融合图像进行多尺度分解得到频率从高到低的二维经验模态分解分量(Bidimensional Empirical Mode Component,BEMC)，对各分量分别进行融合，最后经过BEMD重构可获取融合结果图。利用深度学习可提取图像特征的特点，设计了一种基于深度学习的图像融合规则。实验表明基于该融合方法的融合结果图具有最佳的视觉效果，满足人眼的视觉感知。

Image Fusion Method Based on Fast BEMD and Deep Learning

【技术实现步骤摘要】
基于快速BEMD和深度学习的图像融合方法
本专利技术涉及图像处理
，特别是涉及基于快速BEMD和深度学习的图像融合方法。
技术介绍
图像融合的目的在于利用信息分析手段在特定条件下对不同时间或者空间的图像进行处理，综合多源图像的互补信息，剔除冗余信息，从而得到满足特定应用场景的图像。近年来，图像融合的理论研究迅速发展，图像融合的方法主要分为六大类，分别为多尺度分析法、神经网络法、稀疏表示法、子空间法、图像显著法和混合法。基于多尺度分析的图像融合方法假设图像可分解为多个不同空间尺度的子图像，对子图像分别进行融合。基于神经网络的图像融合方法模仿人脑处理神经信息的感知行为，具有良好的容错性和抗噪能力。基于稀疏表示的图像融合方法假设图像可由一组超完备基线性表示，根据稀疏系数和完备基进行融合。基于子空间的图像融合方法将图像从高维空间映射到低维空间或者子空间，在子空间内进行融合，可降低存储空间和提高处理速度。基于图像显著性的融合方法利用人眼对于物体或者局部明显区域敏感的特点，可保证显著的目标或者区域在融合结果图中的完整性。混合图像融合方法结合了各个方法的优点，进一步改善融合效果。基于多尺度分析的图像融合算法是研究的热点，图像多尺度分析的方法主要有金字塔变换、小波变换、二维经验模态分解等等。金字塔分解的各尺度之间存在相关性，使得图像融合效果不理想。小波变换是一种正交分解的方法，可提取图像低频信息和水平、垂直、对角三个方向的高频信息，小波变换具有方向性和时频特征，小波变换的关键在于小波函数的选取和预先定义的滤波器，不同的应用场景需要选取不同的小波函数和滤波器，没有统一的标准进行相关选择。同时小波变换存在信号能量泄漏，在边缘处的能量和频率会出现较严重的失真，在图像融合中会出现边缘效应。二维经验模态分解是由一种对图像信号进行自适应多尺度分析的方法，适用于处理非线性非平稳的图像信号。BEMD根据图像信号特征对图像进行自适应分解得到一系列的高频分量和低频分量，各分量之间具有较强的局部正交性，能够有效地表示图像的特征信息。传统的BEMD算法存在计算量大、分解效率低下等弊端，快速BEMD算法不仅运行速度快，而且也能够获取较好的图像分解效果，可应用于图像融合。
技术实现思路
为了解决上述存在的问题，本专利技术提供基于快速BEMD和深度学习的图像融合方法，使用快速BEMD对待融合的两幅图像进行多尺度分解，可获取多个二维经验模态分解分量。再对两幅图像相同尺度的分量采用基于深度学习的图像融合规则进行融合，综合进行BEMD重构可得到融合结果图。采用该融合方法可获得满足人眼视觉系统的的融合结果图，便于进一步的图像处理，为达此目的，本专利技术提供基于快速BEMD和深度学习的图像融合方法，所述基于快速BEMD和深度学习的图像融合方法的待融合图像的多尺度分析和图像的融合规则，方法包括如下步骤：(1)先采用快速BEMD算法对待融合图像进行多尺度分解，获取一系列频率从高到低的二维经验模态分解分量；(2)再利用基于深度学习的图像融合规则，对相应的二维本征模态分解分量进行融合。作为本专利技术进一步改进，所述步骤(1)具体步骤如下，先采用快速BEMD算法对待融合图像进行多尺度分解，可获取二维经验模态分解分量，快速BEMD算法的具体步骤为：步骤2.1：快速BEMD算法对图像进行分解可生成频率从高到底的二维本征模态分量和一个残余分量，二维本征模态分量和残余分量合称为二维经验模态分解分量(BEMC)，不同的BIMF反映了图像在不同尺度上的细节信息，残余分量表示图像的轮廓信息，假设源图像为f(x,y)，BIMFi(x,y)表示第i个二维本征模态函数，R(x,y)表示残余分量，BEMCi(x,y)表示图像的第i个经验模态分解分量，初始化i＝1，hi(x,y)表示快速BEMD第i次分解的中间量，h1(x,y)＝f(x,y)；步骤2.2：快速BEMD采用基于顺序统计滤波器即均值滤波器的包络曲面估计法，通过窗函数法获得hi(x,y)的局部极值大点集mmax(x,y)和局部极小值点集mmin(x,y)，局部极大值点严格大于其邻域点，局部极小值点严格小于其邻域点，根据局部极值点集分别确定邻域极大距离矩阵dadj-max和邻域极小距离矩阵dadj-min，由dadj-max、dadj-min确定顺序统计滤波器的窗长wen-g，窗长有四种选择方式，分别定义为Type-1、Type-2、Type-3、Type-4，如下所示：wen-g＝d1＝min{min{dadj-max},min{dadj-min}}wen-g＝d2＝max{min{dadj-max},min{dadj-min}}wen-g＝d3＝min{max{dadj-max},max{dadj-min}}wen-g＝d4＝max{max{dadj-max},max{dadj-min}}在快速BEMD分解图像的过程中，空间中极值点的距离越来越大，即空间域中的分辨率越来越大，顺序统计滤波器的窗长会越来越长，曲面拟合会引入更多的误差。利用自适应领域限制法，根据Type4的窗口宽度w，对其进行自适应缩小调整之后获得wen，将wen作为顺序统计滤波器窗长，wen计算公式如下所示：wen＝w/i步骤2.3：采用均值滤波器生成hi(x,y)的均值包络曲面，hi(x,y)表示快速BEMD第i次分解过程的中间量，如下式所示：Zxy表示以点(x,y)为中心，大小为wen×wen的方形区域，emean-i在点(x,y)的值表示hi在Zxy区域内的均值。根据均值包络曲面，计算第i个BIMF：BIMFi(x,y)＝hi(x,y)-emean-i(x,y)计算新的中间变量hi+1(x,y)＝hi(x,y)-BIMFi(x,y)，如果hi+1(x,y)中的极值点个数小于下限值或分解尺度达到了BIMF要求的上限，那么R(x,y)＝hi(x,y)，结束分解过程；否则i＝i+1，返回步骤2.2。步骤2.4图像f(x,y)经过I次分解，最终分解结果为：作为本专利技术进一步改进，所述步骤(2)具体步骤如下，利用基于深度学习的图像融合规则，对各分量分别进行融合，设计方法为：采用在ImageNet数据集上预训练的VGG-19作为特征提取网络，VGG-19包含有19层卷积/全连接层，每层输出均可作为输入图像的特征图，根据不同类型的特征确定图像的融合权重，突出图像中的显著信息，可获得更可靠的融合结果，选用Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层输出的特征图确定候选融合权重；假设输入图像为BEMCi,表示第i个二维经验模态分解成分，特征图为Fik,c，表示VGG-19第k个选定层输出的第c个特征图，k∈{1,2,3,4}，分别表示Relu1_2层、Relu2_2层、Relu3_2层、Relu4_2层，c∈{1,2,...,C}，C表示选定层的特征图总数，C＝64×2k-1。每层输出的多张特征图，采用L1范数为处理多张特征图生成一张具有代表性的特征图，实现方法如下式所示：Fik(x,y)＝||Vik，1:C(x,y)||1Vik，1:C(x,y)表示第k个选定层输出的所有特征图在坐标点(x,y)处的值组成的C维向量，Fik为第k个选定层具有代表性的本文档来自技高网...

【技术保护点】
1.基于快速BEMD和深度学习的图像融合方法，其特征在于：所述基于快速BEMD和深度学习的图像融合方法的待融合图像的多尺度分析和图像的融合规则，方法包括如下步骤：(1)先采用快速BEMD算法对待融合图像进行多尺度分解，获取一系列频率从高到低的二维经验模态分解分量；(2)再利用基于深度学习的图像融合规则，对相应的二维本征模态分解分量进行融合。

【技术特征摘要】
1.基于快速BEMD和深度学习的图像融合方法，其特征在于：所述基于快速BEMD和深度学习的图像融合方法的待融合图像的多尺度分析和图像的融合规则，方法包括如下步骤：(1)先采用快速BEMD算法对待融合图像进行多尺度分解，获取一系列频率从高到低的二维经验模态分解分量；(2)再利用基于深度学习的图像融合规则，对相应的二维本征模态分解分量进行融合。2.根据权利要求1所述的基于快速BEMD和深度学习的图像融合方法，其特征在于：所述步骤(1)具体步骤如下，先采用快速BEMD算法对待融合图像进行多尺度分解，可获取二维经验模态分解分量，快速BEMD算法的具体步骤为：步骤2.1：快速BEMD算法对图像进行分解可生成频率从高到底的二维本征模态分量和一个残余分量，二维本征模态分量和残余分量合称为二维经验模态分解分量(BEMC)，不同的BIMF反映了图像在不同尺度上的细节信息，残余分量表示图像的轮廓信息，假设源图像为f(x,y)，BIMFi(x,y)表示第i个二维本征模态函数，R(x,y)表示残余分量，BEMCi(x,y)表示图像的第i个经验模态分解分量，初始化i＝1，hi(x,y)表示快速BEMD第i次分解的中间量，h1(x,y)＝f(x,y)；步骤2.2：快速BEMD采用基于顺序统计滤波器即均值滤波器的包络曲面估计法，通过窗函数法获得hi(x,y)的局部极值大点集mmax(x,y)和局部极小值点集mmin(x,y)，局部极大值点严格大于其邻域点，局部极小值点严格小于其邻域点，根据局部极值点集分别确定邻域极大距离矩阵dadj-max和邻域极小距离矩阵dadj-min，由dadj-max、dadj-min确定顺序统计滤波器的窗长wen-g，窗长有四种选择方式，分别定义为Type-1、Type-2、Type-3、Type-4，如下所示：wen-g＝d1＝min{min{dadj-max},min{dadj-min}}wen-g＝d2＝max{min{dadj-max},min{dadj-min}}wen-g＝d3＝min{max{dadj-max},max{dadj-min}}wen-g＝d4＝max{max{dadj-max},max{dadj-min}}在快速BEMD分解图像的过程中，空间中极值点的距离越来越大，即空间域中的分辨率越来越大，顺序统计滤波器的窗长会越来越长，曲面拟合会引入更多的误差。利用自适应领域限制法，根据Type4的窗口宽度w，对其进行自适应缩小调整之后获得wen，将wen作为顺序统计滤波器窗长，wen计算公式如下所示：wen＝w/i步骤2.3：采用均值滤波器生成hi(x,y...

【专利技术属性】
技术研发人员：夏亦犁，朱莹，裴文江，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32