一种基于自学习神经单元的图像融合方法技术

本发明专利技术公开了一种基于自学习神经单元的图像融合方法，属于图像融合领域。其实现步骤是：1)将融合图像进入Mask R‑CNN网络进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息；2)搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取，融合，重构；3)对融合层的卷积权重进行稀疏赋值，加入最小/最大范数权值约束与L1正则项；4)分别计算融合图像与源图像的整体结构相似度SSIM，区域结构相似度SSIM与互信息MI；5)训练神经网络，调整参数。本发明专利技术能通过学习网络参数以最佳方式联合获得水平测量与权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。

An Image Fusion Method Based on Self-learning Neural Unit

【技术实现步骤摘要】
一种基于自学习神经单元的图像融合方法
本专利技术属于图像融合领域，涉及一种基于自学习神经单元的图像融合方法，在军事，遥感，以及计算机等领域中有广泛地应用。
技术介绍
随着图像融合技术的迅速发展以及在军用、遥感等市场中的广泛应用，多源图像融合技术受到研发人员的重视。在过去几年内，各种图像融合方法被提出。传统的基于多尺度变换MST融合方法在变换域上以多尺度的方式对图像进行处理，具体包含求解源图像对应的变换域，按照人工设计的融合规则融合图像，逆变换得最终图像。融合方法有基于拉普拉斯变换LAP(LaplaceTransform)的融合方法，基于非下采样Contourlet变换和稀疏表示的融合算法以及基于离散小波变换DWT(DiscreteWaveletTransform)的融合算法等。这些融合算法采用分解系数的绝对值来计算活动测量图，接着采用max或加权平均规则融合。由于现实环境的复杂性与实际需求的多样性，如噪声、误差等，权重分配具备较大的限制性与不可适应性。人工设计的融合规则通常面临特征判据和融合规格的设计的难题，即基于哪些特征作为图像中活动测度的判别依据，并且根据这些活动测度的判别设计融合规则实现多源图像的有效融合。近年来，深度学习技术凭其强大的特征提取与数据建模能力，在计算机视觉，图像处理和模式识别领域获得显著的突破。本专利技术提出了新的融合神经单元，利用损失函数去驱动融合神经单元的自适应地进行权重的合理分配，获得了较优的融合结果，提高了融合图像的质量。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提出一种用于图像融合的自学习神经单元，以解决活动水平测量和融合规则设计的问题，通过损失函数驱动融合神经单元以最佳方式联合获得活动水平测量和权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。本专利技术解决其技术问题所采用的技术方案如下：一种基于自学习神经单元的图像融合方法，首先将待融合的红外与可见光图像进入MaskR-CNN进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息。然后搭建自编码网络，稀疏赋值融合层权重，加入最小/最大约束与L1正则项，再计算融合图像与源图像的结构相似度SSIM,互信息MI损失函数，最后训练神经网络，调整参数；具体包括以下步骤：步骤一、将待融合的红外图像与可见光图像输入MaskR-CNN网络进行处理，得到相应的掩码图像、掩码矩阵、类别信息和得分信息，并获取所需强化的掩码区域；步骤二、搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取、融合、重构；步骤三、采用基于编码层特征的卷积融合规则进行融合；3.1)初始化融合层的卷积权重，并进行稀疏赋值；3.2)采用最小/最大范数权值约束对融合层权重进行约束；3.3)采用L1正则项对融合层权重进行惩罚；步骤四、采用结构相似度SSIM、互信息MI损失函数迭代网络并优化参数；4.1)计算融合图像与源图像的结构相似度SSIM；4.2)计算MaskR-CNN掩码区域映射于融合图像与源图像的结构相似度SSIM；4.3)计算融合图像与源图像的互信息MI；步骤五、训练神经网络，调整参数，获取最终的融合图像。进一步的，所述步骤二中，所述的自编码网络包括编码层融合层和解码层。编码层由经典卷积神经网络VGG19的前4层组成，包括三个卷积层和一个最大池化层，权重初始化使用经典卷积神经网络VGG19的预定义权重。融合层包括一个Concatenate层与一个1*1的卷积层。解码层是编码层的镜面映射，包含三个卷积层和一个上采样层，最后接一个卷积层输出。进一步的，所述步骤3.1)的具体过程如下：a.根据编码层最后一个卷积层获取的结果，融合层的Concatenate层将红外与可见光的结果拼接，后接1*1的卷积层。b.将1*1卷积层的第k个滤波器通道的第I个与I+p个权重和初始化为，其中，I,k＝0，1，2…d，p＝D-1-d，D为每个滤波器通道的1*1滤波器数量；进一步的，所述步骤3.2)的具体过程为：根据红外图像与可见光图像融合中适用的均值融合规则，两张图像的融合系数之和需要为1。由于CNN网络训练中，采用relu激活函数，易出现其中k为卷积后的通道数，j为D个1*1滤波器的序号。因此我们对于D个1*1进行最小/最大范数权值约束。首先，计算第k个通道D个1*1卷积层权重的和接着将Sumw截断至(min，max)范围内：其中，min为输入权值的最小范数，范围为(-1.0,1.0)，max为输入权值的最大范数，范围为(-1.0,1.0)；j表示滤波器的序号，j＝0,1,2…D-1；然后计算权值在(min,max)范围内的的缩放区域。其中rate为强制执行约束的比例，范围为[0,1]，严格执行约束，将权值重新调整至rate*Sumarea+(1-rate)*Sumw。如果rate<1.0意味权值将在每一步重新调整以缓慢移动到所需间隔内的值。epsilon是模糊因素，范围为(0.0,1.0)，避免分母为0，网络迭代为NAN。最后将第k个通道的每一个权值约束至Zoomarea范围，并依次对每个通道执行此操作。进一步的，所述步骤3.3)的具体过程为：正则化是结构风险最小化的一种策略实现，能够有效降低过拟合，使权重分布较为离散。1*1卷积层的正则项为：其中，R为正则项数值，初始值为0，l1为正则项系数，为第k个通道第j个1*1滤波器的数值，d为1*1卷积层滤波器通道数；损失函数实际上包含了两个方面：一个是训练样本误差。一个是正则项数值R。L1正则化是在原来的损失函数基础上加上正则项数值R。网络最终的损失函数为：L＝Ein+R其中Ein为网络训练样本误差，R为正则项数值。进一步的，所述步骤4.1)的具体过程为：首先分别计算源图像X，源图像Y，融合图像F的均值μx，μy，μf,方差σx,σy，σf其中，xi、yi、fi分别为源图像X，源图像Y，融合图像F的第i个像素的数值，N为图像X，Y，F的总像素数量；然后分别计算融合图像F与图像X、图像Y的结构相似度SSIM。其中，C1，C2为常数，通常取C1＝(K1*L)^2,C2＝(K2*L)^2,C3＝C2/2,一般地K1＝0.01,K2＝0.03,L＝255，避免网络训练时NAN。进一步的，所述步骤4.2)的具体过程为：首先根据步骤1选取的掩码区域Mq(q为掩码区域的序号)，将其分别映射至源图像与融合图像中，分别得到与接着与步骤4.1类似，对于与与计算相应的SSIM值。进一步的，所述步骤4.3)的具体过程为：首先计算源图像X,源图像Y，融合图像F的边际熵：其中P(x),P(y),P(f)分别表示源图像X，源图像Y，融合图像F的边际概率分布函数。接着分别计算源图像X,源图像Y与融合图像F的联合熵：其中，P(x，f)、P(y，f)分别表示源图像X，源图像Y与融合图像F的联合概率密度函数。然后分别计算源图像X,源图像Y与融合图像F的互信息MI：MI(X，F)＝H(X)+H(F)-H(X，F)MI(Y，F)＝H(Y)+H(F)-H(Y，F)最后计算最终的互信息MI：本专利技术的有益效果：1，本专利技术采用用于图像融合的自学习神经单元的方法，相比传统手工选取融合参数，人工设计融合规则，自学习神经单元能够自主学习融合参数，充分融合源图本文档来自技高网...

【技术保护点】
1.一种基于自学习神经单元的图像融合方法，其特征在于，具体包括以下步骤：步骤一、将待融合的红外图像与可见光图像输入Mask R‑CNN网络进行处理，得到相应的掩码图像、掩码矩阵、类别信息和得分信息，并获取所需强化的掩码区域；步骤二、搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取、融合、重构；步骤三、采用基于编码层特征的卷积融合规则进行融合；3.1)初始化融合层的卷积权重，并进行稀疏赋值；3.2)采用最小/最大范数权值约束对融合层权重进行约束；3.3)采用L1正则项对融合层权重进行惩罚；步骤四、采用结构相似度SSIM、互信息MI损失函数迭代网络并优化参数；4.1)计算融合图像与源图像的结构相似度SSIM；4.2)计算Mask R‑CNN掩码区域映射于融合图像与源图像的结构相似度SSIM；4.3)计算融合图像与源图像的互信息MI；步骤五、训练神经网络，调整参数，获取最终的融合图像。

【技术特征摘要】
1.一种基于自学习神经单元的图像融合方法，其特征在于，具体包括以下步骤：步骤一、将待融合的红外图像与可见光图像输入MaskR-CNN网络进行处理，得到相应的掩码图像、掩码矩阵、类别信息和得分信息，并获取所需强化的掩码区域；步骤二、搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取、融合、重构；步骤三、采用基于编码层特征的卷积融合规则进行融合；3.1)初始化融合层的卷积权重，并进行稀疏赋值；3.2)采用最小/最大范数权值约束对融合层权重进行约束；3.3)采用L1正则项对融合层权重进行惩罚；步骤四、采用结构相似度SSIM、互信息MI损失函数迭代网络并优化参数；4.1)计算融合图像与源图像的结构相似度SSIM；4.2)计算MaskR-CNN掩码区域映射于融合图像与源图像的结构相似度SSIM；4.3)计算融合图像与源图像的互信息MI；步骤五、训练神经网络，调整参数，获取最终的融合图像。2.根据权利要求1所述的一种基于自学习神经单元的图像融合方法，其特征在于，所述步骤3.1)的具体过程为：a.根据编码层最后一个卷积层获取的结果，融合层的Concatenate层将红外与可见光的结果拼接，后接1*1的卷积层；b.将1*1卷积层的第k个滤波器通道的第I个与I+p个权重和初始化，其中，I,k＝0，1，2…d，p＝D-1-d，D为每个滤波器通道的1*1滤波器数量；所述步骤3.2)的具体过程为：c.计算第k个通道D个1*1卷积层权重的和接着将Sumw截断至(min，max)范围内：其中，min为输入权值的最小范数，范围为(-1.0,1.0)，max为输入权值的最大范数，范围为(-1.0,1.0)；j表示滤波器的序号，j＝0,1,2…D-1；d.计算权值在(min,max)范围内的的缩放区域；其中，rate为强制执行约束的比例，范围为[0,1]，严格执行约束，将权值重新调整至rate*Sumarea+(1-rate)*Sumw；当rate<1.0，意味权值将在每一步重新调整以缓慢移动到所需间隔内的值；epsilon是模糊因素，范围为(0.0,1.0)，避免分母为0，网络迭代为NAN；e.将第k个通道的每一个权值约束至Zoomarea范围，并依次对每个通道执行相同的操作：所述步骤3.3)中：1*1卷积层的正则项为：其中R为正则项数值，初始值为0，l1为正则项系数，为第k个滤波器通道第j个1*1滤波器的数值，d为1*1卷积层滤波器通道数；损失函数包括了两个方面：一个是网络训练样本误差Ein；一个是正则项数值R；L1正则化是在原来的损失函数基础上加上正则项数值R；自编码网络最终的损失函数为：L＝Ein+R。3.根据权利要求1或2所述的一种基于自学习神经单元的图像融合方法，其特征在于，所述步骤4.1)的具体过程为：A)分别计算源图像X，源图像Y，融合图像F的均值μx，μy，μf,方差σx,σy，σf；其中，，，xi、yi、fi分...

【专利技术属性】
技术研发人员：罗晓清，张战成，刘子闻，张宝成，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32