【技术实现步骤摘要】
本专利技术涉及图像融合领域，尤其涉及一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法。
技术介绍
1、科技发展也带动了传感器技术的飞速发展，不同种类的传感器使得信息内容和形式越来越多样化和复杂化；传统的信息处理方法已经不能满当前需求，正是在这种需求之下诞生了多传感器信息融合技术；图像融合可以将多幅源图像的信息综合在一幅图像中，融合图像的数据信息比单一图像更加丰富，为进一步图像信息的处理和分析提供了更加全面的数据信息；因此，图像融合技术具有非常广阔的应用前景，由于光学镜头景深的限制，很难拍摄到同一场景下所有物体都聚焦的图像，从而产生部分聚焦图像；部分聚焦图像的特点是图像中部分物体是清晰的，而部分物体的模糊的，因此部分聚焦图像的信息并不全面，影响人眼的观察和分析；为了获得更加准确地描述场景细节的图像，可根据图像融合技术信息融合的特点对同一场景下的多幅多聚焦图像进行融合处理，同时还可以减少冗余信息的存储，降低对存储设备的要求，对后续的应用更加有利；因此，多聚焦图像具有互补特性，利用这一特性对多聚焦图像进行融合处理，得到的融合图像具有更丰富的细节信息和更高的可靠性，有效弥补单一图像信息量不足的问题，并增强了人们对图像信息的识别和分析能力；目前，多聚焦图像融合技术被广泛应用于显微成像、精密制造等研究中；所以，对多聚焦融合处理的深入研究是具有实际意义和应用价值的，在对多聚焦图像进行图像融合，以获得更加清晰、信息更加全面的图像时，采用基于空间域和基于变换域的多聚焦图像融合方法，普遍存在源图像的特征不能精准提取、聚焦边缘模糊、伪影和块效应等问
技术实现思路
1、为了克服在对多聚焦图像进行图像融合，以获得更加清晰、信息更加全面的图像时，采用基于空间域和基于变换域的多聚焦图像融合方法，普遍存在源图像的特征不能精准提取、聚焦边缘模糊、伪影和块效应等问题的问题。
2、本专利技术的技术方案为：一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，包括有以下步骤：
3、s11：首先输入需要进行融合处理的一组多聚焦图像，并对这组多聚焦图像进行csr分解；
4、s12：再利用nsst对基础层做进一步多尺度分解，将其分解为低频分量和高频分量；
5、s13：对低频子带采用基于cnn的融合策略进行融合；
6、s14：对高频子带采用基于msmg结合pcnn的融合策略进行融合；
7、s15：对融合后的低频子带和高频子带进行nsst逆变换，得到融合后的基础层ifb；
8、s16：对细节层采用基于csr的融合策略进行融合；
9、s17：对融合后的基础层和细节层进行csr重构，得到最终的融合图像。
10、优选的，首先多聚焦图像进行csr分解，得到基础层和细节层，其次对基础层进行非下采样剪切波变换(nsst)，得到低频子带和高频子带，对低频子带采用基于卷积神经网络(cnn)与区域能量匹配度相结合的融合策略，cnn具有强大的特征学习能力，可以自我学习源图像的基本特征，并且低频子带携带图像的大部分能量，结合区域能量匹配度可以很好保留源图像的信息；高频子带采用基于脉冲耦合神经网络(pcnn)和多尺度形态学梯度(msmg)的融合策略(简称为：msmg-pcnn)；高频子带采用基于msmg-pcnn的融合策略，将多尺度形态学梯度替代传统的固定链接强度值，多尺度形态学梯度可以很好地反映图像的边缘特征，实现自适应的调节链接强度值，从而可以捕捉高频子带的细节信息，在一定程度上实现了pcnn的自适应性；然后细节层采用基于csr的融合策略，可以很好的保留源图像的细节信息；最后对融合后的基础层和细节层进行csr重构，得到最终的融合图像。
11、作为优选，在步骤s11中输入的需要进行融合处理的一组多聚焦图像为彩色图像或灰度图像；其中，若输入的需要进行融合处理的一组多聚焦图像为彩色图像，则对单通道数据进行融合处理；若输入的需要进行融合处理的一组多聚焦图像为彩色图像，则对彩色图像的r、g、b三个通道的数据均进行融合处理。
12、作为优选，在步骤s11中，对输入的需要进行融合处理的一组多聚焦图像进行csr分解时，将一张图像分解为一组基础层分量iab和ibb和一组细节层分量iad和ibd。
13、作为优选，在步骤s12中，在利用nsst对基础层做进一步多尺度分解时，一张图像分解为一组低频分量iabl和ibbl以及n组大小相同的高频分量和其中，n为分解的层数。
14、优选的，对基础层进行nsst分解，可以进一步细化基础层数据，避免直接对基础层融合过程中造成数据的丢失，基础层经过nsst分解后得到1个低频子带(iabl和ibbl)和n个高频子带(和)。
15、作为优选，在对低频子带采用基于cnn的融合策略进行融合时，采用基于cnn的区域能量匹配度的选择融合策略进行融合，其中，包括以下步骤：
16、s21：将iabl和ibbl作为卷积神经网络的两个输入分支，得到低频融合的权重图ω，其中，原理公式为：
17、w＝cnn(iabl,ibbl)；
18、s22：计算iabl和ibbl的区域能量，区域大小为3×3，其中，原理公式为：
19、
20、s23：计算iabl和ibbl的匹配相似度m，其中，原理公式为：
21、
22、s24：设置阈值t＝0.6，当m≥t时，采用加权的融合策略；当m<t时，根据区域能量采用最大值融合策略。
23、作为优选，低频子带的融合策略的原理公式为：
24、
25、优选的，低频部分包含一张图像的绝大多数信息，因此对低频部分融合规则的选择至关重要；通过设置对于经过nsst分解的低频分量采用基于cnn的区域能量匹配度的选择融合策略，低频子带采用基于cnn与区域能量匹配度相结合的融合策略，cnn具有强大的特征学习能力，可以自我学习源图像的基本特征，并且低频子带携带图像的大部分能量，结合区域能量匹配度可以很好保留源图像的信息
26、作为优选，在对高频子带采用基于msmg结合pcnn的融合策略进行融合时，包括以下步骤：
27、s31：根据多尺度形态学梯度，分别计算和的梯度信息mga和mgb，其中，计算原理公式为：
28、
29、s32：把和mgb作为双通道pcnn的链接强度和其中，计算原理公式为：
30、
31、s33：别计算和的累积触发时间，将其作为选择最终高频子带系数的依据，其中，计算原理公式为：
32、
33、s34：根据pcnn的累积触发时间决定高频子带的最终融合，其中，计算原理公式为：
34、
35、优选的，高频分量主要包含图像的细节信息，将基于多尺度形态梯度与pcnn相结合的融合策略应用于基础层的高频子带，可以很好的提取边缘的信息，避免在融合过程中会丢失边缘细节信息。...
【技术保护点】
1.一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法；其特征在于：包括有以下步骤：
2.根据权利要求1所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在步骤S11中输入的需要进行融合处理的一组多聚焦图像为彩色图像或灰度图像；其中，若输入的需要进行融合处理的一组多聚焦图像为彩色图像，则对单通道数据进行融合处理；若输入的需要进行融合处理的一组多聚焦图像为彩色图像，则对彩色图像的R、G、B三个通道的数据均进行融合处理。
3.根据权利要求2所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在步骤S11中，对输入的需要进行融合处理的一组多聚焦图像进行CSR分解时，将一张图像分解为一组基础层分量IAb和IBb和一组细节层分量IAd和IBd。
4.根据权利要求3所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在步骤S12中，在利用NSST对基础层做进一步多尺度分解时，一张图像分解为一组低频分量IAbl和IBbl以及N组大小相同的高频分量和其中，N为分解的层数。
5.根据权利要求4所
6.根据权利要求5所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：低频子带的融合策略的原理公式为：
7.根据权利要求6所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在对高频子带采用基于MSMG结合PCNN的融合策略进行融合时，包括以下步骤：
8.根据权利要求7所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在对细节层采用基于CSR的融合策略进行融合时，包括以下步骤：在对融合后的低频子带和高频子带进行NSST逆变换，得到融合后的基础层时，对融合后的低频子带IFbl和和高频子带进行NSST重构，得到融合后的基础层，其中，计算原理公式为：
9.根据权利要求8所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在对细节层采用基于CSR的融合策略进行融合时，包括以下步骤：
10.根据权利要求9所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在融合后的基础层和细节层进行CSR重构，得到最终的融合图像时，原理公式为：
...【技术特征摘要】
1.一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法；其特征在于：包括有以下步骤：
2.根据权利要求1所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在步骤s11中输入的需要进行融合处理的一组多聚焦图像为彩色图像或灰度图像；其中，若输入的需要进行融合处理的一组多聚焦图像为彩色图像，则对单通道数据进行融合处理；若输入的需要进行融合处理的一组多聚焦图像为彩色图像，则对彩色图像的r、g、b三个通道的数据均进行融合处理。
3.根据权利要求2所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在步骤s11中，对输入的需要进行融合处理的一组多聚焦图像进行csr分解时，将一张图像分解为一组基础层分量iab和ibb和一组细节层分量iad和ibd。
4.根据权利要求3所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在步骤s12中，在利用nsst对基础层做进一步多尺度分解时，一张图像分解为一组低频分量iabl和ibbl以及n组大小相同的高频分量和其中，n为分解的层数。
5.根据权利要求4所述的一种基于卷积稀疏表示和神经网络的多聚焦图像融合方法，其特征在于：在对低频子带采用基于c...
【专利技术属性】
技术研发人员：董行，金明，石平霞，
申请(专利权)人：南京卓宇智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。