基于反卷积神经网络的图像融合方法技术

本发明专利技术提出了一种基于反卷积神经网络的图像融合方法，用于解决现有变换域图像融合方法中存在的融合图像信息熵较低的技术问题。实现步骤为：设置反卷积神经网络；获取训练样本集；用训练样本集对反卷积神经网络进行训练；用训练好的反卷积神经网络推断待融合图像的特征图；对待融合图像的特征图进行融合；用融合后的特征图和训练好的反卷积神经网络中的滤波器进行卷积求和，获得融合图像。本发明专利技术可以灵活设置待融合图像的特征图的个数，提取到更有利于全面反映待融合图像信息的特征图，进而得到信息更丰富的融合图像，提高融合图像的信息熵，可应用于多聚焦和医学领域中图像的分析处理。

【技术实现步骤摘要】
基于反卷积神经网络的图像融合方法
本专利技术属于图像处理
，涉及一种图像融合方法，具体涉及一种基于反卷积神经网络的图像融合方法，可用于多聚焦、医学领域中图像的分析与处理。
技术介绍
反卷积神经网络是深度学习中的一种网络模型，它通过无监督的训练，能够用训练好的网络来推断输入图像的多个特征图，并且利用这些推断出的特征图和反卷积神经网络的滤波器可以实现对原图像的复原重构。图像融合是将来自多个传感器的包含不同信息的多幅图像按一定的融合规则进行综合，以得到一幅同时包含融合前多幅源图像的优点、内容更为丰富的融合图像的过程。图像融合技术可以综合多幅源图像的互补信息和冗余信息，克服单一传感器的缺点，降低对单一传感器的性能要求，降低了对原始图像质量和信息量的要求，增加了图像的信息量，在很大程度上提高了图像质量，目前在测绘、医学、工业产品检测等领域的应用十分广泛。目前实际应用中，对图像进行融合时使用的最多的方法是像素级图像融合方法。像素级图像融合方法分为空间域和变换域的两种融合方法，但空间域的融合方法只是在空间域对图像的像素进行简单运算，效果不及变换域的融合方法，变换域图像融合方法主要有基于多尺度变换的融合方法和基于稀疏表示的融合方法。基于多尺度变换的融合方法是将待融合图像和多尺度函数进行卷积，通过不断改变多尺度函数的参数，将待融合图像在不同尺度层次进行分解，得到不同层次的子图像，然后根据不同子图像的特征，采用相应的融合规则将子图像进行融合，最后再将这些融合后的子图像通过多尺度反变换，得到最终的融合图像。由于多尺度变换方法得到子图像的信息和原始图像相比逐渐减少，细节信息逐渐被平滑掉，使得融合得到的图像不能完全反映原始图像的全部内容，因此融合后的图像包含的信息较少，融合结果信息熵较低。基于稀疏表示的融合方法是通过一个给定的过完备字典得到原图像变换后的稀疏系数，然后将这些稀疏系数融合得到融合系数，再用融合系数与过完字典进行重构，得到最后的融合图像。这种方法是建立在图像空间足够大的条件下，同时要求选择一个过完备字典，使得任意一幅同类的图像都可以通过此类的图像子空间进行线性表示，并且要求图像要大致中心一致对齐。在实际应用中，通常难以选择一个合适的过完备字典，使得融合得到的图像缺失了部分有效的信息，融合结果的信息熵较低。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提出了一种基于反卷积神经网络的图像融合方法，用于解决现有变换域图像融合方法中存在的融合图像信息熵较低的技术问题。本专利技术的技术思路是，首先用训练样本集对反卷积神经网络进行训练，得到包含一组滤波器的训练好的反卷积神经网络，然后用训练好的反卷积神经网络对两幅待融合图像进行推断，得到两幅待融合图像各自对应的特征图，接着将待融合图像的特征图进行融合，得到融合后的特征图，最后用融合后的特征图和反卷积神经网络中的滤波器进行卷积，将卷积结果求和，得到融合图像。具体包括有如下步骤：(1)设置反卷积神经网络：设置反卷积神经网络中的特征图个数和滤波器个数均为K，并将K个滤波器标记为{f1,f2,...,fK}，K≥1；(2)获取训练样本集：选择与待融合图像类型和大小相同的M幅图像作为训练样本集，M≥2；(3)对反卷积神经网络进行训练：设置反卷积神经网络的训练总循环轮数为E，并通过训练样本集对反卷积神经网络进行E轮训练，得到训练好的反卷积神经网络；(4)推断待融合图像的特征图：将待融合图像A和待融合图像B分别输入到训练好的反卷积神经网络，并采用ISTA方法，分别推断待融合图像A和待融合图像B的特征图，得到待融合图像A的K个特征图{A1,A2,...,AK}和待融合图像B的K个特征图{B1,B2,...,BK}；(5)对特征图{A1,A2,...,AK}和特征图{B1,B2,...,BK}进行融合：对特征图{A1,A2,...,AK}中的特征图Ak与特征图{B1,B2,...,BK}中对应标号的特征图Bk进行融合，得到K个融合特征图{F1,F2,...,FK}，其中，k＝1,2,...,K；(6)获取融合图像：将融合特征图{F1,F2,...,FK}中的特征图Ft与反卷积神经网络的滤波器{f1,f2,...,fK}中对应标号的滤波器ft进行卷积，并对K个卷积结果进行相加，得到融合图像F，其中t＝1,2,...,K。本专利技术与现有的技术相比，具有以下优点：本专利技术在获取待融合图像的特征图时，是通过训练好的反卷积神经网络推断实现的，可以灵活设置特征图的个数，得到多个反映待融合图像信息的特征图，避免了现有的变换域图像方法在对待融合图像变换后，得到的子图像难以全面反映待融合图像特征的缺点，能够实现对待融合图像更好的融合，得到包含更丰富的信息的融合图像，提高融合图像的信息熵，可用于多聚焦和医学图像的融合。附图说明图1是本专利技术的实现流程图；图2是本专利技术实施例中的训练好的反卷积神经网络中的滤波器；图3是本专利技术实施例中的两幅待融合图像。图4是本专利技术实施例中的两幅待融合图像的特征图。具体实施方式下面结合附图和具体实施例，对本专利技术作进一步详细描述。参照图1，基于反卷积神经网络的图像融合方法，包括如下步骤：步骤1，设置反卷积神经网络：设置反卷积神经网络中的特征图个数和滤波器个数均为6，并将6个滤波器标记为{f1,f2,...,f6}；步骤2，获取训练样本集：选择与待融合图像类型和大小相同的20幅图像作为训练样本集，M≥2；步骤3，对反卷积神经网络进行训练：步骤3a，设置训练反卷积神经网络的训练总循环轮数为5；步骤3b，对反卷积神经网络的6个滤波器的每个像素赋一个随机值，实现对反卷积神经网络的初始化；步骤3c，从训练样本集中每次随机选取一幅图像y，将y输入到反卷积神经网络中，采用ISTA方法推断y对应的特征图，具体方法是，先对y的6个特征图{z1,z2,...,z6}进行随机初始化，然后将以下过程进行5次迭代循环：用y的特征图zk和反卷积神经网络中的滤波器fk进行卷积，其中，k＝1,2,...,6，得到6个卷积结果，然后将这6个卷积结果相加，得到输入图像y的近似重构图像用近似重构图像和输入图像y构造误差函数，接着对误差函数关于特征图求梯度g，再根据zk＝zk-λβg的计算方法更新y的特征图zk,其中λ是一个权重系数，本实施例中λ取100，β是ISTA方法的迭代步长，本实施例中β取10。当训练集中的20幅图像都选择完，并对各幅图像推断它们各自对应的特征图后，执行步骤3d。步骤3d，采用梯度下降法对反卷积神经网络中的6个滤波器进行更新，并循环重复步骤3c～3d，直到循环轮数达到步骤3a中设置的总循环轮数5，得到训练好的反卷积神经网络。参照图2，训练好的反卷积神经网络中包含6个滤波器{f1,f2,...,f6}，这6个滤波器的内容各不相同，因此对于输入到训练好的反卷积神经网络中的图像，推断它的特征图时，可以得到反映输入图像不同方面的信息的特征图。步骤4，推断待融合图像的特征图：参照图3，是本实施例中的两幅待融合图像，其中图3(a)是一幅左聚焦图像，记为待融合图像A，图3(b)是一幅右聚焦图像，记为待融合图像B，将它们分别输入到训练好的反卷积神经网络中，并采用ISTA方法推断输入的待融合图像对应的特征图，具体过本文档来自技高网...

【技术保护点】
1.一种基于反卷积神经网络的图像融合方法，其特征在于，包括如下步骤：(1)设置反卷积神经网络：设置反卷积神经网络中的特征图个数和滤波器个数均为K，并将K个滤波器标记为{f1,f2,...,fK}，K≥1；(2)获取训练样本集：选择与待融合图像类型和大小相同的M幅图像作为训练样本集，M≥2；(3)对反卷积神经网络进行训练：设置反卷积神经网络的训练总循环轮数为E，并通过训练样本集对反卷积神经网络进行E轮训练，得到训练好的反卷积神经网络；(4)推断待融合图像的特征图：将待融合图像A和待融合图像B分别输入到训练好的反卷积神经网络，并采用ISTA方法，分别推断待融合图像A和待融合图像B的特征图，得到待融合图像A的K个特征图{A1,A2,...,AK}和待融合图像B的K个特征图{B1,B2,...,BK}；(5)对特征图{A1,A2,...,AK}和特征图{B1,B2,...,BK}进行融合：对特征图{A1,A2,...,AK}中的特征图Ak与特征图{B1,B2,...,BK}中对应标号的特征图Bk进行融合，得到K个融合特征图{F1,F2,...,FK}，其中，k＝1,2,...,K；(6)获取融合图像：将融合特征图{F1,F2,...,FK}中的特征图Ft与反卷积神经网络的滤波器{f1,f2,...,fK}中对应标号的滤波器ft进行卷积，并对K个卷积结果进行相加，得到融合图像F，其中t＝1,2,...,K。...

【技术特征摘要】
1.一种基于反卷积神经网络的图像融合方法，其特征在于，包括如下步骤：(1)设置反卷积神经网络：设置反卷积神经网络中的特征图个数和滤波器个数均为K，并将K个滤波器标记为{f1,f2,...,fK}，K≥1；(2)获取训练样本集：选择与待融合图像类型和大小相同的M幅图像作为训练样本集，M≥2；(3)对反卷积神经网络进行训练：设置反卷积神经网络的训练总循环轮数为E，并通过训练样本集对反卷积神经网络进行E轮训练，得到训练好的反卷积神经网络；(4)推断待融合图像的特征图：将待融合图像A和待融合图像B分别输入到训练好的反卷积神经网络，并采用ISTA方法，分别推断待融合图像A和待融合图像B的特征图，得到待融合图像A的K个特征图{A1,A2,...,AK}和待融合图像B的K个特征图{B1,B2,...,BK}；(5)对特征图{A1,A2,...,AK}和特征图{B1,B2,...,BK}进行融合：对特征图{A1,A2,...,AK}中的特征图Ak与特征图{B1,B2,...,BK}中对应标号的特征图Bk进行融合，得到K个融合特征图{F1,F2,...,FK}，其中，k＝1,2,...,K；(6)获取融合图像：将融合特征图{F1,F2,...,FK}中的特征图Ft与反卷积神经网络的滤波器{f1,f2,...,fK}中对应标号的滤波器ft进行卷积，并对K个卷积结果进行相加，得到融合图像F，其中t＝1,...

【专利技术属性】
技术研发人员：那彦，刘强强，王强军，刘赫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61