基于改进生成对抗网络的多聚焦图像融合算法制造技术

本发明专利技术公开了一种基于改进生成对抗网络的多聚焦图像融合算法，应用于同一场景下不同位置聚焦拍照所提取的目标图像。首先，对生成器网络和判别器网络进行设计，为了避免图像在网络模型传递过程中造成的信息丢失，裁撤网络结构中的池化层，通过卷积层叠提取图像特征；其次，构建生成对抗网络的损失函数，优化网络参数，得到最佳的网络模型；最后，将所获取到的目标图像输入到训练好的模型中，获得融合图像；本发明专利技术在进行多聚焦图像融合算法时，通过生成对抗网络中的生成器生成融合图像，再将生成图像与源图像输入到判别器中，若判别器无法判别，则表明生成图像是最佳的融合图像。

【技术实现步骤摘要】
基于改进生成对抗网络的多聚焦图像融合算法
本专利技术涉及图像处理
，尤其涉及一种基于改进生成对抗网络的多聚焦图像融合算法。
技术介绍
随着计算机和传感器等技术的快速发展，在很大程度上方便了人们的生活。其中，数字图像作为这些新型科技的产物，也慢慢渗透到人们的生活之中，并且在人与人沟通交流方面也承担着重要的角色。随着人们获得的图像信息量不断增多，因此对这些图像信息进行处理也显得尤为重要。由于光学透镜的焦距设置在一定范围里，所以只有在景深内的物体在照片中才会有清晰的显示，其他物体可能会呈现出较模糊的状态，而获取全聚焦图像的一种常用技术是将不同焦距设置下拍摄的同一场景的多幅图像进行融合，即多聚焦图像融合技术。多聚焦图像融合技术能够对不同焦距下的聚焦图像进行融合，融合后的图像能够最大程度的保留源图像的细节特征，为军事探测、医疗诊断和目标识别等实际应用领域提供更加丰富的信息。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于改进生成对抗网络的多聚焦图像算法，对同一场景下不同位置聚焦拍照所提取的目标图像进行处理，得到一张包含丰富细节信息的融合图像。1、根据本专利技术实施例的一种基于改进生成对抗网络的多聚焦图像融合算法，应用于同一场景下不同位置聚焦拍照所提取的目标图像，所述基于改进生成对抗网络的多聚焦图像融合算法包括：S1：设计生成对抗网络中的生成器和判别器的网络结构，裁撤网络结构中的池化层，使用卷积层叠提取图像特征；S2：通过生成对抗网络的网络结构进而构建网络模型的目标函数；S3：通过训练集训练得到最佳的生成式对抗网络模型；S4：应用步骤S3中生成对抗网络的生成器模型，将源图像输入到生成器中得到生成图像，并且通过判别器对生成图像和源图像的判别进行目标的更新。优选的，步骤S1中的所述生成器是一个5层卷积神经网络，第一层和第二层都是使用5x5的卷积核，第三层和第四层使用3x3的卷积核以及最后一层使用1x1的卷积核，每一层卷积核的步长都设为1，生成器的输入是两张多聚焦图像的连接而成，即输入通道为2步骤S1中的所述判别器是一个8层的卷积神经网络每一层都是使用3x3的卷积核，第二、三、四层的卷积核步长设为2，其余层卷积核步长均为1。优选的，步骤S2中的搭建的生成对抗网络模型的目标函数包括生成器网络的目标函数和判别器网络的目标函数LGAN＝{min(LG),min(LD)}；生成器损失函数包括两部分，一部分是生成器与判别器的对抗损失用V表示，另一部分则是图像细节信息在生成过程中的内容损失用Lcontent表示：则LG可表示为LG＝V+αLcontent判别器的损失函数用LD表示：优选的，步骤S3中通过训练集训练得到最佳的生成式对抗网络模型，将50对多聚焦图像作为实验的训练集，用步长为14，大小为64x64的滑动窗口将每对多聚焦图像分成子块，再将这些子块以填充的方式将大小扩展为76x76，将其作为生成器的输入，通过生成器输出的融合图像大小仍为64x64，生成的融合图像作为判别器的输入，并使用Adam优化算法，直到达到最大训练次数为止。优选的，步骤S4中通过生成器得到融合图像，通过判别器对融合图像进行更新，输入的两幅源图像I1、I2，通过生成器G，得到融合图像If，判别器D通过对融合图像If，源图像I1、I2提取到的图像特征进行判断，判断融合图像If中是否包含源图像I1、I2的细节信息，若判别器可以判别，则继续更新融合图像If；若判别器无法判别，则说明生成器生成的图像是最佳的融合图像。本专利技术中，提出了一种基于改进生成对抗网络的多聚焦图像融合算法，利用生成对抗网络实现不同聚焦位置图像信息的提取，生成包含丰富细节信息的融合图像。首先，对生成器网络和判别器网络进行设计，为了避免图像在网络模型传递过程中造成的信息丢失，裁撤网络结构中的池化层，通过卷积层叠提取图像特征。其次，构建生成对抗网络的损失函数，优化网络参数，得到最佳的网络模型。最后，将所获取到的目标图像输入到训练好的模型中，获得融合图像。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术提出的基于改进生成对抗网络的多聚焦图像融合算法的方法框架图；图2为本专利技术提出的基于改进生成对抗网络的多聚焦图像融合算法中生成器网络结构图；图3为本专利技术提出的基于改进生成对抗网络的多聚焦图像融合算法中判别器网络结构图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。实施例1：如图1-3所示，一种基于改进生成对抗网络的图像融合算法。对生成器网络和判别器网络进行设计，为了避免图像在网络模型传递过程中造成的信息丢失，裁撤网络结构中的池化层，通过卷积层叠提取图像特征。其次，构建生成对抗网络的损失函数，优化网络参数，得到最佳的网络模型。最后，将所获取到的目标图像输入到训练好的模型中，获得融合图像。基于改进生成对抗网络的图像融合算法，具体分为以下步骤：S1：设计生成对抗网络中的生成器和判别器的网络结构，裁撤网络结构中的池化层，使用卷积层叠提取图像特征；S2：通过生成对抗网络的网络结构进而构建网络模型的目标函数；S3：通过训练集训练得到最佳的生成式对抗网络模型；S4：应用步骤S3中生成对抗网络的生成器模型，将源图像输入到生成器中得到生成图像，并且通过判别器对生成图像和源图像的判别进行目标的更新。实施例2：如图1-3所示，根据实施例1的步骤，S1中设计生成对抗网络中的生成器和判别器的网络结构。生成器的目的在于提取源图像中更多的细节信息，生成具有丰富细节的融合图像。生成器是一个5层卷积神经网络，第一层和第二层都是使用5x5的卷积核，第三层和第四层使用3x3的卷积核以及最后一层使用1x1的卷积核。每一层卷积核的步长都设为1，生成器的输入是两张多聚焦图像的连接而成，即输入通道为2。判别器的目的在于区分目标图像是生成器生成的图像还是真实图像，通过对目标图像的特征提取再进行分类。判别器是一个8层的卷积神经网络每一层都是使用3x3的卷积核，第二、三、四层的卷积核步长设为2，其余层卷积核步长均为1。实施例3：如图1-3所示，根据实施例1步骤，S2中搭建的生成对抗网络模型的目标函数包括生成器网络的目标函数和判别器网络的目标函数LGAN＝{min(LG),min(LD)}；生成器损失函数包本文档来自技高网...

【技术保护点】
1.一种基于改进生成对抗网络的多聚焦图像融合算法，应用于同一场景下不同位置聚焦拍照所提取的目标图像，其特征在于，所述基于改进生成对抗网络的多聚焦图像融合算法包括：/nS1：设计生成对抗网络中的生成器和判别器的网络结构，裁撤网络结构中的池化层，使用卷积层叠提取图像特征；/nS2：通过生成对抗网络的网络结构进而构建网络模型的目标函数；/nS3：通过训练集训练得到最佳的生成式对抗网络模型；/nS4：应用步骤S3中生成对抗网络的生成器模型，将源图像输入到生成器中得到生成图像，并且通过判别器对生成图像和源图像的判别进行目标的更新。/n

【技术特征摘要】
1.一种基于改进生成对抗网络的多聚焦图像融合算法，应用于同一场景下不同位置聚焦拍照所提取的目标图像，其特征在于，所述基于改进生成对抗网络的多聚焦图像融合算法包括：
S1：设计生成对抗网络中的生成器和判别器的网络结构，裁撤网络结构中的池化层，使用卷积层叠提取图像特征；
S2：通过生成对抗网络的网络结构进而构建网络模型的目标函数；
S3：通过训练集训练得到最佳的生成式对抗网络模型；
S4：应用步骤S3中生成对抗网络的生成器模型，将源图像输入到生成器中得到生成图像，并且通过判别器对生成图像和源图像的判别进行目标的更新。


2.根据权利要求1所述的基于改进生成对抗网络的多聚焦图像融合算法，其特征在于：步骤S1中的所述生成器是一个5层卷积神经网络，第一层和第二层都是使用5x5的卷积核，第三层和第四层使用3x3的卷积核以及最后一层使用1x1的卷积核，每一层卷积核的步长都设为1，生成器的输入是两张多聚焦图像的连接而成，即输入通道为2；
步骤S1中的所述判别器是一个8层的卷积神经网络每一层都是使用3x3的卷积核，第二、三、四层的卷积核步长设为2，其余层卷积核步长均为1。


3.根据权利要求1所述的基于改进生成对抗网络的多聚焦图像融合算法，其特征在于：步骤S2中的搭建的生成对抗网络模型的目标函数包括生成器网络的目标函数和判别器网络的目标函数
LGAN＝{min(L...

【专利技术属性】
技术研发人员：王娟，柯聪，袁旭亮，丁畅，何宇，刘远远，张鑫午，刘敏，刘聪，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北;42