【技术实现步骤摘要】
本专利技术涉及多源图像融合领域，尤其涉及sar与可见光图像融合方法。
技术介绍
1、sar(synthetic aperture radar，合成孔径雷达)与可见光图像融合，在目标检测、灾害预测、国土资源统计等领域应用广泛，具有重要的研究价值，可以为后续图像分析以及信息提取提供支持，也可以为更好、更精确的识别和检测目标奠定基础。但是sar图像存在对比度低、相干斑噪声严重、细节信息不清晰等问题，导致融合图像细节信息不明显、对比度不高，不符合人类视觉感知，因此如何使融合图像在保留可见光图像光谱信息的同时，包含更多sar与可见光图像的细节信息，并具有良好的对比度，符合人类视觉感知是当下sar与可见光图像融合的研究热点。
2、深度学习在计算机视觉领域具有非常高的热度，在目标检测与识别上表现突出，正因为深度学习的优秀学习能力，有研究人员将深度学习用于图像融合领域，涌现许多出色的方法。h.li等人提出了densefuse网络融合红外和可见光图像，主干网络是编解码器，该网络加入了密集块，密集块中每一层的输出都与其余每一层相连，这种结构可以从源图像中获取更多的特征，并使用了两种融合策略融合所获得的特征，得到了比较好的融合效果。(详见：li h,wu x j.densefuse:a fusion approach to infrared and visibleimages[j].ieee transactions on image processing,2018,28(5):2614-2623.)ji等人提出使用三尺度分解和特征传递的
3、deng等人提出空间频率一致的生成对抗网络模型框架(sfgan)，用于sar和可见光图像融合，得到的融合图像纹理细节更加逼真，道路和河流的轮廓特征更加清晰。(详见：deng b,lv h.research on image fusion methodof sar and visible image based oncnn[c]//2022ieee 4th international conference on civil aviation safety andinformation technology(iccasit).ieee,2022:1400-1403.)2022年，haitao yin等人针对现有算法提取特征不全面，网络训练不稳定等问题，提出拉普拉斯金字塔gan，构建了一个由浅层特征提取模块、拉普拉斯金字塔模块和重构模块组成的生成器。此外，解码器中配备了注意力模块，可以有效解码显着特征。然后，采用两个判别器分别判别融合图像和两种不同的模态。(详见：h.yin and j.xiao,"laplacian pyramid generative adversarialnetwork for infrared and visible image fusion,"in ieee signal processingletters,vol.29,pp.1988-1992,2022,doi:10.1109/lsp.2022.3207621.)但是目前融合图像并不能很好的包含sar图像的细节信息，而且对比度较低，不利于人类视觉感知。而且现有算法模型参数较大，大的模型会增加硬件成本，不利于实际应用。
技术实现思路
1、本专利技术的目的是提出一种基于双分支gan网络的sar与可见光图像轻量化融合方法。针对sar与可见光图像融合，首次提出了一种基于双分支gan网络的sar与可见光图像轻量化融合算法，该方法搭建双分支gan网络，利用gan网络的生成对抗机制，同样引入预融合图像作为生成器的指导，以避免人工设计复杂的融合规则，相比较其他基于深度学习的融合算法，db-gan网络在sar与可见光图像融合领域能够得到更高质量的融合图像，很好的保留了可见光图像的光谱信息，以及sar与可见光图像的细节信息；模型参数较少，实现了模型的轻量化，可节省硬件开销，有利于实际应用。
2、本专利技术是通过以下技术方案实现的。
3、本专利技术所述的一种基于双分支gan网络的sar与可见光图像轻量化融合方法，包括以下步骤：
4、步骤1、构建数据集：首先从landsat8卫星和哨兵一号卫星分别获取可见光图像和sar图像；然后将获取到的图像使用envi5.2软件进行配准，配准完成后，继续使用envi5.2软件将图像进行裁剪，得到sar与可见光图像对。最后使用bm3d算法对裁剪得到的sar图像去噪。去噪完成后便得到了原始的数据集。接着再把原始数据集进行划分，分成训练集和测试集：首先在原始数据集中选取一部分图像对，进行进一步裁剪，作为训练集的一部分；最后，将剩余的原始数据集作为测试集。
5、步骤2、使用gfce算法生成预融合图像：原有gfce算法在融合时只对可见光图像进行对比度增强，考虑到sar图像对比度低、细节信息不清晰的特点，在生成预融合图像的过程中，同样对sar图像进行了对比度增强，获得了光谱信息良好、细节信息清晰的预融合图像；并选取与训练集相同的预融合图像对进行裁剪，与步骤1中获得的部分训练集组成完整的训练集，至此训练集与测试集均制作完毕。
6、步骤3、构建双分支gan网络(db-gan)：db-gan由两个生成器和两个判别器组成，为了减小模型参数并提高图像生成的质量，两个生成器之间和两个判别器之间分别进行权重共享。同时，用轻量化模块ghost替换生成器和判别器中传统的卷积网络，进一步降低模型参数。同时将步骤2得到的预融合图像用于指导生成器的生成。
7、步骤4、用步骤1中的训练集训练db-gan网络。
8、步骤5、对sar本文档来自技高网...
【技术保护点】
1.一种基于双分支GAN网络的SAR与可见光图像轻量化融合方法，其特征是包括以下步骤：
2.根据权利要求1所述的一种基于双分支GAN网络的SAR与可见光图像轻量化融合方法，其特征是步骤3所述的DB-GAN网络包括两个生成器和两个判别器：
3.根据权利要求1所述的一种基于双分支GAN网络的SAR与可见光图像轻量化融合方法，其特征是步骤4所述的训练DB-GAN网络的过程包括：将步骤2中获得的SAR与可见光图像训练集样本输入到DB-GAN网络中训练；将生成器的学习率设置为0.0001，判别器的学习率设置为0.0001，来平衡生成器与判别器的学习速率，优化器选择Adam；判别器与生成器的训练次数比为1:1，批次大小为16，共训练10个epochs；通过不断迭代更新网络超参数，当迭代次数达到设置的迭代次数时，完成网络的训练过程。
【技术特征摘要】
1.一种基于双分支gan网络的sar与可见光图像轻量化融合方法，其特征是包括以下步骤：
2.根据权利要求1所述的一种基于双分支gan网络的sar与可见光图像轻量化融合方法，其特征是步骤3所述的db-gan网络包括两个生成器和两个判别器：
3.根据权利要求1所述的一种基于双分支gan网络的sar与可见光图像轻量化融合方法，其特征是步骤4所述的训练db-...
【专利技术属性】
技术研发人员：李春泉，邢庆宝，廖志远，程宇新，张海欣，杨锋，夏庆，王嘉豪，王子韬，王咏鹤，陶凌，陈利民，陈荣伶，赵庆敏，伍军云，李亚超，喻俊志，
申请(专利权)人：南昌大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。