【技术实现步骤摘要】
一种多波段图像的自监督学习融合方法
本专利技术涉及图像融合方法，尤其涉及多波段图像融合方法，具体为一种多波段图像的自监督学习融合方法。
技术介绍
目前，高精度探测系统已经普遍采用宽光谱多波段成像，而现有研究主要是针对红外和可见光两个波段进行，所以，探索多幅(≥3幅)图像同步融合迫在眉睫。近年来，基于深度人工神经网络的图像融合研究已经兴起，不过由于图像融合领域缺乏标准的融合结果，即利用深度学习建立图像融合模型时普遍缺乏标签数据，导致深度学习训练困难或融合效果差，同步融合图像数量越多问题越突出。自监督学习是解决深度学习中标签缺乏问题的有效手段之一，现已在基于深度人工神经网络的语音识别、语义分割等领域取得成功，故本专利技术将其引入多波段图像融合领域。
技术实现思路
本专利技术为了解决图像融合领域利用深度学习方法进行融合多波段图像时因缺乏标签图像导致融合结果受限的问题，提出一种基于多判别器生成对抗网络的多波段图像自监督学习融合新方法。本专利技术所提出的多波段图像自监督学习融合方法包括以下步骤：
【技术保护点】
1.一种多波段图像的自监督学习融合方法，其特征在于包括以下步骤：/n设计并构建生成对抗网络：该多判别器生成对抗网络由一个生成器和多个判别器组成；生成器包括特征增强模块、特征融合模块两部分，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图，特征融合模块将利用合并连接层在通道维度上进行连接后的特征图重构出融合图像；/n利用该生成对抗网络首先将多波段图像分别输入生成器，分别通过特征增强模块分别提取各波段源图像特征并进行增强，然后将多波段图像特征增强结果合并连接并通过特征融合模块重构出初步的融合图像；/n将初步融合图像分别与各波段源图像送入对应的判别器...
【技术特征摘要】
1.一种多波段图像的自监督学习融合方法，其特征在于包括以下步骤：
设计并构建生成对抗网络：该多判别器生成对抗网络由一个生成器和多个判别器组成；生成器包括特征增强模块、特征融合模块两部分，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图，特征融合模块将利用合并连接层在通道维度上进行连接后的特征图重构出融合图像；
利用该生成对抗网络首先将多波段图像分别输入生成器，分别通过特征增强模块分别提取各波段源图像特征并进行增强，然后将多波段图像特征增强结果合并连接并通过特征融合模块重构出初步的融合图像；
将初步融合图像分别与各波段源图像送入对应的判别器进行分类识别，经过生成器和判别器之间的动态博弈和迭代更新，使得生成器输出结果同时保留多个波段图像的特征，达到图像融合的目的，生成器最终输出的图像即为融合结果。
2.根据权利要求1所述的一种多波段图像的自监督学习融合方法，其特征在于生成器损失函数包含三个部分：对抗损失Ladv、内容损失Lcon和SSIM损失LSSIM；其中对抗损失为式中i＝1,2,…,n表示源图像的波段数，多波段图像融合中n≥3；E表示期望；x表示输入样本；I(n)表示多波段源图像，即输入生成器的n个波段源图像；Ii表示i波段源图像；||·||2表示L2范数；G为生成器；Di为源图像i对应的判别器；a表示生成器希望判别器相信伪数据的值，此处为0.7至1.2的随机数；内容损失为其中，y表示输入的真实样本；Ii表示输入的i波段标签图像即对应波段源图像；c为特征融合模块对应卷积层层数，取值为1-4；Oc为特征融合模块对应卷积层的输出；为梯度运算；λi、σi分别表示亮度损失和梯度损失针对不同源图像的权重；SSIM损失其中，SSIM(·)为结构相似性运算，即其中A、B分别是两幅需要计算的图像G(x)、y，μA是A的平均值，μB是B的平均值，是A的方差，是B的方差，σAB是A和B的协方差，c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；综上所述，生成器损失函数为其中，θG为生成器训练参数；λcon、λssim分别表示Lcon和Lssim的权重；min为最小化；
判...
【专利技术属性】
技术研发人员：蔺素珍，田嵩旺，禄晓飞，李大威，李毅，王丽芳，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。