一种多监督递归学习的深度网络多源光谱图像融合方法技术

本发明专利技术公开了一种多监督递归学习的深度网络多源光谱图像融合方法，包括：采取递归学习，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入；网络由预超分辨模块和融合模块构成，预超分辨模块实现上采样插值的自动学习，预超分辨图像与多光谱图像拼接作为融合模块输入；采取多个递归残差子网络堆叠方法建立预超分辨模块和融合模块；采用多监督学习方式，低层、中间层与高层特征经过拼接与卷积层形成各级中间融合图像；以L1范数和光谱角作为损失函数的两个度量，各级中间融合图像与真实图像建立联合损失函数，进行端对端网络训练。仿真实验结果证明了本发明专利技术对于多远光谱图像融合的有效性。性。性。

【技术实现步骤摘要】
一种多监督递归学习的深度网络多源光谱图像融合方法


[0001]本专利技术涉及高光谱图像融合领域，特别是一种多监督递归学习的深度网络多源光谱图像融合方法。

技术介绍

[0002]近年来，深度学习成了人工智能领域的研究热点，获得理论界和工业界的广泛关注，在模式识别、计算机视觉、自然语言处理等领域获得大量应用。深度学习模型一般为具有多层结构的神经网络，通过多层神经网络的多重非线性变换对数据进行多层次的特征提取，自动学习从低级到高级的层级特征，随着层数增加，特征的抽象程度也随之增强。相比于传统浅层机器学习模型，深度学习模型的特征更为全面，也克服了人工设计特征对个人经验的依赖。
[0003]深度学习也在高光谱图像融合领域得到了广泛的应用，大量基于卷积神经网络的高光谱图像融合模型被提出，如[Masi G,Cozzolino D,Verdoliva L,et al.Pansharpening by convolutional neural networks[J].Remote Sensing,2016,8(7):594.]。PNN网络仅为三层结构，简单增加层数并不能提升性能，这是因为网络层数增加时，模型难以得到有效训练。残差连接可以解决网络过深时难以训练的问题，例如梯度爆炸和梯度消失。目前，研究者已经提出许多基于残差连接的网络模型，如[Yuan Q,Wei Y,Meng X,et al.A multiscale and multidepth convolutional neural network for remote sensing imagery pan
‑
sharpening[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2018,11(3):978
‑
989.]。现今的网络模型大多是将低分辨率高光谱图像和相应的辅助源图像堆叠作为网络输入，在之后的特征提取和映射中实现图像融合。最近，有学者提出了一种双通道神经网络模型[Shao Z,Cai J.Remote sensing image fusion with deep convolutional neural network[J].IEEE journal of selected topics in applied earth observations and remote sensing,2018,11(5):1656
‑
1669.]，该方法分别对低分辨率高光谱图像和辅助源图像提取光谱特征和空间特征，然后将提取到的特征堆叠通过一个卷积层完成特征融合，取得了不错的效果。
[0004]然而，上述模型大多深度较浅，无法充分利用深层网络结构强大的特征提取能力和非线性表示能力。

技术实现思路

[0005]本专利技术的目的在于提供一种多监督递归学习的深度网络多源光谱图像融合方法。
[0006]实现本专利技术目的的技术解决方案为：一种多监督递归学习的深度网络多源光谱图像融合方法，包括以下步骤：
[0007]第一步，采取递归学习，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入；
[0008]第二步，整体网络模型由预超分辨模块和融合模块构成，预超分辨模块实现上采
样插值的自动学习，预超分辨图像与多光谱图像拼接作为融合模块输入；
[0009]第三步，采取多个递归残差子网络堆叠方法建立预超分辨模块和融合模块；
[0010]第四步，采用多监督学习方式，低层、中间层与高层的各级特征经过拼接与卷积层形成各级中间融合图像；
[0011]第五步，以L1范数和光谱角作为损失函数的两个度量，各级中间融合图像与真实图像建立联合损失函数，进行端对端网络训练。
[0012]本专利技术与现有技术相比，其显著优点为：(1)使用递归学习构建网络，缓解了深度网络应用在高光谱图像领域时网络参数规模过大的问题，可形成相对轻量的深度学习网络；(2)通过预超分辨模块实现图像上采样自动学习，能更好融合辅助源图像的空间细节并减少传统人工插值(如双三次插值)引起的光谱失真；(3)在融合阶段使用稠密连接，有效利用低、中、高层次特征信息，实现特征复用；(4)使用多监督端对端训练网络，避免了网络深度过大时低层网络得不到有效训练的问题，同时将每一级的中间融合图像与下一级连接，逐级提取特征进行保真约束，有效增强了多尺度光谱特征保真能力；(5)本专利技术可应用于多光谱与高光谱图像的融合与分辨率增强，同时也可应用于全色与高光谱图像融合增强，在多源遥感融合、地物分类识别和高分辨环境监测中具有广泛应用价值。
[0013]下面结合附图对本专利技术作进一步详细描述。
附图说明
[0014]图1为本专利技术方法的结构图。
[0015]图2为仿真实验的网络结构图。
[0016]图3为本专利技术在Cave数据集上的测试结果图。
[0017]图4为本专利技术在Harvard数据集上的测试结果图。
具体实施方式
[0018]本专利技术提出了一种多监督递归学习的深度网络多源光谱图像融合方法。该方法重复使用一个残差块构成递归残差子网络，避免引入过多的参数导致训练困难，从而降低性能。同时，该方法通过预超分辨模块实现图像上采样自动学习，能更好融合辅助源图像的空间细节并减少传统人工插值(如双三次插值)引起的光谱失真。此外，该方法使用多级监督的方式训练网络，并在融合阶段采用稠密连接，使得低、中层特征得到有效训练的同时，也能与高层特征一起形成最终的融合图像。本专利技术方法为端到端的多监督神经网络模型，输入、输出形式结构简单，无需预、后处理流程，在Cave、Harvard数据集上的仿真实验表明，该模型鲁棒性高，可广泛应用于工程领域。结合图1，下面详细说明本专利技术的实施过程，步骤如下：
[0019]第一步，采取递归学习，即多层网络共享一个残差块，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入。记输入高光谱图像为X∈R
h
×
w
×
C
，h，w，C分别表示X的高、宽和通道数。多光谱图像为Y∈R
H
×
W
×
c
，H，W，c分别表示Y的高、宽和通道数。第i个残差块输入为Res
i
，输出为1≤i≤n，则有：
[0020][0021][0022][0023][0024]其中，m，n分别表示预超分辨模块残差块数、总残差块数，σ表示激活函数，运算符表示卷积运算，表示卷积核参数，k为内核大小，u表示输入、输出通道数，b
i，1
∈R1×
u
、b
i，2
∈R1×
u
表示偏置项，F
i
(
·
)表示第i个残差块。记第i个递归子网络为G
...

【技术保护点】

【技术特征摘要】
1.一种多监督递归学习的深度网络多源光谱图像融合方法，其特征在于，包括以下步骤：第一步，采取递归学习，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入；第二步，整体网络模型由预超分辨模块和融合模块构成，预超分辨模块实现上采样插值的自动学习，预超分辨图像与多光谱图像拼接作为融合模块输入；第三步，采取多个递归残差子网络堆叠方法建立预超分辨模块和融合模块；第四步，采用多监督学习方式，低层、中间层与高层的各级特征经过拼接与卷积层形成各级中间融合图像；第五步，以L1范数和光谱角作为损失函数的两个度量，各级中间融合图像与真实图像建立联合损失函数，进行端对端网络训练。2.根据权利要求1所述的多监督递归学习的深度网络多源光谱图像融合方法，其特征在于，第一步，采取递归学习，即多层网络共享一个残差块，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入；记输入高光谱图像为X∈R
h
×
w
×
C
，h、w、C分别表示X的高、宽和通道数；多光谱图像为Y∈R
H
×
W
×
c
，H、W、c分别表示Y的高、宽和通道数；第i个残差块输入为Res
i
，输出为则有：则有：则有：则有：其中，m、n分别表示预超分辨模块残差块数、总残差块数，σ表示激活函数，运算符表示卷积运算，表示卷积核参数，k为内核大小，u表示输入、输出通道数，b
i，1
∈R1×
u
、b
i，2
∈R1×
u
表示偏置项，F
i
(
·
)表示第i个残差块；记第i个递归子网络为G
i
(
·
)，输入为Rec
i
，输出为则有：则有：则有：则有：3.根据权利要求1所述的多监督递归学习的深度网络多源光谱图像融合方法，其特征在于，第二步，网络由预超分辨模块和融合模块构成，预超分辨模块实现上采样插值的自动学习，预超分辨图像与多光谱图像拼接作为融合模块输入；记预超分辨模块为P(
·
)，融合模块为Q(
·
)，预超分辨图像为Z
pre
∈R
H
×
W
×
c
，融合模块输入为Z
in
∈R
H
×
W
×
(C+c)
，则有：Z
pre
＝P(X)Z
in
＝[Z
pre
，Y]其中，[
…
]表示拼接操作，X，Y分别表示高光谱和多光谱图像。
4.根据权利要求1所述的多监督递归学习的深度网络多源光谱图像融合方法，其特征在于，第三步，采取多个递归残差子网络堆叠方法建立预超分辨模块和融合模块；记预超分辨模块第i个递归子网络输出特...

【专利技术属性】
技术研发人员：肖亮，陆育达，刘鹏飞，杨劲翔，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：