一种基于深度学习的多尺度高分影像抗噪生成方法技术

本发明专利技术提供一种基于深度学习的多尺度高分影像抗噪生成方法，包括：获取高分辨率遥感影像样本，并进行不同级别的下采样，得到不同分辨率的遥感影像样本集；构建多尺度高分影像抗噪模型；所述模型包括：前端多层卷积神经网络MLP0、图像边缘形状注意力网络、循环上采样网络LU1、循环上采样网络LU2和内容特征扩展网络；利用不同分辨率的遥感影像样本集，分两阶段训练所述模型；一阶段训练优化MLP0、图像边缘形状注意力网络和内容特征扩展网络；二阶段训练在一阶段的基础上，优化LU1、LU2，最终得到训练完成的模型；本发明专利技术的有益效果：解决了低分噪声卫星影像生成高质量的高分辨率的影像面临的生成不同高分辨率影像模型泛化能力低、成本较高、噪声干扰问题。噪声干扰问题。噪声干扰问题。

【技术实现步骤摘要】
一种基于深度学习的多尺度高分影像抗噪生成方法


[0001]本专利技术涉及遥感影像处理领域，尤其涉及一种基于深度学习的多尺度高分影像抗噪生成方法。

技术介绍

[0002]卫星采集影像一般是低分辨率影像，由于由于受天气、云层、距离、光线等因素的影响，原始影像还会携带大量随机噪声，这些噪声进一步妨碍了地图影像在实际发布生产中的应用。为了提升这些影像数据的使用质量与价值，需将噪声低分辨率影像处理生成高分辨率清晰影像。关于携带噪声的低分辨率图像生成高分辨率的方法，目前基于深度学习的卷积网络的一些模型方法被提出，这些方法在图像超分生成相较于传统的局部纹理统计填充、双线性插值等方法有明显的提升，生成的高分辨率图像细节更清晰、逼真，但仍存在一些不足的之处，如有些模型方法受携带随机的噪声影响生成高分辨图像时比较模糊，几乎绝大部分的模型方法只能生成相对应的训练模型时图像的放大倍数高分辨率图像，当放大倍数不匹配时，生成的图像效果较差变形失真，对放大倍数的调整泛化能力弱，需要针对不一样的分辨率独立训练模型应用成本较高。

技术实现思路

[0003]有鉴于此，本专利技术装置旨在解决低分噪声卫星影像生成高质量的高分辨率的影像面临的生成不同高分辨率影像模型泛化能力低、成本较高、噪声干扰问题。采集1000张高分辨率1024*1024的图像样本，通过图示设计的深度学习模型装置方法训练，将训练后的模型处理低分噪声卫星影像生成不同分辨率的高清影像。
[0004]本专利技术提供一种基于深度学习的多尺度高分影像抗噪生成方法，包括以下步骤：
[0005]S101：获取高分辨率遥感影像样本，并将高分辨率遥感影像样本进行不同级别的下采样，得到不同分辨率的遥感影像样本集；
[0006]S102：构建多尺度高分影像抗噪模型；所述模型包括：前端多层卷积神经网络MLP0、图像边缘形状注意力网络、循环上采样网络LU1、循环上采样网络LU2和内容特征扩展网络；
[0007]S103：利用不同分辨率的遥感影像样本集，分两阶段训练所述模型；一阶段训练优化所述前端多层卷积神经网络MLP0、图像边缘形状注意力网络和内容特征扩展网络；二阶段训练在一阶段的基础上，优化循环上采样网络LU1、循环上采样网络LU2，最终得到训练完成的多尺度高分影像抗噪模型；
[0008]S104：利用训练完成的多尺度高分影像抗噪模型实现高分影像的生成。进一步地，所述前端多层卷积神经网络MLP0共十层，具体结构为：卷积核为3
×
3，激励函数为leakyrelu，第2
‑
10层为具有bn操作的残差网络。
[0009]进一步地，步骤S103中，一阶段训练优化的具体过程为：
[0010]S201：从不同分辨率的遥感影像样本集中选取最低分辨率的遥感影像L，并从遥感
影像L中随机选择一块尺寸区域，添加人工噪声，形成局部携带噪声的遥感影像Ls；
[0011]S202：将遥感影像Ls输入至前端多层卷积神经网络MLP0，得到MLP0输出的卷积特征；
[0012]S203：将MLP0输出的卷积特征分为两个支路进行输入；其中第一支路输入至图像边缘形状注意力网络，并得到图像边缘形状注意力网络的输出特征；第二支路输入至内容特征扩展网络；
[0013]S204：图像边缘形状注意力网络的输出特征又为两个子支路进行输入；其中第一子支路输入至内容特征扩展网络；第二子支路输入至一个3
×
3卷积核、输出通道为3、激励函数为relu的卷积层，得到rgb归一化的图像梯度边缘分布EI；获取遥感影像L的图像边缘梯度分布En；利用EI和En得到一阶段训练的一部分优化损失函数L1loss(EI,En)；
[0014]S205：将第二支路输入至内容特征扩展网络的MLP0输出的卷积特征和第一子支路输入至内容特征扩展网络的图像边缘形状注意力网络的输出特征进行融合，得到内容特征扩展网络的输出特征；
[0015]S206：将内容特征扩展网络的输出特征依次经过一个1
×
1的卷积核、多层卷积网络MLP3、一个3
×
3，输出通道为3、激励函数为relu的卷积核后，得到rgb归一化的生成图像Gn；利用生成图像Gn和遥感影像L得到一阶段训练的另一部分优化损失函数L1loss(Gn，L)；
[0016]S207：利用一阶段训练的优化损失函数Loss1＝L1loss(EI,En)+L1loss(Gn，L)，完成一阶段优化训练，得到前端多层卷积神经网络MLP0、图像边缘形状注意力网络和内容特征扩展网络的权重参数。
[0017]进一步地，所述图像边缘注意力网络的结构包括；1个transform全局注意力层、1个1
×
1，输出通道为Cg个的卷积层。
[0018]进一步地，步骤S103中，二阶段训练具体过程为：
[0019]S301：从不同分辨率的遥感影像样本集中再次随机选取最低分辨率的遥感影像L2；将遥感影像L2输入至前端多层卷积神经网络MLP0得到输出特征；
[0020]S302：将MLP0输出的卷积特征分为两个支路进行输入；第一分支的卷积特征通过图像边缘注意力网络进行特征提取，再通过循环上采样网络LU1输出特征；第二分支的卷积特征进入循环上采样网络LU2；
[0021]S303：循环上采样网络LU1的输出特征，根据预设的放大倍数k再次循环输入至LU1，直至分别生成2、4、8
…
2k倍的尺寸特征；
[0022]S304：将不同的尺寸特征生成对应的rgb梯度分布EI21、EI22、
…
、EI2k；获取遥感影像L2对应的原始高分影像的原始梯度边缘分布E21、E22、
…
、E2k；获取遥感影像L2对应的原始高分影像的边缘形状特征F10，并将F10输入至1倍的循环上采样网络LU1，得到输出特征F11；
[0023]S305：循环上采样网络LU1的损失函数即为：
[0024]Loss2＝W
f
*L1Loss(F
11
,F
10
)+L1Loss(EI
21
,E
21
)+L1Loss(EI
22
,E
22
)+
…
+L1Loss(EI
2k
,E
2k
)
[0025]其中Wf为预设值；
[0026]S306：与步骤S303相同，循环上采样网络LU2的输出特征根据预设的放大倍数k再次循环输入至LU2，直至分别生成2、4、8
…
2k倍的尺寸特征；
[0027]S307：循环上采样网络LU1的不同尺寸特征和循环上采样网络LU2的不同尺寸特征经过内容特征扩展网络融合，并依次经过一个1
×
1的卷积核、多层卷积网络MLP3、一个3
×
3，输出通道为3、激励函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多尺度高分影像抗噪生成方法，其特征在于：具体包括以下步骤：S101：获取高分辨率遥感影像样本，并将高分辨率遥感影像样本进行不同级别的下采样，得到不同分辨率的遥感影像样本集；S102：构建多尺度高分影像抗噪模型；所述模型包括：前端多层卷积神经网络MLP0、图像边缘形状注意力网络、循环上采样网络LU1、循环上采样网络LU2和内容特征扩展网络；S103：利用不同分辨率的遥感影像样本集，分两阶段训练所述模型；一阶段训练优化所述前端多层卷积神经网络MLP0、图像边缘形状注意力网络和内容特征扩展网络；二阶段训练在一阶段的基础上，优化循环上采样网络LU1、循环上采样网络LU2，最终得到训练完成的多尺度高分影像抗噪模型；S104：利用训练完成的多尺度高分影像抗噪模型实现高分影像的生成。2.如权利要求1所述的一种基于深度学习的多尺度高分影像抗噪生成方法，其特征在于：所述前端多层卷积神经网络MLP0共十层，具体结构为：卷积核为3
×
3，激励函数为leakyrelu，第2
‑
10层为具有bn操作的残差网络。3.如权利要求1所述的一种基于深度学习的多尺度高分影像抗噪生成方法，其特征在于：步骤S103中，一阶段训练优化的具体过程为：S201：从不同分辨率的遥感影像样本集中选取最低分辨率的遥感影像L，并从遥感影像L中随机选择一块尺寸区域，添加人工噪声，形成局部携带噪声的遥感影像Ls；S202：将遥感影像Ls输入至前端多层卷积神经网络MLP0，得到MLP0输出的卷积特征；S203：将MLP0输出的卷积特征分为两个支路进行输入；其中第一支路输入至图像边缘形状注意力网络，并得到图像边缘形状注意力网络的输出特征；第二支路输入至内容特征扩展网络；S204：图像边缘形状注意力网络的输出特征又为两个子支路进行输入；其中第一子支路输入至内容特征扩展网络；第二子支路输入至一个3
×
3卷积核、输出通道为3、激励函数为relu的卷积层，得到rgb归一化的图像梯度边缘分布EI；获取遥感影像L的图像边缘梯度分布En；利用EI和En得到一阶段训练的一部分优化损失函数L1loss(EI,En)；S205：将第二支路输入至内容特征扩展网络的MLP0输出的卷积特征和第一子支路输入至内容特征扩展网络的图像边缘形状注意力网络的输出特征进行融合，得到内容特征扩展网络的输出特征；S206：将内容特征扩展网络的输出特征依次经过一个1
×
1的卷积核、多层卷积网络MLP3、一个3
×
3，输出通道为3、激励函数为relu的卷积核后，得到rgb归一化的生成图像Gn；利用生成图像Gn和遥感影像L得到一阶段训练的另一部分优化损失函数L1loss(Gn，L)；S207：利用一阶段训练的优化损失函数Loss1＝L1loss(EI,En)+L1loss(Gn，L)，完成一阶段优化训练，得到前端多层卷积神经网络MLP0、图像边缘形状注意力网络和内容特征扩展网络的权重参数。4.如权利要求3所述的一种基于深度学习的多尺度高分影像抗噪生成方法，其特征在于：所述图像边缘注意力网络的结构包括；1个transform全局注意力层、1个1
×
1，输出通道为Cg个的卷积层。5.如权利要求3所述的一种基于深度学习的多尺度高分影像抗噪生成方法，其...

【专利技术属性】
技术研发人员：柯剑，曹威，郭明强，张敏，朱建军，王均浩，彭渊，李兵，钟静，赵保睿，但唐明，
申请(专利权)人：湖北地信科技集团股份有限公司，
类型：发明
国别省市：