一种图像超分辨率网络训练方法、装置、设备及存储介质制造方法及图纸

本申请实施例属于人工智能中的图像处理技术领域，涉及一种基于光学图像特征融合的图像超分辨率网络训练方法、装置、计算机设备及存储介质。本申请首先通过所提出的可见光特征引导模块对高分辨率可见光图像提取其高频信息和空间信息得到可见光图像特征图，并通过像素相乘将其映射到SAR图像特征空间。再对该SAR图像特征空间进行下采样编码提取深层特征，然后通过所提出的通道特征编码模块对提取到的特征进行上采样解码重构出图像特征，并将重构的图像特征与提取到的图像特征计算重建损失，从而约束解码模块生成更加真实的SAR图像特征。图像超分辨率网络通过引入可见光图像特征信息提高了SAR图像的超分辨率性能。信息提高了SAR图像的超分辨率性能。信息提高了SAR图像的超分辨率性能。

【技术实现步骤摘要】
一种图像超分辨率网络训练方法、装置、设备及存储介质


[0001]本申请涉及人工智能中的图像处理
，尤其涉及一种基于光学图像特征融合的图像超分辨率网络训练方法、装置、计算机设备及存储介质。

技术介绍

[0002]深度神经网络在现实生活中已经取得了广泛的应用，例如图像分类、文本转换以及其他的一些应用。
[0003]最近，基于深度学习的图像超分辨率方面的研究也越来越多，这种方法主要是从大量的低分辨率图像与高分辨率图像对中学习一种非线性的映射关系，然后根据这种映射关系从一张低分辨率的图像中恢复重建出对应的高分辨率图像。
[0004]然而，申请人发现传统基于深度学习的图像超分辨率方法都是针对自然图像也就是可见光图像提出的，对于特征信息较少的单通道SAR图像来说，这些已经提出的图像超分辨率网络并不适用，由此可见，传统的图像超分辨率方法存在无法适用于特征信息较少的单通道SAR图像的问题。

技术实现思路

[0005]本申请实施例的目的在于提出一种基于光学图像特征融合的图像超分辨率网络训练方法、装置、计算机设备及存储介质，以解决传统的图像超分辨率方法存在无法适用于特征信息较少的单通道SAR图像的问题。
[0006]为了解决上述技术问题，本申请实施例提供一种基于光学图像特征融合的图像超分辨率网络训练方法，采用了如下所述的技术方案：
[0007]获取原始数据，其中，所述原始数据包括高分辨率SAR图像以及高分辨率可见光图像；
[0008]对所述高分辨率SAR图像进行下采样操作，得到低分辨率SAR图像；
[0009]将所述低分辨率SAR图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；
[0010]计算所述超分辨率转化图像以及所述高分辨率SAR图像的平均像素差的绝对值；
[0011]将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；
[0012]所述将所述低分辨率SAR图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像的操作，具体包括下述步骤：
[0013]对所述低分辨率SAR图像进行图像特征提取操作，得到浅层SAR图像特征；
[0014]根据可见光特征引导模块对所述浅层SAR图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的SAR图像特征；
[0015]根据SAR图像特征编码模块对所述可见光图像信息增强的SAR图像特征进行特征编码操作，得到深层SAR图像特征；
[0016]根据特征解码模块对所述深层SAR图像特征进行局部特征重建操作，得到局部重建特征；
[0017]将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。
[0018]进一步的，所述平均像素差的绝对值L
OFFN
表示为：
[0019][0020]其中，表示为所述低分辨率SAR图像；表示为所述高分辨率可见光图像；表示为所述高分辨率SAR图像；表示图像超分辨率网络映射函数输出的重建的高分辨率SAR图像；表示第m个重构特征损失的值；‖
·
‖1表示L1范数，即求平均绝对值误差。
[0021]进一步的，所述重构特征损失表示为：
[0022][0023]其中，表示为第i个所述SAR图像特征编码模块输出的特征图；表示为第log2r
‑
i个所述特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。
[0024]进一步的，所述根据可见光特征引导模块对所述浅层SAR图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的SAR图像特征的步骤，具体包括下述步骤：
[0025]对所述低分辨率SAR图像进行上采样操作，得到原始高分辨率SAR图像；
[0026]分别将所述原始高分辨率SAR图像以及所述高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到SAR图像浅层特征以及可见光浅层特征；
[0027]将所述可见光浅层特征输入至OFGM模块进行可见光特征提取操作，得到可见光特征图；
[0028]将所述可见光特征图以及所述SAR图像浅层特征进行像素相乘操作，得到相乘像素特征；
[0029]对所述相乘像素特征以及所述SAR图像浅层特征进行特征拼接操作，得到拼接特征；
[0030]将所述拼接特征输入至所述恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的SAR图像特征。
[0031]为了解决上述技术问题，本申请实施例还提供一种基于光学图像特征融合的图像
超分辨率网络训练装置，采用了如下所述的技术方案：
[0032]原始数据获取模块，用于获取原始数据，其中，所述原始数据包括高分辨率SAR图像以及高分辨率可见光图像；
[0033]下采样模块，用于对所述高分辨率SAR图像进行下采样操作，得到低分辨率SAR图像；
[0034]超分辨率转化模块，用于将所述低分辨率SAR图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；
[0035]平均像素差模块，用于计算所述超分辨率转化图像以及所述高分辨率SAR图像的平均像素差的绝对值；
[0036]参数调优模块，用于将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；
[0037]所述超分辨率转化模块包括：图像特征提取子模块、可见光特征融合子模块、特征编码子模块、局部特征重建子模块以及通道数恢复子模块，其中：
[0038]所述图像特征提取子模块，用于对所述低分辨率SAR图像进行图像特征提取操作，得到浅层SAR图像特征；
[0039]所述可见光特征融合子模块，用于根据可见光特征引导模块对所述浅层SAR图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的SAR图像特征；
[0040]所述特征编码子模块，用于根据SAR图像特征编码模块对所述可见光图像信息增强的SAR图像特征进行特征编码操作，得到深层SAR图像特征；
[0041]所述局部特征重建子模块，用于根据特征解码模块对所述深层SAR图像特征进行局部特征重建操作，得到局部重建特征；
[0042]所述通道数恢复子模块，用于将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。
[0043]进一步的，所述平均像素差的绝对值L
OFFN
表示为：
[0044][0045]其中，表示为所述低分辨率SAR图像；表示为所述高分辨率可见光图像；表示为所述高分辨率SAR图像；表示图像超分辨率网络映本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，包括下述步骤：获取原始数据，其中，所述原始数据包括高分辨率SAR图像以及高分辨率可见光图像；对所述高分辨率SAR图像进行下采样操作，得到低分辨率SAR图像；将所述低分辨率SAR图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像；计算所述超分辨率转化图像以及所述高分辨率SAR图像的平均像素差的绝对值；将所述平均像素差的绝对值作为损失函数对所述图像超分辨率网络进行参数调优操作，得到目标图像超分辨率网络；所述将所述低分辨率SAR图像以及所述高分辨率可见光图像输入至图像超分辨率网络进行超分辨率转化操作，得到超分辨率转化图像的操作，具体包括下述步骤：对所述低分辨率SAR图像进行图像特征提取操作，得到浅层SAR图像特征；根据可见光特征引导模块对所述浅层SAR图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的SAR图像特征；根据SAR图像特征编码模块对所述可见光图像信息增强的SAR图像特征进行特征编码操作，得到深层SAR图像特征；根据特征解码模块对所述深层SAR图像特征进行局部特征重建操作，得到局部重建特征；将所述局部重建特征输入至恢复卷积层进行通道数恢复操作，得到所述超分辨率转化图像。2.根据权利要求1所述的基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，所述平均像素差的绝对值L
OFFN
表示为：其中，表示为所述低分辨率SAR图像；表示为所述高分辨率可见光图像；表示为所述高分辨率SAR图像；表示图像超分辨率网络映射函数输出的重建的高分辨率SAR图像；表示第m个重构特征损失的值；‖
·
‖1表示L1范数，即求平均绝对值误差。3.根据权利要求2所述的基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，所述重构特征损失表示为：其中，表示为第i个所述SAR图像特征编码模块输出的特征图；表示为第log2r
‑
i个所述特征解码模块重构的特征图，其对应的是第i个编码模块的特征图，所以计
算重构的特征与原提取到的特征之间的损失；表示为第i个重构损失的权重，所有重构损失的和为1。4.根据权利要求1所述的基于光学图像特征融合的图像超分辨率网络训练方法，其特征在于，所述根据可见光特征引导模块对所述浅层SAR图像特征以及所述高分辨率可见光图像进行可见光特征融合操作，得到可见光图像信息增强的SAR图像特征的步骤，具体包括下述步骤：对所述低分辨率SAR图像进行上采样操作，得到原始高分辨率SAR图像；分别将所述原始高分辨率SAR图像以及所述高分辨率可见光图像输入至卷积层进行浅层特征提取操作，得到SAR图像浅层特征以及可见光浅层特征；将所述可见光浅层特征输入至OFGM模块进行可见光特征提取操作，得到可见光特征图；将所述可见光特征图以及所述SAR图像浅层特征进行像素相乘操作，得到相乘像素特征；对所述相乘像素特征以及所述SAR图像浅层特征进行特征拼接操作，得到拼接特征；将所述拼接特征输入至所述恢复卷积层进行特征通道数恢复操作，得到可见光图像信息增强的SAR图像特征。5.一种基于光学图像特征融合的图像超分辨率网络训练装置，其特征在于，所述装置包括：原始数据获取模块，用于获取原始数据，其中，所述原始数据包括高分辨率SAR图像以及高分辨率可见光图像；下采样模块，用于对所述高分辨率SAR图像进行下采样操作，得到低分辨率SAR图像；超分辨率转化模块，用于将所述低分辨率SAR图像以及所述高分辨率可...

【专利技术属性】
技术研发人员：李岩山，胥帆，
申请(专利权)人：深圳大学，
类型：发明
国别省市：