一种基于改进型Transformer网络的小麦样本图像参考超分方法技术

本发明专利技术涉及一种基于改进型Transformer网络的小麦样本图像参考超分方法，包括：获取小麦样本的LR

【技术实现步骤摘要】
一种基于改进型Transformer网络的小麦样本图像参考超分方法


[0001]本专利技术涉及高光谱图像处理
，尤其是一种基于改进型Transformer网络的小麦样本图像参考超分方法。

技术介绍

[0002]小麦是我国最重要的主粮作物之一，小麦产业发展直接关系到国家粮食安全和社会稳定，因此，对小麦品质分析是至关重要的。高光谱图像是一个包含丰富光谱和空间信息的三维数据立方体，拥有上百个连续谱段信息，极大地提高了探测和识别能力。但由于光谱分辨率和空间分辨率的互斥性，难以直接得到高空间分辨率的小麦高光谱图像。利用小麦样本低分辨率高光谱(LR
‑
HSI)图和高分辨率RGB(HR
‑
RGB)图参考超分生成高分辨率高光谱(HR
‑
HSI)图，可以克服高光谱仪器硬件条件的限制，对高光谱图像在小麦品质的分析上具有重要意义。
[0003]参考超分是指通过参考图像HR信息的补偿，将LR
‑
HSI图转化成高质量的HR
‑
HSI图。Transformer网络凭借出色的特征提取能力和自注意力机制，在参考超分任务中表现优异。然而，由于HSI图和RGB图具有不同的属性，传统Transformer网络对HSI图和RGB图不加区分的特征提取方式是不合理的，这可能会导致网络超分性能下降。随着网络层数的增加，传统Transformer网络单一尺度的特征融合方法无法融入多样特征，从而会导致图像分辨率的损失。
[0004]因此，针对以上问题，如何设计一种获取不同图像属性特征和融入多样特征细节的参考超分方法已经成为了一个亟待解决的问题。

技术实现思路

[0005]为克服传统Transformer网络不加区分的特征提取方式和单一尺度的特征融合方法导致的参考超分图像分辨率损失的缺陷，本专利技术的目的在于提供一种能够获取不同图像属性特征、融入多样特征细节的基于改进型Transformer网络的小麦样本图像参考超分方法。
[0006]为实现上述目的，本专利技术采用了以下技术方案：一种基于改进型Transformer网络的小麦样本图像参考超分方法，该方法包括下列顺序的步骤：
[0007](1)获取小麦样本的LR
‑
HSI图、HR
‑
HSI图和HR
‑
RGB图，组成图像对；
[0008](2)对获取的图像对进行预处理，得到训练样本，将训练样本划分为训练集和测试集；
[0009](3)采用双分支特征提取模块和多水平特征融合模块搭建改进型Transformer网络，利用训练样本训练改进型Transformer网络；
[0010](4)将待处理的小麦样本的LR
‑
HSI图和HR
‑
RGB图导入训练好的改进型Transformer网络，训练好的改进型Transformer网络输出参考超分HR
‑
HSI图像。
[0011]在步骤(1)中，所述小麦样本包括健康籽粒、发霉籽粒、患赤霉病籽粒、发育不良籽粒、小麦麦秆和籽粒麦壳，所述LR
‑
HSI图的维度为c
×
h
×
B，c和h分别为LR
‑
HSI图的长和宽，B为LR
‑
HSI图的通道数；所述HR
‑
HSI图的维度为kc
×
kh
×
B，k为参考超分辨率的倍数；所述HR
‑
RGB图的维度为l
×
w
×
b，l和w为HR
‑
RGB图的长和宽，b为HR
‑
RGB图的通道数。
[0012]所述步骤(2)具体包括以下步骤：
[0013](2a)对图像对进行阈值去噪处理，去除采集时的噪声；
[0014](2b)将去噪后的图像对进行配准，步骤如下：
[0015](2b1)将通道数为B的LR
‑
HSI图、HR
‑
HSI图经过CIE 1931颜色转换函数转化为通道数为3的伪RGB图；
[0016](2b2)将伪RGB图与HR
‑
RGB图输入图像配准模型，将配准后的图像对进行封装，得到训练样本，将训练样本划分为训练集和测试集。
[0017]所述步骤(3)具体是指：所述改进型Transformer网络包含双分支特征提取模块和多水平特征融合模块：
[0018]所述双分支特征提取模块包括用于提取LR
‑
HSI图的纹理和光谱特征细节的LR
‑
HSI图像特征提取分支，以及用于提取HR
‑
RGB图的纹理和光谱特征细节的HR
‑
RGB图像特征提取分支，LR
‑
HSI图像特征提取分支和HR
‑
RGB图像特征提取分支为并行结构，LR
‑
HSI图像特征提取分支、HR
‑
RGB图像特征提取分支均由浅层特征提取模块和深层特征提取模块组成；
[0019]所述浅层特征提取模块采用Transformer编码器、解码器结构，HR
‑
RGB图和经下采样和上采样操作后的HR
‑
RGB图通过HR
‑
RGB图像特征提取分支转换成特征向量V
s
、K
s
，所述上采样和下采样操作均指双三次插值函数；LR
‑
HSI图通过LR
‑
HSI图像特征提取分支转换为特征向量Q
s
，浅层特征提取函数表达式为：
[0020](Q
s
)
shallow
＝MatMul((vector
LR
‑
HSI
),W
Q
)
[0021](V
s
,K
s
)
shallow
＝(MatMul((vector
HR
‑
RGB
),W
v
),MatMul((vector
HR
‑
RGB
↓↑
),W
k
))
[0022]其中，MatMul()表示矩阵乘法函数，vector
LR
‑
HSI
表示LR
‑
HSI图原始图像向量，vector
HR
‑
RGB
表示HR
‑
RGB图原始图像向量，vector
HR
‑
RGB
↓↑
表示经下采样和上采样操作后的HR
‑
RGB图的原始图像向量，W
Q
，W
k
和W
v...

【技术保护点】

【技术特征摘要】
1.一种基于改进型Transformer网络的小麦样本图像参考超分方法，其特征在于：该方法包括下列顺序的步骤：(1)获取小麦样本的LR
‑
HSI图、HR
‑
HSI图和HR
‑
RGB图，组成图像对；(2)对获取的图像对进行预处理，得到训练样本，将训练样本划分为训练集和测试集；(3)采用双分支特征提取模块和多水平特征融合模块搭建改进型Transformer网络，利用训练样本训练改进型Transformer网络；(4)将待处理的小麦样本的LR
‑
HSI图和HR
‑
RGB图导入训练好的改进型Transformer网络，训练好的改进型Transformer网络输出参考超分HR
‑
HSI图像。2.根据权利要求1所述的基于改进型Transformer网络的小麦样本图像参考超分方法，其特征在于：在步骤(1)中，所述小麦样本包括健康籽粒、发霉籽粒、患赤霉病籽粒、发育不良籽粒、小麦麦秆和籽粒麦壳，所述LR
‑
HSI图的维度为c
×
h
×
B，c和h分别为LR
‑
HSI图的长和宽，B为LR
‑
HSI图的通道数；所述HR
‑
HSI图的维度为kc
×
kh
×
B，k为参考超分辨率的倍数；所述HR
‑
RGB图的维度为l
×
w
×
b，l和w为HR
‑
RGB图的长和宽，b为HR
‑
RGB图的通道数。3.根据权利要求1所述的基于改进型Transformer网络的小麦样本图像参考超分方法，其特征在于：所述步骤(2)具体包括以下步骤：(2a)对图像对进行阈值去噪处理，去除采集时的噪声；(2b)将去噪后的图像对进行配准，步骤如下：(2b1)将通道数为B的LR
‑
HSI图、HR
‑
HSI图经过CIE 1931颜色转换函数转化为通道数为3的伪RGB图；(2b2)将伪RGB图与HR
‑
RGB图输入图像配准模型，将配准后的图像对进行封装，得到训练样本，将训练样本划分为训练集和测试集。4.根据权利要求1所述的基于改进型Transformer网络的小麦样本图像参考超分方法，其特征在于：所述步骤(3)具体是指：所述改进型Transformer网络包含双分支特征提取模块和多水平特征融合模块：所述双分支特征提取模块包括用于提取LR
‑
HSI图的纹理和光谱特征细节的LR
‑
HSI图像特征提取分支，以及用于提取HR
‑
RGB图的纹理和光谱特征细节的HR
‑
RGB图像特征提取分支，LR
‑
HSI图像特征提取分支和HR
‑
RGB图像特征提取分支为并行结构，LR
‑
HSI图像特征提取分支、HR
‑
RGB图像特征提取分支均由浅层特征提取模块和深层特征提取模块组成；所述浅层特征提取模块采用Transformer编码器、解码器结构，HR
‑
RGB图和经下采样和上采样操作后的HR
‑
RGB图通过HR
‑
RGB图像特征提取分支转换成特征向量V
s
、K
s
，所述上采样和下采样操作均指双三次插值函数；LR
‑
HSI图通过LR
‑
HSI图像特征提取分支转换为特征向量Q
s
，浅层特征提取函数表达式为：(Q
s
)
shallow
＝MatMuI((vector
LR
‑
HSI
)，W
Q
)(V
s
，K
s
)
shallow
＝(MatMul((vector
HR
‑
RGB
)，W
v
)，MatMul((vector
HR
‑
RGB
↓↑
)，W
k
))其中，MatMul()表示矩阵乘法函数，vector
LR
‑
HSI
表示LR
‑
HSI图原始图像向量，vector
HR
‑
RGB
表示HR
‑
RGB图原始图像向量，vector
HR
‑
RGB
↓↑
表示经下采样和上采样操作后的HR
‑
RGB图的原始图像向量，W
Q
，W
k
和W
v
均表示线性层权重矩阵，(Q
s
...

【专利技术属性】
技术研发人员：翁士状，张巧巧，施金鹏，朱睿，汪聪，潘美静，谭羽健，张盛羽，
申请(专利权)人：安徽大学，
类型：发明
国别省市：