基于空-谱自注意力机制的医学高光谱影像分类方法技术

本发明专利技术公开了一种基于空

【技术实现步骤摘要】
基于空
‑
谱自注意力机制的医学高光谱影像分类方法


[0001]本专利技术涉及一种高光谱影像处理技术，尤其涉及一种基于空
‑
谱自注意力机制的医学高光谱影像分类方法。

技术介绍

[0002]高光谱成像技术是一种先进的图像空间信息与光谱信息提取技术，能同时获取拍摄对象的二维空间信息和一维光谱信息，覆盖可见光、红外和紫外等光谱范围。近年来，因高光谱成像可提供有关组织生理、形态和生化成分的诊断信息，为生物组织学研究提供精细的光谱特征，其作为一种非侵入性的辅助诊断手段，正逐渐受到广泛关注，并已成功应用于非侵入性疾病的诊断和监测、图像引导的微创手术和药物剂量评估等。随着精准医学理论的高速发展，如何针对高光谱医学图像高维度、高冗余度以及“图谱合一”的特点，设计高效与精确的诊断算法已成为医学高光谱图像分析领域的研究热点。
[0003]传统的医学高光谱图像分类方法通常在提取手工特征之后，使用分类器对其分类，然而传统分类方法无法提取深层特征，其性能受到很大限制。近年来，深度学习作为一种端到端的方法，已开始应用于医学高光谱图像处理领域。深度学习依靠数据驱动，能够学习图像的低层级、中层级及高层级特征的各层级特征。在这其中，卷积神经网络因其使用局部感受野以及平移不变性的特点，在诊断任务中表现优异。然而，高光谱图像波段数量丰富，传统的卷积神经网络无法在长距离波段之间挖掘有效的关系信息，并扭曲其原有的光谱序列关系。这限制了卷积神经网络方法在医学高光谱图像上的性能。
[0004]最近，Transformer以其强大的全局建模能力而受到广泛关注。Transformer中的自注意力机制，可以捕获长距离光谱波段间的关系，更好地对光谱序列建模，已在医学高光谱图像领域取得一定成效。然而医学高光谱图像在获取过程中，由于采集设备、操作手段，以及预处理方式(光谱矫正、降噪以及解混等)的不同，其光谱分辨率、空间分辨率也往往不同，所拍摄生物组织的光谱曲线差异较大。因此，每个具体的诊断任务往往需要设计不同的算法。当Transformer算法应用于不同的诊断任务时，其性能难以满足更进一步的精度需求。此外，传统的高光谱图像分类深度学习算法中，往往进行单一的输出预测，未能结合多个视野的信息对图像类别进行综合预测，这给模型的性能带来了瓶颈。

技术实现思路

[0005]针对
技术介绍
中的问题，本专利技术提出了一种基于空
‑
谱自注意力机制的医学高光谱影像分类方法，其创新在于：包括：
[0006]S1：对获取到的原始高光谱影像进行归一化处理，得到归一化图像；
[0007]S2：以目标样本为中心对归一化图像进行裁剪，得到裁剪后图像；
[0008]S3：将裁剪后图像输入处理单元进行处理：处理单元由三个结构相同的Transformer编码器构成，三个Transformer编码器的内部卷积核尺寸不同；按内部卷积核尺寸由大至小，将三个Transformer编码器分别记为第一编码器、第二编码器、第三编码器；
第一编码器按方法一对裁剪后图像进行处理，得到第一空
‑
谱特征，第二编码器按方法二对第一空
‑
谱特征进行处理，得到第二空
‑
谱特征，第三编码器按方法三对第二空
‑
谱特征进行处理，得到第三空
‑
谱特征；
[0009]S4：将第一空
‑
谱特征输入第一分类器，第一分类器输出第一预测结果，将第二空
‑
谱特征输入第二分类器，第二分类器输出第二预测结果，将第三空
‑
谱特征输入第三分类器，第三分类器输出第三预测结果；
[0010]S5：将第一预测结果、第二预测结果和第三预测结果进行加权融合，得到最终预测结果；最终预测结果包含多个概率，每个概率对应一种医学语义类别；
[0011]所述分类器能根据空
‑
谱特征(分类器和编码器已预先完成训练，训练时，分类器和编码器作为整体网络进行训练)，对目标样本属于不同医学语义类别的概率进行预测；所述预测结果包含多个概率，每个概率对应一种医学语义类别；
[0012]所述方法一包括：
[0013]1)通过第一编码器的多层感知机模块将裁剪后图像映射为三个矩阵Q1、K1、V1；
[0014]2)基于空间注意力机制对矩阵Q1进行处理，从矩阵Q1中提取出空间特征
[0015]3)基于光谱注意力机制对矩阵K1进行处理，从矩阵K1中提取出光谱特征
[0016]4)将和进行点积，得到第一空
‑
谱自注意力参数
[0017]5)基于自注意力机制，根据第一空
‑
谱自注意力参数，从矩阵V1中提取出第一空
‑
谱特征步骤5)的过程表示如下：
[0018][0019]其中f
a
×
a
×
a
(V1)表示对矩阵V1中感受野大小为a
×
a
×
a的区域作3D卷积处理，a
×
a
×
a为第一编码器的感受野大小，
⊙
表示点积操作(请注意，步骤5)公式中的点积操作与步骤4)中的点积操作为两次不同的点积操作，f
a
×
a
×
a
(V1)实质上是对矩阵V1作初步的特征提取，然后再通过将和f
a
×
a
×
a
(V1)作点积操作来提取到第一空
‑
谱特征)；
[0020]所述方法二包括：
[0021]A)通过第二编码器的多层感知机模块将第一空
‑
谱特征映射为三个矩阵Q2、K2、V2；
[0022]B)基于空间注意力机制对矩阵Q2进行处理，从矩阵Q2中提取出空间特征
[0023]C)基于光谱注意力机制对矩阵K2进行处理，从矩阵K2中提取出光谱特征
[0024]D)将和进行点积，得到第二空
‑
谱自注意力参数
[0025]E)将第一空
‑
谱自注意力参数和第二空
‑
谱自注意力参数进行拼接融合处理，然后用一个卷积层对拼接融合后的成果进行降维处理，得到第一融合自注意力参数，然后，基于自注意力机制，根据第一融合自注意力参数，从矩阵V2中提取出第二空
‑
谱特征步骤E)的过程表示如下：
[0026][0027]其中，表示对和拼接融合后的成果进行降
维处理，f
b
×
b
×
b
(V2)表示对矩阵V2中感受野大小为b
×
b
×
b的区域作3D卷积处理，b
×
b
×
b为第二编码器的感受野大小，Concat(
·
)表示拼接融合处理(请注意，步骤E本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空
‑
谱自注意力机制的医学高光谱影像分类方法，其特征在于：包括：S1：对获取到的原始高光谱影像进行归一化处理，得到归一化图像；S2：以目标样本为中心对归一化图像进行裁剪，得到裁剪后图像；S3：将裁剪后图像输入处理单元进行处理：处理单元由三个结构相同的Transformer编码器构成，三个Transformer编码器的内部卷积核尺寸不同；按内部卷积核尺寸由大至小，将三个Transformer编码器分别记为第一编码器、第二编码器、第三编码器；第一编码器按方法一对裁剪后图像进行处理，得到第一空
‑
谱特征，第二编码器按方法二对第一空
‑
谱特征进行处理，得到第二空
‑
谱特征，第三编码器按方法三对第二空
‑
谱特征进行处理，得到第三空
‑
谱特征；S4：将第一空
‑
谱特征输入第一分类器，第一分类器输出第一预测结果，将第二空
‑
谱特征输入第二分类器，第二分类器输出第二预测结果，将第三空
‑
谱特征输入第三分类器，第三分类器输出第三预测结果；S5：将第一预测结果、第二预测结果和第三预测结果进行加权融合，得到最终预测结果；最终预测结果包含多个概率，每个概率对应一种医学语义类别；所述分类器能根据空
‑
谱特征，对目标样本属于不同医学语义类别的概率进行预测；所述预测结果包含多个概率，每个概率对应一种医学语义类别；所述方法一包括：1)通过第一编码器的多层感知机模块将裁剪后图像映射为三个矩阵Q1、K1、V1；2)基于空间注意力机制对矩阵Q1进行处理，从矩阵Q1中提取出空间特征3)基于光谱注意力机制对矩阵K1进行处理，从矩阵K1中提取出光谱特征4)将和进行点积，得到第一空
‑
谱自注意力参数5)基于自注意力机制，根据第一空
‑
谱自注意力参数，从矩阵V1中提取出第一空
‑
谱特征步骤5)的过程表示如下：其中f
a
×
a
×
a
(V1)表示对矩阵V1中感受野大小为a
×
a
×
a的区域作3D卷积处理，a
×
a
×
a为第一编码器的感受野大小，
⊙
表示点积操作；所述方法二包括：A)通过第二编码器的多层感知机模块将第一空
‑
谱特征映射为三...

【专利技术属性】
技术研发人员：黄鸿，李远，谭崎娟，
申请(专利权)人：重庆大学，
类型：发明
国别省市：