一种基于可形变卷积的高光谱图像分类方法技术

本发明专利技术公开了一种基于可形变卷积的高光谱图像分类方法，所提出的空间

【技术实现步骤摘要】
一种基于可形变卷积的高光谱图像分类方法


[0001]本专利技术涉及遥感影像分类
，具体涉及一种基于可形变卷积的高光谱图像分类方法。

技术介绍

[0002]高光谱遥感影像(Hyperspectral Remote Sensing Image,HSI)由数百个连续的波段组成，光谱分辨率可达纳米级，包含了丰富的光谱信息。此外，HSI还具有图谱合一的特性，可以同时利用丰富的光谱特征和空间特征，进而实现对地物的精细分类。目前HSI已广泛应用于植被分析、矿产资源开发以及精准农业等领域。
[0003]HSI存在数据量大、波段相关性强、光谱特征冗余以及标记样本缺乏等问题，使得HSI在分类与目标识别应用中面临诸多挑战。传统的HSI分类方法主要包括：支持向量机、多项式逻辑回归以及随机森林等。然而，这些方法都依赖于人工设计的特征，需要设计严密的模型，进行复杂的数学推导，不能依据数据进行自主特征学习，模型的鲁棒性与适用性都有待提高。
[0004]近年来，深度学习方法极大地促进了HSI分类的发展。深度学习是机器学习中具有深层结构的神经网络算法，其动机在于建立模拟人脑进行分析学习的神经网络，通过分层方式组合低层特征，自主学习图像的深层特征。其中，卷积神经网络(Convolutional neural networks，CNN)基于其独特的卷积操作，对空间特征有着更强的特征提取能力，在HSI分类任务中的应用十分广泛，发展了1D
‑
CNN、2D
‑
CNN以及3D
‑
CNN等方法，1D
‑
CNN将图像压缩为一维向量提取光谱特征；2D
‑
CNN利用二维卷积核在图像空间维上进行特征提取，能够对图像的空间信息进行建模，但忽略了对光谱特征的提取；3D
‑
CNN同时提取光谱维和空间维的特征信息，充分发挥了HSI图谱合一的特性，可以取得更好的分类效果。如何使用卷积神经网络充分提取HSI丰富的空间
‑
光谱特征仍需要进一步的研究。
[0005]其次，在图像分类任务中，感受野是一个关键问题，模型通常需要多尺度感受野，以获得不同尺度特征。为获取全局特征，需要较大的感受野以确保重要信息不被遗漏。一方面，通过增大卷积核尺寸可以直观地增大感受野；另一方面，堆叠更多的卷积层，使网络结构更深，理论上会线性增加模型的感受野。
[0006]针对感受野问题，先后发展了空洞卷积以及可形变卷积等方法。空洞卷积通过扩大采样间隔的方式，在保持参数量不变的情况下，扩大感受野。但当叠加的卷积层使用同一采样间隔时，会产生网格效应，导致信息丢失。可形变卷积通过卷积层为每个采样点学习偏移量，利用偏移后的采样点，实现自适应感受野采样。相较于空洞卷积固定间隔采样的方法，可形变卷积的偏移量是可学习的。然而，HSI通常切块进行分类，导致可形变卷积在空间维上的偏移范围受限。若扩大窗口尺寸，则会引入干扰像元，导致边界模糊，细节信息丢失。可形变卷积在HSI分类中的应用还需要进一步研究。

技术实现思路

[0007]本专利技术目的在于提供一种基于可形变卷积的高光谱图像分类方法，用于增强模型的特征提取能力以及视觉感受野，该方法所要解决的技术问题如下：
[0008]1.如何利用CNN充分提取HSI的空谱联合特征；
[0009]2.如何在只增加少量参数的情况下，使模型学习自适应感受野；
[0010]3.如何突破空间可形变卷积存在的窗口尺寸过大以及偏移范围受限等问题。
[0011]本专利技术为了解决上述技术问题采用以下技术方案：首先，设计了一种新的空间
‑
光谱特征提取模型，在只使用少量卷积层的情况下，获得了较高的分类精度；其次，将可形变卷积应用到了光谱特征提取中，提出了光谱可形变卷积模块，通过偏移采样实现自适应感受野，使得光谱特征集中于有效波段；最后，将提出的模型与光谱可形变卷积模块相结合，设计了光谱可形变卷积网络(Spectral deformable convolutional neural network，SDCNN)。
[0012]为实现以上功能，本专利技术设计一种基于可形变卷积的高光谱图像分类方法，针对目标区域，采集目标区域的包含各预设类别的地物的高光谱图像，执行步骤A对高光谱图像进行预处理，构建并训练步骤B
‑
步骤I所描述的光谱可形变卷积网络，并应用光谱可形变卷积网络，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类：
[0013]步骤A.针对所采集的目标区域的高光谱图像，提取张量形式的高光谱数据，以9
×
9的窗口对高光谱数据进行切块,获得各切块后的特征图，分别针对各切块后的特征图，进行如下步骤B
‑
步骤I:
[0014]步骤B.针对步骤A所获得的特征图，采用1
×1×
9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，同时对特征图进行光谱维的降维，其中三维卷积模块为Valid形式；
[0015]步骤C.针对步骤B所获得的特征图，采用1
×1×
9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，其中三维卷积模块为same形式，该三维卷积模块不改变特征图的尺寸；
[0016]步骤D.构建光谱维膨胀模块，用于增加特征图的光谱维，光谱维膨胀模块以步骤C所获得的特征图为输入，以光谱维增加后的特征图为输出；
[0017]其中，定义步骤C所获得的特征图的光谱维为M，基于1
×1×
M，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维大于特征图的光谱维M，交换通道维和光谱维，获得光谱维增加后的特征图；
[0018]步骤E.构建光谱维压缩模块，用于压缩特征图的光谱维，光谱维压缩模块以步骤D所获得的特征图为输入，以光谱维压缩后的特征图为输出；
[0019]其中，定义步骤D所获得的特征图的光谱维为N，基于1
×1×
N，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维小于特征图的光谱维N，交换通道维和光谱维，获得光谱维压缩后的特征图；
[0020]步骤F.针对步骤E所获得的特征图，基于5
×5×
12的三维卷积模块对特征图进行空间
‑
光谱联合特征提取，获得特征图的空间
‑
光谱联合特征；
[0021]步骤G.针对步骤F所获得的特征图的空间
‑
光谱联合特征，基于空间全局平均池化方法，将空间
‑
光谱联合特征整合为全局空间特征，其中空间全局平均池化方法的池化窗口
尺寸与特征图的空间维度尺寸一致；
[0022]步骤H.针对步骤G所获得的全局空间特征，通过引入Flatten层，将全局空间特征展平为一维张量；
[0023]步骤I.针对步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可形变卷积的高光谱图像分类方法，其特征在于，针对目标区域，采集目标区域的包含各预设类别的地物的高光谱图像，执行步骤A对高光谱图像进行预处理，构建并训练步骤B
‑
步骤I所描述的光谱可形变卷积网络，并应用光谱可形变卷积网络，完成高光谱图像中各像素的分类，进而实现目标区域的地物分类：步骤A.针对所采集的目标区域的高光谱图像，提取张量形式的高光谱数据，以9
×
9的窗口对高光谱数据进行切块,获得各切块后的特征图，分别针对各切块后的特征图，进行如下步骤B
‑
步骤I:步骤B.针对步骤A所获得的特征图，采用1
×1×
9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，同时对特征图进行光谱维的降维，其中三维卷积模块为Valid形式；步骤C.针对步骤B所获得的特征图，采用1
×1×
9的三维卷积模块对特征图的各像素点进行采样，对采样点进行光谱特征提取，其中三维卷积模块为same形式，该三维卷积模块不改变特征图的尺寸；步骤D.构建光谱维膨胀模块，用于增加特征图的光谱维，光谱维膨胀模块以步骤C所获得的特征图为输入，以光谱维增加后的特征图为输出；其中，定义步骤C所获得的特征图的光谱维为M，基于1
×1×
M，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维大于特征图的光谱维M，交换通道维和光谱维，获得光谱维增加后的特征图；步骤E.构建光谱维压缩模块，用于压缩特征图的光谱维，光谱维压缩模块以步骤D所获得的特征图为输入，以光谱维压缩后的特征图为输出；其中，定义步骤D所获得的特征图的光谱维为N，基于1
×1×
N，Valid形式的三维卷积模块，对特征图进行卷积并进行张量形状转化，且该三维卷积模块的通道维小于特征图的光谱维N，交换通道维和光谱维，获得光谱维压缩后的特征图；步骤F.针对步骤E所获得的特征图，基于5
×5×
12的三维卷积模块对特征图进行空间
‑
光谱联合特征提取，获得特征图的空间
‑
光谱联合特征；步骤G.针对步骤F所获得的特征图的空间
‑
光谱联合特征，基于空间全局平均池化方法，将空间
‑
光谱联合特征整合为全局空间特征，其中空间全局平均池化方法的池化窗口尺寸与特征图的空间维度尺寸一致；步骤H.针对步骤G所获得的全局空间特征，通过引入Flatten层，将全局空间特征展平为一维张量；步骤I.针对步骤H所获得的一维张量，引入全连接层，以一维张量作为全连接层的输入，以各像素点属于各预设类别的概率...

【专利技术属性】
技术研发人员：薛朝辉，李博，
申请(专利权)人：河海大学，
类型：发明
国别省市：