融合注意力机制和多尺度深度纹理特征的遥感图像场景分类方法技术

本发明专利技术涉及融合注意力机制和多尺度深度纹理特征的遥感图像场景分类方法，对彩色图像的R、G、B通道分别通过Haar小波变换，将第一级小波变换特征图像直接作为网络输入层，提取图像的深度特征；根据一级小波变换对特征图进行二级小波变换，将二级小波变换特征图像作为小波

【技术实现步骤摘要】
融合注意力机制和多尺度深度纹理特征的遥感图像场景分类方法


[0001]本专利技术属于图像处理
，具体涉及一种基于深度学习的高分辨遥感图像的分类方法，可用于遥感图像的目标检测与识别。

技术介绍

[0002]遥感技术是通过飞机、人造卫星、微波雷达等设备从高空或者外层空间接收地球表面各类地物目标的电磁波信息，从而观测地球上的资源与环境，遥感图像由此产生。高分辨遥感图像场景分类是遥感图像分析与解译的核心问题，此类遥感图像的空间分辨率一般较高，地物目标具有丰富的形态信息，图像分类时，不考虑每张图像中包含哪几类地物，而是将其作为一个整体，根据图像整体特征确定地物类别。目前，高分辨遥感图像场景分类技术已被广泛应用于自然灾害预防、城市管理、地物覆盖类型判断、植被制图、自然环境变化检测等领域中。
[0003]随着深度学习算法，尤其是卷积神经网络(convolutional neural network，CNN)模型的发展，研究者逐渐使用深度特征替代底层特征。相比于传统算法，深度特征表现出强大的特征表示能力，为改善遥感图像的场景分类提供了新的途径。高分辨遥感图像中具有丰富的特征，为了获得深层语义特征，卷积神经网络也逐渐成为解决高分辨遥感图像分类问题的核心算法之一。Christian Szegedy等人提出一种改进的ResNet模型，通过减小残差卷积层数，缩短训练时间；通过引入1
×
1卷积层，整合特征。实验结果表明分类效果优于原始结构。Karen Simonyan对比了手工特征、数据驱动特征在遥感场景分类问题中的性能，证明了数据驱动特征的精度和稳定性更高；而手工特征运算效率更高，所需训练样本更少。
[0004]最近的研究表明，来自不同特征描述子或不同卷积层的融合特征在场景理解中具有更强的区分性，并且在提高分类精度方面具有更大的潜力。例如，武汉大学钟燕飞教授等人提取了Gabor滤波、GLCM、高斯小波、形状特征、简单辐射特征和SIFT特征六种不同的特征，并根据上述特征的不同组合对遥感图像进行了索引。Piotr Porwik等人利用注意力网络对遥感场景图像中的多尺度区分区域进行定位，然后利用分类网络对定位后的区域进行特征融合。上述研究都取得了显著的成果，很好地证明了特征融合是图像表示和场景分类的有效步骤。

技术实现思路

[0005]要解决的技术问题
[0006]针对基于深度学习的高分辨遥感图像分类算法对于空间特征考虑不全，细节和纹理信息提取不充分的问题，本专利技术提供一种融合注意力机制和多尺度深度纹理特征的遥感图像场景分类方法，以增强网络对于纹理信息的提取，提高分类的精度。
[0007]技术方案
[0008]一种融合注意力机制和多尺度深度纹理特征的遥感图像场景分类方法，其特征在
于步骤如下：
[0009]步骤1：输入彩色遥感图像，先对图像进行通道分解，得到图像的R、G、B三个通道分量；对彩色图像的R、G、B通道分别通过Haar小波变换分解为四个分量：低通低通LL、低通高通LH、高通低通HL和高通高通HH，再将3个通道得到的变换图像进行提取得到彩色图像的小波变换图像；
[0010]步骤2：将步骤1最后得到的彩色图像的小波变换特征图像直接作为网络输入层，所述的网络包括一个3
×
3，步长为1的卷积层和一个3
×
3，步长为2的卷积层；
[0011]初始卷积通道设定为64，卷积核大小为3
×
3，步长为1，提取图像的深度特征；然后激活输出通过3
×
3，步长为2的卷积层，相当于通过下采样将高度和宽度变为原来的1/2，并且通道数保持不变；
[0012]步骤3：根据步骤1中一级小波变换结果，对低通低通LL、低通高通LH、高通低通HL和高通高通HH各特征图像进行二级小波变换；多级小波变换每一级输出图像，都会对输入图像进行一次倍数为2的下采样操作；当输入图像的高度和宽度分别为h和w，通过j级小波变换后，图像将转变为(h/2
j
)
×
(w/2
j
)；
[0013]步骤4：根据得到的二级小波变换特征图像，将其作为小波
‑
注意力融合模块的输入，模块的输出通过通道匹配卷积层，使其通道数与一级深度小波特征通道数相等；
[0014]所述的小波
‑
注意力融合模块使用的融合运算规则定义如下：
[0015]A(Conv(X
LL
),S(G(F(Conv(X
LH
,X
HL
,X
HH
)))))
[0016]其中，Conv(.)表示卷积运算，小波变换后的四个分量均由R、G、B三个通道叠加产生，卷积运算后通道数扩大为c；F(.)表示特征整合，通过广播元素相加将三个分量聚集为全局细节特征；G(.)表示挤压，通过全局平均池化，数据被压缩为c
×1×
1的向量；S(.)表示激励，挤压后的数据先通过全连接层1转换为(c/4)
×1×
1，激活函数为relu；再通过全连接层2，转换为c
×1×
1，激活函数为softmax；A(.)表示注意，根据三个分量得到的激励权重与分量进行广播乘法，得到融合后的小波特征；
[0017]根据一级深度小波特征和二级深度小波特征的通道数，特征图大小相等，激活输出通过广播元素相加法进行融合，此融合方法必须保证通道数和特征图尺寸相等；
[0018]步骤5：将步骤4的输出，通过一个3
×
3，步长为1的卷积层和一个3
×
3，步长为2的卷积层，该卷积模块输出小波融合特征通道数扩大为原先的2倍；然后对步骤2得到的二级小波变换结果进行三级小波变换，重复步骤4，得到深度小波融合特征，最后，将得到的深度小波融合特征通过卷积模块输出小波融合特征通道数扩大为原先的2倍；对上述的三级小波变换进行四级小波变换，重复步骤4，得到最终的深度小波融合特征；
[0019]步骤6：将步骤5最终得到的深度小波特征图像作为1
×
1的卷积层的输入，输出特征整合后的深度小波特征图像，然后将该小波特征图像再输入一个1
×
1的卷积层，输出的小波特征图像的维度减半，最后通过一个平均池化层，输出的小波特征图像的长和宽变为原来的1/2，减少了特征图大小；
[0020]步骤7：将步骤6最终得到小波特征图像输入全连接层，全连接层后添加dropout层，让一部分神经元不参与训练，增强网络的泛化能力；最后通过softmax层，输出类概率进行分类预测。
[0021]本专利技术进一步的技术方案：所述的小波变换的定义公式如下：
[0022][0023]i＝{H,V,D}
[0024]其中，(x，y)为图像像素点的坐标，φ
j，m，n
(x,y)为图像分解的尺度函数，为小波函数，i表示小波方向，包括水平方向H，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合注意力机制和多尺度深度纹理特征的遥感图像场景分类方法，其特征在于步骤如下：步骤1：输入彩色遥感图像，先对图像进行通道分解，得到图像的R、G、B三个通道分量；对彩色图像的R、G、B通道分别通过Haar小波变换分解为四个分量：低通低通LL、低通高通LH、高通低通HL和高通高通HH，再将3个通道得到的变换图像进行提取得到彩色图像的小波变换图像；步骤2：将步骤1最后得到的彩色图像的小波变换特征图像直接作为网络输入层，所述的网络包括一个3
×
3，步长为1的卷积层和一个3
×
3，步长为2的卷积层；初始卷积通道设定为64，卷积核大小为3
×
3，步长为1，提取图像的深度特征；然后激活输出通过3
×
3，步长为2的卷积层，相当于通过下采样将高度和宽度变为原来的1/2，并且通道数保持不变；步骤3：根据步骤1中一级小波变换结果，对低通低通LL、低通高通LH、高通低通HL和高通高通HH各特征图像进行二级小波变换；多级小波变换每一级输出图像，都会对输入图像进行一次倍数为2的下采样操作；当输入图像的高度和宽度分别为h和w，通过j级小波变换后，图像将转变为(h/2
j
)
×
(w/2
j
)；步骤4：根据得到的二级小波变换特征图像，将其作为小波
‑
注意力融合模块的输入，模块的输出通过通道匹配卷积层，使其通道数与一级深度小波特征通道数相等；所述的小波
‑
注意力融合模块使用的融合运算规则定义如下：A(Conv(X
LL
),S(G(F(Conv(X
LH
,X
HL
,X
HH
)))))其中，Conv(.)表示卷积运算，小波变换后的四个分量均由R、G、B三个通道叠加产生，卷积运算后通道数扩大为c；F(.)表示特征整合，通过广播元素相加将三个分量聚集为全局细节特征；G(.)表示挤压，通过全局平均池化，数据被压缩为c
×1×
1的向量；S(.)表示激励，挤压后的数据先通过全连接层1转换为(c/4)
×1×
1，激...

【专利技术属性】
技术研发人员：宋婉莹，朱瑞景，刘倩，王池，王安义，张鹏，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：