基于全卷积神经网络与变换器的卫星图像语义分割方法及系统技术方案

本发明专利技术基于全卷积神经网络与变换器的卫星图像语义分割的方法及系统，方法包括:1)对卫星图像进行除雾去噪处理；2)采用多层即深度下抽样卷积神经网络提取卫星图像特征；3)利用具有自注意力机制变换器优化卫星图像特征；4)利用上抽样实现卫星图像的语义分割。本发明专利技术利用自动编码机对图像进行除雾去噪，使得卫星图像更清晰，利用卷积网络提取卫星图像特征的同时，设计一个转换器的自注意网络，利用权重分布，进一步提取卫星图像，最后自注意层的特征图进行上采样得到原图大小的分割，还通过跳级结构将富有全局信息最后一层的预测和富有局部信息更浅层的预测结合，在遵守全局预测的同时进行局部预测，实现精准的语义分割。实现精准的语义分割。实现精准的语义分割。

【技术实现步骤摘要】
基于全卷积神经网络与变换器的卫星图像语义分割方法及系统


[0001]本专利技术属于深度学习的卫星图像模式的分割与识别
，具体涉及一种有效的分割与识别策略，即一种基于全卷积神经网络与变换器的卫星图像语义分割方法及系统。

技术介绍

[0002]卫星遥感图像的处理，在国民经济建设与国防建设中，有着极其重要的作用。遥感图像经过处理后得到的卫星图像包含了大量的信息,其数据量大、数据类型复杂多样。传统的目标检测识别方法难以适应海量数据,依赖人工标注,非常耗时耗力,且强烈依赖于专业知识和数据本身的特征。
[0003]基于深度学习的方法提供了非常有效的特征提取框架,使得其在卫星遥感图像的识别、分类中得到广泛的应用。图像的像素级语义分割是将图像的像素与图像的分类一一对应，是对图像中每个像素进行识别的算法，对图像的像素级别进行理解。
[0004]目前常用的船舶识别方法中采用的模板匹配法、背景建模法等目标识别方法，其效果不理想，不确定性高。同时，由于卫星图像中的船只尺寸相对较小、云雾遮挡、陆地背景干扰等问题，因此对卫星图像中的船只实现自动识别仍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，按如下步骤进行：步骤1)，对卫星图像进行除雾去噪处理；步骤2)，采用多层即深度下抽样卷积神经网络提取卫星图像特征；步骤3)，利用具有自注意力机制变换器优化卫星图像特征；步骤4)，利用上抽样去卷积实现卫星图像的语义分割。2.根据权利要求1所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤1)，采用自动编码机对卫星图像进行除雾去噪。3.根据权利要求2所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤1)具体如下：将卫星图像上的像素矩阵转换为向量，作为自动编码机识别网络的输入，其输入为x＝[x(1),x(2)
……
x(d)]，d为维数，编码器通过映射函数f将x从输入层投影到第一隐含层h1，h1＝[h1(1),h1(2)
……
h1(d
h1
)]，f为：h1＝f(x)＝Relu(W1x+b1)；其中W1是h1(d
h1
)
×
d权重矩阵，b1是偏差向量；再通过映射函数f将h1从第一隐含层投影到第二隐含层h2，h2＝[h2(1),h2(2)
……
h2(d
h2
)]，f为：h2＝f(x)＝Relu(W2h1+b2)；其中，W2是h2(d
h2
)
×
h1权重矩阵；解码器的激活函数ReLu为修正线性单元函数；通过映射函数将隐含层表示的h2映射到输出层的其中函数为采用随机梯度下降算法对权值W1，W2,进行调整,即使用误差反向传播算法对误差损失函数的梯度信息进行反向传播，同时更新所有的模型参数，这里损失函数假定为更新的网络权重参数为更新的网络权重参数为更新的网络权重参数为ρ为学习率，i代表第i个神经元，k为迭代次数，为求导数符号。4.根据权利要求3所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤2)具体如下：将自动编码机的输出向量变成矩阵，作为深度卷积网络的输入；利用深度卷积神经网络的骨干网络，对于m
×
m图像，采用卷积计算公式具体为其中，下标i,j为像素点位置；卷积核参数学习通过下列公式实现：
β为学习率，k为学习迭代次数。5.根据权利要求4所述基于全卷积神经网络与变换器的卫星图像语义分割方法，其特征在于，步骤3)具体如下：利用带有自注意力机制的转换器对骨干网输出的向量进行特征提取，自注意力机制中的Q为输入向量与搜索矩阵生成的图像查询特征，K表示网络根据输入向量生成的键值，V表示网络根据输入向量生成...

【专利技术属性】
技术研发人员：胡淼，李舒琴，杨国伟，周雪芳，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：