一种高效的遥感图像自监督学习训练方法技术

本发明专利技术公开了一种自监督学习训练加速方法，通过提取网络损失的梯度归一化值来实现对样本难度的评估，之后基于样本的难度评分在训练时采样难度合适的数据进行训练，有限的计算资源下加快网络的收敛，实现更高效地自监督学习。相对于通用的自监督学习训练方法，在同样的计算设备下，本发明专利技术公开的方法能够节省约50％的训练时间，本发明专利技术可以有效地应用到基于深度学习的自监督学习任务中去，有效地加快收敛，节约计算资源。节约计算资源。节约计算资源。

【技术实现步骤摘要】
一种高效的遥感图像自监督学习训练方法


[0001]本专利技术属于计算机视觉领域，特别涉及一种高效地遥感图像自监督学习训练方法。

技术介绍

[0002]目前，我国有多颗遥感卫星体系在轨运行，每日产生的遥感影像数据多达数百TB。大量的数据给遥感图像解译任务提供了厚实的基础，但是由于遥感图像标注费时费力，利用标注的数据进行训练学习成本高昂，这一现象促进了遥感图像自监督学习的发展。遥感图像自监督学习旨在利用无标注的遥感数据学习更好的遥感图像特征表征，能够迁移到下游的目标检测、场景分类、地物分类等图像解译任务中去并获得更好的性能。
[0003]挖掘图像固有的空间或语义关联属性，这种特性让自监督学习可以从海量的遥感数据中吸收到通用的表征，但因为标签信息的缺失，自监督训练需要的迭代次数一般远多于全监督训练。按照一般遥感图像自监督学习的训练流程，在百万级的数据集上迭代训练200代(epoch)大约需要Tesla V100运行1600(卡
·
时)。庞大的计算资源需求不仅为中小型研究机构的入场设置了壁垒，也使自监督模型和方法难以迭代和调优。因此，需要对遥感图像自监督的训练策略进行一定的优化，更加有效地利用计算资源，设计一种高效的遥感图像自监督学习训练方法。

技术实现思路

[0004]经过实验发现，遥感图像自监督学习是十分消耗计算资源的，网络平等地处理每一张训练样本不够高效，因此我们从训练样本的难度入手，优化自监督学习的训练过程。在遥感图像中，感兴趣的目标往往呈现聚集式分布，部分区域例如城市，其对应的遥感图像存在大量的感兴趣目标，属于较难挖掘的数据。而在山地、田地、海面这些区域，图像中包含的感兴趣目标较少且外观单一，样本相对简单。目前的算法平等地对待所有训练数据，这导致了训练效率较低。在网络训练前期，网络无法掌握过于困难的数据，而这些数据产生的梯度又会接近噪声，使网络不稳定甚至发生梯度爆炸；在网络训练后期，较为简单的数据又对其帮助不大，过小的梯度也会稀释其他样本的训练效果。因此，在适当的训练阶段为不同类型的样本赋予适当的采样权重，可以有助于提升网络的训练效率。
[0005]然而，在遥感图像自监督学习中，仅使用网络产生的损失大小来度量训练样本的难易程度是较为片面的。一方面，网络产生的损失只能反映当前时刻模型对其表征能力的强弱，并不能体现数据本身的语义丰富程度或训练价值。另一方面，自监督学习使用了强度很高的数据增强策略，网络产生的损失就不能直接地代表图像本身的难易程度，而会受到数据增强的干扰。
[0006]为解决上述技术问题，本专利技术通过提取网络损失的梯度归一化(Gradient Normalization，GradNorm)来实现对样本难度的评估，并根据样本的难度设计了一种优化的训练策略，可以实现更加高效地自监督学习训练。本专利技术所采用的技术方案是：一种高效
的遥感图像自监督学习训练方法，具体包括：
[0007]构建并训练遥感图像自监督网络用于提取遥感图像特征，所述遥感图像自监督网络由学生
‑
教师网络构成，其中学生网络包含特征提取器f
θ
、特征投影器g
θ
、特征预测器q
θ
，教师网络包含特征提取器f
ξ
和特征投影器g
ξ
；将进行不同数据增强的成对的遥感图像视图v
θ
和v
′
ξ
分别输入学生网络和教师网络，在两个网络中，特征提取器都用于提取视图的深度特征图得到y
θ
、y
′
ξ
，而特征投影器则是将提取得到的特征图转换成特征投影向量，得到z
θ
和z
′
ξ
；学生网络的特征预测器根据学生网络的特征投影向量q
θ
(z
θ
)预测教师网络的特征投影向量z
′
ξ
。损失函数为预测得到的向量和教师网络的特征投影向量之间的均方误差。在迭代训练的过程中，基于样本难度的选取参与训练的样本训练网络。学生网络根据反向传播更新参数，教师网络的参数为学生网络参数的指数移动平均。
[0008]具体的，训练过程采取以下步骤：
[0009]步骤01：迭代训练的第一代，利用全部训练数据进行训练。根据训练过程中每一个样本的自监督损失的梯度归一化值，给每个训练样本的难度进行评分。具体的，样本难度分值通过计算学生网络的特征预测器内最后一个全连接层的梯度得到，该层直接与样本特征和样本损失相关联，且在反向传播路径上位于浅层，不易受到梯度消失的影响；
[0010]步骤02：迭代训练的第二代到第K代(经验值取10)，根据前一代的难度评分排序，选取训练集难度分布在50％到70％分位点之间的数据，该区间的数据全部参与训练，占数据总量的20％。另外随机采样选取0％到50％分位点、70％到100％分位点的数据中各有占数据总量5％的样本被随机参与训练，即共有数据总量30％的数据参与训练；
[0011]步骤03：在每一轮采样时，参与训练的样本同样需要计算其难度评分，并在下一代训练时更新全部样本的难度评分；。
[0012]步骤04：每训练K代，重复步骤01～03。
[0013]进一步的，遥感图像自监督网络训练过程中的损失函数为预测得到的向量和教师网络的特征投影向量归一化之后的均方误差，即其中
[0014]进一步的，样本难度评分的计算方法如下，其中L是训练集中的样本总数。记学生网络输出的特征投影向量为z
θ
，教师网络输出的特征投影向量为z
′
ξ
；
[0015]学生网络输出前的最后一个全连接层位于特征预测器q
θ
中，假设特征预测器q
θ
共具有n个全连接层第n
‑
1层的输出特征为M为特征u的维度，圆圈表示函数嵌套的符号，则第n层输出的特征为N为特征v的维度；遥感图像自监督网络的学习目标，是使学生网络的输出和教师网络的输出具有更近的距离，损失函数为：
[0016][0017]设的权重参数为则v可以记为损失函数关于的梯度是：
[0018][0019]该式的转置由链式法则的因子产生，是为了保证损失函数关于的梯度是一个N
×
M的矩阵而不是1
×
NM的行向量；对于右式第一项：
[0020][0021]对于右式第二项，归一化操作的梯度是一个N
×
N的雅可比矩阵第j个输出元素对第i个输入元素的偏导数可以表示为：
[0022][0023]其中，v
i
，v
i
，v
k
表示向量v在第i，j，k维度的值，δ
ij
为克罗内克符号，
[0024]当且仅当i＝j时，δ
ij
＝1，其它情况下δ
ij
＝0；故第二项的总体雅可比矩阵为：
[0025本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效的遥感图像自监督学习训练方法，其特征在于，具体包括：构建并训练遥感图像自监督网络用于提取遥感图像特征，所述遥感图像自监督网络由学生
‑
教师网络构成，其中学生网络包含特征提取器f
θ
、特征投影器g
θ
、特征预测器q
θ
，教师网络包含特征提取器f
ξ
和特征投影器g
ξ
；将进行不同数据增强的成对的遥感图像视图v
θ
和v
′
ξ
分别输入学生网络和教师网络，在两个网络中，特征提取器都用于提取视图的深度特征图得到y
θ
、y
′
ξ
，而特征投影器则是将提取得到的特征图转换成特征投影向量，得到z
θ
和z
′
ξ
；学生网络的特征预测器根据学生网络的特征投影向量q
θ
(z
θ
)预测教师网络的特征投影向量z
′
ξ
；在迭代训练的过程中，基于训练样本难度选取参与训练的样本训练网络，学生网络根据反向传播更新参数，教师网络的参数为学生网络参数的指数移动平均；具体的，训练过程采取以下步骤：步骤01：迭代训练的第一代，利用全部训练样本进行训练，根据训练过程中每一个训练样本的自监督损失的梯度归一化值，给每个训练样本的难度进行评分；步骤02：对训练样本进行采样：迭代训练的第二代到第K代，根据前一代的样本难度评分排序，选取训练集样本难度分布在M1％到M2％分位点之间的数据，该区间的数据全部参与训练，占数据总量的(M2
‑
M1)％，另外随机采样选取0％到M1％分位点、M2％到100％分位点的数据中各有占数据总量5％的样本被随机参与训练，即共有数据总量(M2
‑
M1+5*2)％的数据参与训练；步骤03：在每一轮采样时，参与训练的样本同样需要计算其难度评分，并在下一代训练时更新全部样本的难度评分；步骤04：每训练K代，重复步骤01～步骤03。2.如权利要求1所述的一种高效的遥感图像自监督学习训练方法，其特征在于：遥感图像自监督网络训练过程中的损失函数为预测得到的向量和教师网...

【专利技术属性】
技术研发人员：杨文，张瑞祥，郭浩文，余淮，
申请(专利权)人：武汉大学，
类型：发明
国别省市：