遥感图像目标精细识别方法、电子设备及存储介质技术

本发明专利技术涉及一种遥感图像目标精细识别方法、电子设备及存储介质，以遥感图像提取的目标特征向量作为输入，充分利用其中编码的多实例信息，将同一幅图片上各实例的相似度信息进行对比学习，结合粗粒度的任意目标检测网络进行端到端的训练，而无需额外设计，通过已知的目标类别标签应用于分类损失以训练相似度计算网络；同时应用于对比损失，增大相同细粒度类别实例之间的相似度，而削减不同细粒度类别实例之间的相似度，增强了模型对实例之间的辨别区分能力。别区分能力。别区分能力。

【技术实现步骤摘要】
遥感图像目标精细识别方法、电子设备及存储介质


[0001]本专利技术涉及一种遥感图像目标精细识别方法、电子设备及存储介质。

技术介绍

[0002]遥感图像目标检测在农林牧渔、交通、国防等领域有着广泛的应用前景。受益于深度卷积神经网络和高性能计算技术的发展，深度学习方法相对于传统图像处理方法能够有效提升遥感图像目标检测与识别的精度，但其对于遥感图像中的目标精细识别，即目标的细粒度分类还存在较大困难。
[0003]现有的主流的目标检测器均利用深度学习网络作为其骨干和检测网络，分别从输入图像中提取特征，进行分类和定位。目标检测方法通常分为两类：一类是two
‑
stage检测器，先由算法生成一系列作为样本的候选框，然后再在候选框层面上进一步做分类与位置回归，最具代表性的是Faster R
‑
CNN。另一种是one
‑
stage检测器，其直接回归得到不同目标的类别与位置，如YOLO、SSD。一般而言，two
‑
stage检测器具有较高的定位和目标识别精度，而one
‑
stage检测器具有较高的推理速度。
[0004]对细粒度识别模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两大类。前者为了提升模型对目标高辨识力区域的学习能力，在图像目标框和目标类别标签基础上，还使用了重要部位标注点等额外的人工标注信息，但由于重要部位标注点等信息的人工标注相当繁重，因此，目前细粒度识别模型多聚焦于仅基于图像层面的弱监督标注信息进行学习。
[0005]细粒度识别由于其数据集规模通常较小，并且具有类内差异大和类间差异细微等特点，与常规的目标检测任务相比，其更具有挑战性。进行细粒度识别的方法可粗略分为两类：基于图像重要区域定位的方法：该方法致力于利用弱监督信息寻找图像中有判别力的区域，较为典型的方法采用区域候选网络（RPN）来在目标上提取有识别力的区域并提取特征，然后利用它们与类别标签的一致性提高分类精度；基于图像精细化特征表达的方法：该方法提出使用高维度的图像特征对图像信息进行高阶编码，如借助层次化信息编码不同层级的类别之间的关联关系，通过层次语义嵌入框架以学习更细致的图像特征表达。
[0006]在上面所提及的两类主要方法中，基于图像重要区域定位的方法由于能直接捕捉不同子类的细微差异，一般而言结果更好，并且在可解释性方面有优势。但是基于RPN的方法在对局部特征进行筛选时，大多以基于特征的预测结果的置信度进行排序进而筛选，这种做法虽然合理，但是不可避免地鼓励了RPN去提取尽可能大的区域来包含较多的特征以提高置信度，而没有真正定位到重要的特征上。而基于图像精细化特征表达的方法通常是不可解释的，因为其难以寻找模型区分出具有细微差异的子类别的根据。
[0007]以遥感图像飞机目标精细识别为例，从人类观察分类的角度来看，对同一张图片上的多个实例进行对比分辨是十分必要的，尤其是在飞机翼展和长度等底层的尺寸信息上。

技术实现思路

[0008]鉴于上述技术问题，本专利技术提出一种遥感图像目标精细识别方法、电子设备和存储介质，可以方便的结合在粗粒度的任意目标检测网络上进行端到端训练，而无需特别的额外设计，增强模型对实例之间的辨别区分能力，有效地提升模型在细粒度检测上的性能。
[0009]实现本专利技术目的的技术解决方案为：一种遥感图像目标精细识别方法，包括以下步骤：步骤S1、获取遥感图像，构建包含目标实例的数据集；步骤S2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；步骤S3、利用步骤S2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；步骤S4、构建总损失函数，训练得到遥感图像目标精细识别模型；步骤S5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。
[0010]根据本专利技术的一个方面，在所述步骤S2中，获取目标实例的特征向量，具体包括：步骤S21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图；步骤S22、利用多层级的特征图，获得通道数对齐的多尺度输入；步骤S23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；步骤S24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的D维的目标特征向量。
[0011]根据本专利技术的一个方面，在步骤S2中，利用特征向量进行粗粒度检测，具体包括：步骤S25、将目标特征向量 输入具有ReLU激活函数且具有隐藏层的3层感知器，进行位置坐标回归预测， 目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；步骤S26、将 通过线性层利用softmax函数，获得预测类别标签， ；步骤S27、采用匈牙利算法进行匹配，将queries的预测结果与真值匹配，使预测损失最小，同时进行背景与目标实例的分类，匈牙利算法的匹配公式为：其中， 为对匹配集合的所有枚举， 为使得总的预测损失最小的匹配， 为预测损失函数，计算公式为：为预测损失函数，计算公式为：
其中， , 用于权衡广义交并比损失和L1损失的权重。
[0012]根据本专利技术的一个方面，在步骤S2中，还包括：步骤S28、计算分类与回归损失，公式为：。
[0013]根据本专利技术的一个方面，在步骤S3中，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，具体包括：步骤S31、将目标特征向量 进行两两枚举配对，得到2D维的目标特征组合向量 ；步骤S32、通过全连接层将目标特征组合向量进行特征融合，得到k维的目标特征关系向量 ；步骤S33、以全连接层回归计算目标特征向量两两之间的相似度；其中，所得到的相似度 ，其值越接近1则表示两个实例越相似。
[0014]根据本专利技术的一个方面，在步骤S3中，利用交叉熵损失和对比损失来训练相似度计算网络，具体包括：步骤S34、利用相似度矩阵，计算交叉熵损失函数以训练此相似度计算网络，交叉熵损失函数额计算公式为：其中， 为分类监督信息，表示目标向量是否相似，由目标的标签信息直接得出，相同细粒度类别则 为1，否则为0；步骤S35、利用相似度矩阵，计算对比损失函数以增大相同细粒度类别实例之间的相似度，削减不同细粒度类别实例之间的相似度，对比损失函数的计算公式为：其中， 为超参数，用于约束不同细粒度类别的实例之间的相似度。
[0015]根据本专利技术的一个方面，在步骤S3中，还包括：步骤S36、利用分类与回归损失函数、交叉熵损失函数和对比损失函数，计算总损失函数，公式为：其中， 为超参数， 表示相似度计算网络的权重， 细粒度类别约束的权重。
[0016]根据本专利技术的一个方面，在训练好的遥感图像目标精细识别模型后，还包括：
步骤S41、获取遥感图像，构建包含目标实例的验证集；步骤S42、利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感图像目标精细识别方法，包括以下步骤：步骤S1、获取遥感图像，构建包含目标实例的数据集；步骤S2、获取目标实例的特征向量，并利用特征向量进行粗粒度检测；步骤S3、利用步骤S2中得到的目标实例的特征向量，计算任意两个目标实例的特征向量之间的相似度，得到其相似度矩阵，并利用交叉熵损失和对比损失来训练相似度计算网络；步骤S4、构建总损失函数，训练得到遥感图像目标精细识别模型；步骤S5、利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。2.根据权利要求1所述的方法，其特征在于，在所述步骤S2中，获取目标实例的特征向量，具体包括：步骤S21、将输入遥感图像通过残差网络提取特征，得到多层级的特征图；步骤S22、利用多层级的特征图，获得通道数对齐的多尺度输入；步骤S23、将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码后，输入encoder结构进行自注意力编码；步骤S24、在decoder结构，将queries作为输入，经过自注意力和与encoder结构输出的交叉注意力，输出提取有多实例信息的D维的目标特征向量。3.根据权利要求2所述的方法，其特征在于，在步骤S2中，利用特征向量进行粗粒度检测，具体包括：步骤S25、将目标特征向量输入具有ReLU激活函数且具有隐藏层的3层感知器，进行位置坐标回归预测，目标的中心坐标，高度和宽度相对于输入图片的相对大小的四维向量；步骤S26、将通过线性层利用softmax函数，获得预测类别标签，；步骤S27、采用匈牙利算法进行匹配，将queries的预测结果与真值匹配，使预测损失最小，同时进行背景与目标实例的分类，匈牙利算法的匹配公式为：其中，为对匹配集合的所有枚举，为使得总的预测损失最小的匹配，为预测损失函数，计算公式为：为预测损失函数，计算公式为：
其中，,用于权衡广义交并比损失和L1损失的权重。4.根据权利要求3所述的方法，其特征在于，在步骤S2中，还包括：步骤S28、计算分类与回归损失，公式为：。5.根据权利要求4所述的方法，其特征在于，在步骤S3中，计算任意两个目标实例的特征向...

【专利技术属性】
技术研发人员：金世超，鲁俊喆，贺广均，邓岳，冯鹏铭，梁银川，张昊东，王勇，刘世烁，杨志才，
申请(专利权)人：北京卫星信息工程研究所，
类型：发明
国别省市：