一种基于对比学习的细粒度舰船识别方法技术

本发明专利技术公开了一种基于对比学习的细粒度舰船识别方法，采集并标注舰船分类数据集，并对每张图像采用几种不同的数据增强方式获得图像集合，依次组合成同类与非同类图像集合对，交替输入孪生分类网络进行图像特征提取与分类，通过三个损失函数分别提取图像的等变性特征、判别性特征以及多维融合特征，最终实现同类别舰船分类相同，不同类别舰船之间可有效区分的效果。本发明专利技术弥补了舰船类别分布不平衡、样本规模较小的实际问题，通过对比学习有效提升了细粒度分类的性能，通过提取等变特征提高了模型的泛化性，能适用于实战多变场景。

【技术实现步骤摘要】
一种基于对比学习的细粒度舰船识别方法
本专利技术涉及计算机视觉识别
，尤其是涉及一种基于对比学习的细粒度舰船识别方法。
技术介绍
细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景，与之相关的研究课题主要包括识别不同种类的鸟、狗、花、车、飞机等。在实际生活中，识别不同的子类别存在着巨大的应用需求。例如，在海洋舰船识别中，有效识别出不同类别的舰船，可以加强海上生命安全、提高航行的安全性和效率，以及保护海上领土安全。细粒度图像分类问题是对大类下的子类进行识别。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细，其子类间差异细微、子类内部差异大。因此，不止对计算机，对普通人来说，细粒度图像任务的难度和挑战无疑也十分巨大。在细粒度舰船数据集中，还存在类别不平衡的严重问题，即数据长尾分布问题。例如，某些国外新型舰船只有几张图像，有些常见型号的舰船数据量较多。这将导致在分类模型训练过程中过拟合到训练数据较多的类别中，而训练数据少的类别的准确率则会很低。
技术实现思路
为解决现有技术的不足，实现降低细粒度舰船识别难度，达到低成本、高性能的目的，本专利技术采用如下的技术方案：首先采集并标注舰船分类数据集，并对每张图像采用几种不同的数据增强方式获得图像集合，依次组合成同类与非同类图像集合对，交替输入孪生分类网络进行图像特征提取与分类，通过三个损失函数分别提取图像的等变性特征、判别性特征以及多维融合特征，最终实现同类别舰船分类相同，不同类别舰船之间可有效区分的效果。其具体技术方案如下：一种基于对比学习的细粒度舰船识别方法，包括如下步骤：S1：采集图像，将每张图像保存到其所属类别的文件夹下，构建分类数据集；S2：对图像采用种不同的数据增强方式，获得对应的图像集合，并标记新生成的图像所采用的数据增强方式类别，经过数据增强处理后，有效缓解了细粒度图像数据集中整体数据规模较小、个别类别样本量过少的问题；S3：构建孪生分类网络，包括如下步骤：S3.1：使用预训练过的骨干网络，提取图像特征；S3.2：构建等变特征提取网络头，对骨干网络输出的特征进行全局平均池化，并通过全连接层输出图像采用的数据增强方式类别，采用交叉熵损失函数，指导等变特征提取网络头的学习；S3.3：构建判别性特征提取网络头，对骨干网络输出的特征进行全局平均池化，并通过全连接层输出图像所属类别，采用交叉熵损失函数，指导判别性特征提取网络头的学习；S3.4：构建多维融合特征提取网络头，对骨干网络输出的特征进行全局平均池化，将同一图像集合内的图像所提取的特征，进行拼接，同一图像集合内的图像包括原图与通过数据增强方式生成的图像，将拼接后的特征输入全连接层，输出多维融合特征向量，并使用该向量进行下一步的对比学习；S4：将图像集合，根据分类数据集的分类，依次组合成同类与非同类图像集合对，交替输入孪生分类网络进行拟合训练，根据输出的多维融合特征向量，并进行相似度比较；采用对比损失函数，结合相似度比较计算方法，指导特征空间的学习，使正样本相似，负样本有效区分；训练阶段，通过损失函数、和，联合指导网络参数的迭代，直到总损失函数值变化小于变化阈值，说明模型训练完成，停止训练，总损失函数的计算公式如下：其中分别代表三个损失函数的权重值；S5：推理阶段，将待测图像与其经过数据增强处理后的图像分别输入孪生分类网络，统计判别性特征提取网络头输出的分类结果。进一步地，所述S3.2中，所述交叉熵损失函数计算公式如下：表示样本总个数，表示第个样本的数据增强方式类别标签，表示第个样本的数据增强方式类别预测概率值，通过提取等变特征，网络可以学会认知同类间的细微差异，对于旋转、颜色等变化具有判别能力，当网络遇到不同场景下的测试数据时，可具备更强的泛化性与鲁棒性。进一步地，所述S3.3中，所述交叉熵损失函数计算公式如下：表示样本总个数，表示第个样本的真实类别标签，表示第个样本的类别预测概率值，该网络头将特征映射到一个判别性流形空间，可用来判断图像所属的类别。进一步地，所述S4中，采用余弦相似度函数进行相似度比较，正样本相似度为1，负样本相似度为-1，相似度函数计算公式如下：A、B分别表示图像集合对中的两个多维融合特征向量，、分别表示向量和的各分量。进一步地，所述S4中，对比损失函数计算公式如下：,表示一个图像集合对中，样本与样本的真实标签，表示样本与样本所生成的多维融合特征向量之间的相似度，是超参数，表示不同类样本之间的距离应该超过该阈值。进一步地，所述S1中，对所述分类数据集，构建训练集、验证集与测试集，在训练阶段采用训练集和验证集。进一步地，所述S2中，所述数据增强方式包括顺时针旋转90度、顺时针旋转180度、上下翻转、左右翻转、彩色图转灰度图。进一步地，所述S3.1中，使用经过ImageNet预训练过的ResNet101作为骨干网络，用于提取图像特征。进一步地，所述S4中，权重值。进一步地，所述S5输出分类结果后，采用投票的方式判断图像所属类别，若出现同票，则根据类别概率大小决定最终类别结果。本专利技术的优势和有益效果在于：本专利技术利用多维融合特征进行相似度比较，可以使同类距离更加接近，非同类之间更加区分，有效提升细粒度分类性能；通过对图像增强方式进行类别区分，来提取图像的等变特征，使模型在表示学习层提取到更具泛化性的特征，从而在多变复杂场景下具有鲁棒性；本专利技术弥补了类别数据不平衡、整体样本规模较小的问题，尤其适用于舰船识别数据集。附图说明图1是本专利技术的深度分类网络模型结构图。图2a是本专利技术的模型训练阶段的流程图。图2b是本专利技术的模型推理阶段的流程图。图3是本专利技术的样例效果图。具体实施方式以下结合附图对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。基于数据长尾分布问题，目前主要的解决方案有基于常规图像分类网络微调、基于目标块检测、基于注意力机制的方法等。而本专利技术提出使用对比学习的方法来训练细粒度分类网络，可以在小规模数据集的情况下有效提升分类性能，借助于计算机视觉的技术，实现低成本高性能的细粒度舰船识别，对比学习的核心思想，在于把正样本距离拉近，正样本与负样本距离拉远，从而学习到能将不同类别区分开的特征。如图1所示，本专利技术的一种基于对比学习的细粒度舰船识别方法，包括以下步骤：步骤1：采集舰船图像，将每张图像保存到其所属类别的文件夹下，构建舰船分类数据集本文档来自技高网...

【技术保护点】
1.一种基于对比学习的细粒度舰船识别方法，其特征在于包括如下步骤：/nS1：采集图像，构建分类数据集；/nS2：对图像采用

【技术特征摘要】
1.一种基于对比学习的细粒度舰船识别方法，其特征在于包括如下步骤：
S1：采集图像，构建分类数据集；
S2：对图像采用种不同的数据增强方式，获得对应的图像集合，并标记新生成的图
像所采用的数据增强方式类别；
S3：构建孪生分类网络，包括如下步骤：
S3.1：使用预训练过的骨干网络，提取图像特征；
S3.2：构建等变特征提取网络头，对骨干网络输出的特征进行全局平均池化，并通过全
连接层输出图像采用的数据增强方式类别，采用交叉熵损失函数，指导等变特征提取网
络头的学习；
S3.3：构建判别性特征提取网络头，对骨干网络输出的特征进行全局平均池化，并通过
全连接层输出图像所属类别，采用交叉熵损失函数，指导判别性特征提取网络头的学习；
S3.4：构建多维融合特征提取网络头，对骨干网络输出的特征进行全局平均池化，将同
一图像集合内的图像所提取的特征，进行拼接，将拼接后的特征输入全连接层，输出多维融
合特征向量；
S4：将图像集合，根据分类数据集的分类，依次组合成同类与非同类图像集合对，交替
输入孪生分类网络进行拟合训练，根据输出的多维融合特征向量，并进行相似度比较；
采用对比损失函数，结合相似度比较计算方法，指导特征空间的学习，使正样本相
似，负样本有效区分；
训练阶段，通过损失函数、和，联合指导网络参数的迭代，直到总损失函数值变
化小于变化阈值，总损失函数的计算公式如下：



其中分别代表三个损失函数的权重值；
S5：推理阶段，将待测图像与其经过数据增强处理后的图像分别输入孪生分类网络，统计判别性特征提取网络头输出的分类结果。


2.根据权利要求1所述的一种基于对比学习的细粒度舰船识别方法，其特征在于所述
S3.2中，所述交叉熵损失函数计算公式如下：




表示样本总个数，表示第个样本的数据增强方式类别标签，表示第个样本的数
据增强方式类别预测概率值。

【专利技术属性】
技术研发人员：章依依，郑影，徐晓刚，王军，徐冠雷，王勋，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33