一种基于双流网络的遥感细粒度船舶目标识别方法技术

本发明专利技术公开了一种基于双流网络的遥感细粒度船舶目标识别方法，识别网络包含两个分支:局部残差分支(LRB)和全局表示分支(GRB)。局部残差分支通过我们提出的全尺寸跳跃连接(FSC)和条形加法池化(SPA)模块有效地提取船舶目标最具判别性的局部细粒度特征。全局表示分支通过Swin

【技术实现步骤摘要】
一种基于双流网络的遥感细粒度船舶目标识别方法


[0001]本专利技术属于计算机视觉领域，涉及模式识别、图像处理、深度学习等技术，具体涉及基于深度学习的图像识别方法。

技术介绍

[0002]细粒度船舶分类是遥感图像识别中的一项重要、复杂和具有挑战性的任务，其目的是识别给定船类的子类。近年来，随着光学卫星技术的飞速发展，遥感影像已成为获取海上交通信息的重要手段。海上安全是国家安全和经济稳定的重要组成部分，对保障海上航行安全、提高海上运输效率具有至关重要的作用。值得注意的是，在遥感领域，细粒度船舶分类任务面临着几个关键挑战：(1)在细粒度船舶数据集中，不同子类之间的高度相似性以及同一子类内姿态、尺度、旋转和颜色的巨大变化使得细粒度船舶分类任务极具挑战性。(2)在现实世界中，由于地物分布不均匀、遥感图像采集方法的限制、数据采集误差、样本选择偏差等因素，细粒度船舶数据集存在样本不平衡的问题。为了应对这些挑战，基于CNN的方法和基于Transformer的方法不断涌现出来，但不幸的是，这些方法都存在各自的弊端，基于CNN的方法由于卷积接受野的限制对于全局特征的提取不够，而基于Transformer的方法对局部精细特征的提取能力又不如CNN。实验证明，这些基于单一理论模型的方法的性能远远不能取得令人满意的结果。
[0003]基于观察，得出一个合理的结论：遥感图像细粒度目标识别方法有效与否很大程度上取决于判别特征的提取，这些特征可以是一些局部精细特征，也可以是全局表示特征。而现有的绝大多数方法都局限于对局部精细特征的提取。因此，研究全局表示特征的有效性和全局与局部特征相融合的融合特征的有效性是非常有意义的，在遥感目标识别中，不仅仅局限于局部，还会考虑到图像中的远程特相互依赖关系，局部特征结合全局表示特征训练一个更可靠和更强大的网络进行遥感细粒度船舶目标识别。
[0004]最近，随着基于自注意机制的Transformer架构在自然语言处理领域的巨大成功。而ViT也首次成功地将Transformer架构应用于计算机视觉领域，并在多个任务中显示了巨大的前景。由于其设计中存在多头自关注层，ViT可以从每个位置查看和考虑所有其他位置，使其能够全局处理整个图像并从中提取有用的特征。因此，ViT可以以高度并行的方式从图像中捕获全局特征。但是，ViT仍然存在每层计算成本高、相邻窗口内容提取不完整等缺点。因此，采用了Swin
‑
Transformer方法提取全局表示特征。同时考虑到船舶的特殊性，设计了条形加法池化模块来捕获局部残差分支中船舶图像的远程上下文依赖关系。条形加法池化模块可以使网络更加关注目标区域，提取更精确的特征，同时避免不相关的混淆特征对最终分类性能的影响。为了捕获多粒度特征信息，更好地融合全局与局部判别性和一致性特征，实现特征重用，在局部残差分支的后四个阶段引入了全尺度跳跃连接。为了合理利用全局表示特征和局部精细特征，设计了一个轻量级的融合模块，以促进全局和局部特征之间的充分交互和融合。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术不足，提供一种基于双流网络的遥感细粒度船舶目标识别方法。本专利技术有三个关键步骤：识别网络首先对训练数据做预处理，克服样本不平衡和样本较少的问题。然后，识别网络将预处理后的图像分别输入到全局表示分支和局部残差分支中，提取得到全局表示特征和局部精细特征，再通过一个轻量级的融合模块得到融合特征。最后，使用全局表示特征、局部精细特征和融合特征分别计算得到局部损失、全局损失、分类损失和推拉损失，四个损失函数联合约束模型训练，增强了模型的鲁棒性和泛化能力，在一定程度上优化了分类精度。
[0006]为了实现上述任务，本专利技术采用以下技术方案：
[0007]一种基于双流网络的遥感细粒度船舶目标识别方法，包括以下步骤：
[0008]步骤一，在遥感细粒度图像船舶数据集下使用图像预处理模块，得到网络的输入图像。
[0009]步骤1
‑
1：对于给定的数据集，首先我们通过观察可以发现这些遥感图像中船舶的长宽比比较大。因此，在对遥感船舶图像进行图像预增强时，应采用比例拉伸技术代替标准缩放方法，即在保持原始图像比例的情况下对图像进行拉伸，然后将剩余空间填充为零像素。除此之外，我们的图像预增强方法还应用了随机裁剪和缩放、随机高斯模糊、随机旋转和随机水平和垂直翻转来增加训练数据集中的子类样本数量。
[0010]步骤1
‑
2：如果在给定的数据集上，判断每一类的样本数量，然后采用图像预增强(IPA)方法，增加每一类的样本数量，如下式所示：
[0011][0012]其中I
oi
代表每个类别的样本，n代表类别；t表示阈值，设置为200。该公式表明，当某一类的样本数量小于t时，使用图像预增强(IPA)方法将图像数量增加到t。最终得到网络的原始输入图像I。
[0013]步骤二，用步骤一预增强后得到的图像，输入到全局表示分支中。
[0014]步骤2
‑
1：使用步骤一得到的预增强输入图像I，输入到全局表示分支中，捕获全局上下文信息以建立目标对象的远程依赖关系。首先将输入图像I划分为N＝m1×
m2个不重叠的小块，其中m1和m2分别为输入图像中每一行、每一列的小块数量。
[0015]步骤2
‑
2：然后对得到的这些小块做线性投影，得到嵌入令牌，这些令牌分别经过Swin
‑
Transformer块，最终得到全局表示特征。
[0016]步骤三，用步骤一预增强后得到的图像，输入到局部残差分支中。
[0017]步骤3
‑
1：使用步骤一得到的预增强输入图像I，输入到局部残差分支中，该分支主要采用ResNet50，但是为了增强网络的接受野和特征抽象能力，在Resnet50的Stage1(7
×
7,(3,64),Conv)基础上，重新设计了一个Stage1*。它通过3次连续的3
×
3卷积操作代替了一次7
×
7卷积操作，通过叠加多个卷积层，第一阶段网络的感受野会逐渐增大，从而提供更大范围内的上下文信息。并且多层卷积，使网络可以逐渐学习更多抽象的特征表示，即低层次的卷积层可以捕捉边缘、纹理等低级特征，而高层次的卷积层可以捕捉更高级别的语义特征，从而提高模型对复杂问题的理解和表达能力。
[0018]步骤3
‑
2：图像经过Stage1*后得到的特征，输入到下一阶段中，为了适应船舶的姿态，设计了条形加法池化(SPA)模块提取船舶的远程语义关系和局部精细特征，条形加法池化模块分别放置在Stage2,3,4,5之后。
[0019]具体步骤是，首先使用水平和垂直条形池化操作从不同的空间维度建立远程上下文语义关系，输出图像中连接到具有几乎相同水平和垂直坐标的输入图像位置的黑边正方形所示。从结果可以看出，条形加法池化模块比ResNet更能有效地识别局部判别特征。并且本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流网络的遥感细粒度船舶目标识别方法，其特征在于，包括以下步骤：步骤一，在遥感细粒度图像船舶数据集下使用图像预处理模块，得到网络的输入图像；步骤二，用步骤一预增强后得到的图像，输入到全局表示分支中；步骤三，用步骤一预增强后得到的图像，输入到局部残差分支中；步骤四，经过步骤二和步骤三后分别得到了全局表示特征和局部精细特征，然后通过融合模块得到最终用于识别任务的特征；步骤五，多损失联合训练。2.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤一包括以下步骤：步骤1
‑
1：对于给定的数据集，使用图像预增强方法提高图像的多样性和合理性；步骤1
‑
2：对于给定的数据集的每一类，结合图像预增强方法，增加图像的样本数。3.根据权利要求2所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤1
‑
1的具体步骤：在对遥感船舶图像进行图像预增强时，采用比例拉伸技术来代替标准缩放方法，即在保持原始图像比例的情况下对图像进行拉伸，然后将剩余空间填充为零像素，除此之外，图像预增强方法还应用了随机裁剪和缩放、随机高斯模糊、随机旋转和随机水平和垂直翻转来增加训练数据集中的子类样本数量。4.根据权利要求2所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤1
‑
2的具体步骤：在给定的数据集上，判断每一类的样本数量，然后采用图像预增强(IPA)方法，增加每一类的样本数量，如下式所示：其中I
oi
代表每个类别的样本，n代表类别；t表示阈值，设置为200，该公式表明，当某一类的样本数量小于t时，使用图像预增强(IPA)方法将图像数量增加到t，最终得到网络的原始输入图像I。5.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤二包括以下步骤：步骤2
‑
1：使用步骤一得到的预增强输入图像I，输入到全局表示分支中，捕获全局上下文信息以建立目标对象的远程依赖关系。首先将输入图像I划分为N＝m1×
m2个不重叠的小块，其中m1和m2分别为输入图像中每一行、每一列的小块数量；步骤2
‑
2：然后对得到的这些小块做线性投影，得到嵌入令牌，这些令牌分别经过Swin
‑
Transformer块，最终得到全局表示特征。6.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤三包括以下步骤：步骤3
‑
1：将步骤一得到的预增强输入图像I，输入到我们新改进的ResNet50的Stage1*中；
步骤3
‑
2：图像经过了第一阶段的Stage1*后，在ResNet50的后四个阶段加入了设计的条形加法池化(SPA)模块，构成新改进的ResNet50的后四个阶段；步骤3
‑
3：步骤3
‑
2构建了ResNet50，再在其后四个阶段使用全尺寸跳跃连接(FSC)实现多粒度特征融合，这个做法可以更好地捕获全局和局部的区分性和一致性特征，通过区分性特征来缓解类间不可区分性，通过一致性特征来缓解类内不可区分性，最终实现特征重用。7.根据权利要求6所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤3

【专利技术属性】
技术研发人员：张翔，杨世军，吴琪辉，李洪娇，罗迒哉，赵万青，钟升，张万绪，彭进业，
申请(专利权)人：西北大学，
类型：发明
国别省市：