小样本分割方法技术

本申请提供一种小样本分割方法

【技术实现步骤摘要】
小样本分割方法、装置、电子设备、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种小样本分割方法
、
装置
、
电子设备
、
存储介质及程序产品
。

技术介绍

[0002]相关技术中，近些年来，
Transformer
因其强大的全局信息聚合能力而备受关注
。
一些研究证明了
Transformer
在
FSS(
也可称为小样本分割
)
中的可行性
。
利用交叉注意力机制实现了支持训练分类器对每个查询样本的动态自适应，从而减少了类内差距
。
受注意力机制的启发，将支持特征融入到查询特征中，通过聚合丰富的像素级信息进行密集预测
。
然而，这些方法都侧重于单向特征聚合，即只考虑支持图像到查询图像的信息引导，而忽略了反向引导
。
具体来说，交叉注意力机制只对支持特征进行了权重调整，而对查询特征没有进行权重调整
。
不一致地处理两个输入显然是不合理的，特别是对查询特征不公平，因为查询和支持特征都很重要
。
此外，
Transformer
缺乏归纳偏差，这会导致模型利用数据的效率较低，从而影响其性能
。
[0003]因此在进行小样本分割过程中，存在着缺乏支持图像与查询图像之间更紧密的相关性，以及单一尺度的特征图聚合所产生的粗粒度相关性不足导致获得的样本分割结果鲁棒性不足且准确性较低的问题
。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种小样本分割方法
、
装置
、
电子设备
、
存储介质及程序产品
。
[0005]基于上述目的，在第一方面，本申请提供了一种小样本分割方法，所述方法包括：
[0006]利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征；
[0007]基于层次特征表示法，分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征；
[0008]利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征；其中，所述层次化跨聚合块包括将三个基础块以层次化方式构造得到；
[0009]对所述增强查询特征执行多层感知机操作和上采样操作以得到多级相同分辨率的多层的单一特征，并对全部所述单一特征进行拼接以得到融合特征；
[0010]根据所述多层的单一特征和所述融合特征进行分割预测得到分割预测结果
。
[0011]在第二方面，本申请提供了一种小样本分割装置，所述装置包括：
[0012]提取模块，被配置为利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征；
[0013]生成模块，被配置为基于层次特征表示法，分别根据所述支持特征和所述查询特
征生成多尺度支持特征和多尺度查询特征；
[0014]确定模块，被配置为利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征；其中，所述层次化跨聚合块包括将三个基础块以层次化方式构造得到；
[0015]拼接模块，被配置为对所述增强查询特征执行多层感知机操作和上采样操作以得到多级相同分辨率的多层的单一特征，并对全部所述单一特征进行拼接以得到融合特征；
[0016]预测模块，被配置为根据所述多层的单一特征和所述融合特征进行分割预测得到分割预测结果
。
[0017]在第三方面，本申请提供了一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的小样本分割方法
。
[0018]在第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第一方面所述的小样本分割方法
。
[0019]第五方面，本申请提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如第一方面所述的小样本分割方法
。
[0020]从上面所述可以看出，本申请提供的一种小样本分割方法
、
装置
、
电子设备
、
存储介质及程序产品，利用预先训练得到的骨干网络分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征；基于层次特征表示法分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征；利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征以得到增强支持特征和增强查询特征；其中，所述层次化跨聚合块包括三个基础块以层次化方式构造得到；对所述增强查询特征执行多层感知机操作和上采样操作以得到多级相同分辨率的多层的单一特征，并对全部所述单一特征进行拼接以得到融合特征；根据所述多层的单一特征和所述融合特征进行分割预测得到分割预测结果
。
本申请捕获多尺度全局上下文信息，从而获得更鲁棒和准确的结果，构建了一个层次双向聚合模块
(HBAM)
，通过双向信息交互和层次化的方式，挖掘更深层
、
更紧密的关联，对代表性特征进行有效的特征聚合，提高了支持图像与查询图像之间的相关性，进而在根据支持图像和查询图像分别对应的支持特征和查询特征进行小样本分割时，能够利用多层次的特征图聚合产生的粗粒度相关度更高，从而使得获得的分割预测结果更加稳健准确，具有更高的鲁棒性
。
附图说明
[0021]为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0022]图1示出了本申请实施例所提供的一种小样本分割方法的示例性流程示意图
。
[0023]图2示出了根据本申请的实施例中的整体模型框架的示例性结构示意图
。
[0024]图
3(a)
示出了根据本申请的实施例中的自聚合块的示例性结构示意图
。
[0025]图
3(b)
示出了根据本申请的实施例中的层次化跨聚合块的示例性结构示意图
。
[0026]图4示出了根据本申请的实施例中的先验亲和模块的示例性结构示意图
。
[0027]图5示出了根据本申请的实施例中的
PASCAL
‑
5i
在1‑
shot...

【技术保护点】

【技术特征摘要】
1.
一种小样本分割方法，其特征在于，所述方法包括：利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征；基于层次特征表示法，分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征；利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征；其中，所述层次化跨聚合块包括将三个基础块以层次化方式构造得到；对所述增强查询特征执行多层感知机操作和上采样操作以得到多级相同分辨率的多层的单一特征，并对全部所述单一特征进行拼接以得到融合特征；根据所述多层的单一特征和所述融合特征进行分割预测得到分割预测结果
。2.
根据权利要求1所述的方法，其特征在于，所述利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征之后，还包括：根据支持掩码对所述支持特征进行过滤，以滤除所述支持特征中的不相关背景特征，并得到与前景对象像素对应的支持特征估计值；其中，所述支持特征估计值表示为其中，
X
s
表示所述支持特征，
⊙
表示
Hadamard
积，
σ
表示
H
s
×
W
s
下采样到与支持特征
X
s
相同大小的函数，
H
s
表示所述支持样本图像的高，
W
s
表示所述支持样本图像的宽，
M
s
表示支持掩码
。3.
根据权利要求1所述的方法，其特征在于，所述利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征之前，还包括：获取互无交集的第一类别集和第二类别集，并将所述第一类别集作为训练集，将所述第二类别集作为测试集；利用所述训练集基于训练场景训练得到小样本分割模型，并利用所述测试集基于测试场景调整所述小样本分割模型；其中，所述训练场景或测试场景，包括：存在标注掩膜的支持图像集以及查询图像集；所述支持图像集包括多个语义类别，每个语义类别包括多个图像样本与标注掩膜相互对应的第一数据对，所述查询图像集包括多个与所述第一数据对相对应的第二数据对
。4.
根据权利要求1所述的方法，其特征在于，所述支持特征，包括：根据所述骨干网络的中间层确定的中级支持特征，所述查询特征，包括：根据所述骨干网络的中间层确定的中级查询特征；所述基于层次特征表示法，分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征，包括：基于层次特征表示法，分别根据所述中级支持特征和所述中级查询特征生成多尺度支持特征和多尺度查询特征
。5.
根据权利要求1所述的方法，其特征在于，所述利用自聚合块和层次化跨聚合块聚合
所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征，包括：利用所述自聚合块基于多头注意力机制，根据所述多尺度支持特征计算得到聚合支持特征；其中，所述聚合支持特...

【专利技术属性】
技术研发人员：蒋杰，孔秋雨，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：