基于注意力机制的小样本分割方法、装置、终端及介质制造方法及图纸

本发明专利技术公开了基于注意力机制的小样本分割方法、装置、终端及介质，包括：输入支持图片、支持图片对应的掩码图以及待预测查询图片；通过权重共享的编码器分别提取待预测查询图片的特征和支持图片的特征；将支持图片的特征和支持图片对应的掩码图输入原型生成算法，得到一对互补的原型；将一对互补的原型扩展至待预测查询图片的尺寸，并与待预测查询图片进行拼接，通过FPN结构的解码器预测拼接后的前后背景，得到分割结果；根据双线性插值算法将分割结果恢复至原始图像尺寸大小，得到小样本分割结果。本发明专利技术以一种权重互补的方式构建一对原型，从而在原型生成过程中尽量地保留的有效信息，减少原型偏置造成的分类错误，提高判断精度。度。度。

【技术实现步骤摘要】
基于注意力机制的小样本分割方法、装置、终端及介质


[0001]本专利技术涉及深度学习
，尤其涉及的是基于注意力机制的小样本分割方法、装置、终端及介质。

技术介绍

[0002]随着深度学习的发展以及大数据集喷发式的增长，基于深度学习的方法展现出了强大的表征能力和泛化能力，快速地席卷了计算机视觉的诸多子领域并取得了优异的成绩。但是深度学习模型是数据饥饿型算法，在语义分割场景中往往需要大量的像素级别精确标注的数据，这给数据收集造成一定的困难，因此这也给深度学习模型在语义分割及相关领域的应用带来一定的挑战。如在计算机辅助诊断系统的场景中，深度网络模型需求大量的标注，而对于医生来说必须将大量的时间花费在患者身上而缺乏足够的精力和人员来参与数据的标注。因此小样本语义分割方法非常有望来解决该问题。因为小样本语义分割不需要太多的标注数据就可以取得较好的分割效果。
[0003]现有的主流方法往往通过特征提取和掩码池化算法，让模型提取类别对应的原型，从而以K近邻分类的方式或者判别函数来判断像素特征与原型是否属于同一类；传统方法用单一的语意类别不足以表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的小样本分割方法，其特征在于，包括：输入支持图片、所述支持图片对应的掩码图以及待预测查询图片；通过权重共享的编码器分别提取所述待预测查询图片的特征和所述支持图片的特征；将所述支持图片的特征和所述支持图片对应的掩码图输入原型生成算法，得到一对互补的原型；将所述一对互补的原型扩展至所述待预测查询图片的尺寸，并与所述待预测查询图片进行拼接，通过FPN结构的解码器预测拼接后的前后背景，得到分割结果；根据双线性插值算法将所述分割结果恢复至原始图像尺寸大小，得到小样本分割结果。2.根据权利要求1所述的基于注意力机制的小样本分割方法，其特征在于，所述输入支持图片、所述支持图片对应的掩码图以及待预测查询图片，之前包括：根据元学习策略进行训练，从训练集中对任务进行采样，构建支持样本和查询样本对；根据所述支持样本和查询样本对模拟小样本学习的过程。3.根据权利要求2所述的基于注意力机制的小样本分割方法，其特征在于，训练过程中采用的损失函数为交叉损失函数：其中y
i
表示查询图像i的掩码标签，p
i
表示相应的查询图像的分割预测结果。4.根据权利要求2所述的基于注意力机制的小样本分割方法，其特征在于，训练过程中采用ImagNet预训练参数的ResNet50作为骨架网络，并在训练过程中固定ResNet50的参数。5.根据权利要求1所述的基于注意力机制的小样本分割方法，其特征在于，ResNet50包括：4个卷积块，每个卷积块输出的特征对应不同层次的语义表征，采用带空洞的卷积替代池化层。6.根据权利要求1所述的基于注意力机制的小样本分割方法，其特征在于，所述将所述支持图片的特征和所述支持图片对应的掩码图输入原型生成算法，得到一对互补的原型，包括：将所述支持图片的特征标记为F∈R
H
×
W
×
C
，以及将所述支持图片对应的掩码图标记为M∈R
H
×
W
；根据标记的特征提取出一对信息互补的原型，并采集前景区域的特征信息；将所述前景区域的特征信息聚合成两个互补的集群。7.根据权利要求6所述的基于注意力机制的小样本分割方法，其特征在于，所述根据标记的特征提取出一对信息互补的原型，并采集前景区域的特征信息，包括：将所述支持图片的特征F和所述掩码图的特征M过滤掉属于背景区域的支持图片特征记为：F
′
＝F
⊙
M其中，
⊙
表示逐元素的乘法，F^'表示经过掩码过滤之后的特征；通过掩码平均池化(MAP)来初始化原型：
其中，P0表示初始化的原型，i和j分别表示的每个像素点的坐标，H，W分别表示特征F
′
的宽和高；M
i,
∈0,1，M之和代表前景区...

【专利技术属性】
技术研发人员：陈杰，田永鸿，高文，王中岐，任前，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：