一种基于特征和谐激活的小样本语义分割方法技术

本发明专利技术公开了一种基于特征和谐激活的小样本语义分割方法、小样本语义分割系统及计算机可读存储介质，所述方法包括训练分割模型用以进行语义分割的过程，分割模型训练过程包括以下步骤：对支撑图片和查询图片进行特征提取；对支撑特征和查询特征进行融合，获得中间特征激活图；对中间特征激活图进行更新，获得特征和谐激活图；对特征和谐激活图进行语义分割，获得查询图片的分割图。本发明专利技术所公开的基于特征和谐激活的小样本语义分割方法，在充分保留支撑和查询特征中细节信息的同时，将查询特征中的目标类别进行了准确而完整的激活。特征中的目标类别进行了准确而完整的激活。特征中的目标类别进行了准确而完整的激活。

【技术实现步骤摘要】
一种基于特征和谐激活的小样本语义分割方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于特征和谐激活的小样本语义分割方法，利用少量带标注的支撑样本对无标注的查询样本进行语义分割。

技术介绍

[0002]深度学习在视觉、文字、语音、搜索等领域取得了巨大的进展，很大程度上得益于大量带标注的数据集。但是，数据集的标注需要耗费大量的人力物力，尤其是语义分割任务，其数据集需要像素级别的稠密标注，成本非常高昂。小样本学习可以通过学习少量带标注的数据，快速学习并优化模型，在很大程度上缓解了标注成本的问题。
[0003]小样本语义分割，首先将模型在一定量带标注的数据上进行特征提取学习，使得模型具有一定的特征表达能力；然后利用支撑集提供的少量图片，实现对查询集图片的准确分割。
[0004]目前，主流的小样本语义分割方法是基于度量学习框架，其主要做法是：将支撑图像中目标类别特征压缩为向量，作为目标类别的表征；然后利用此向量与查询特征空间位置上所有像素进行比对，依据其相似度来进行查询图像的分割。
[0005]但是，将目标类别特征压缩为语义向量的做法会丢失很多细节信息，同时，将语义向量和查询特征比对会导致支撑和查询特征元素中间交互不充分，使得查询特征中的目标类别特征不能很好地被激活，从而产生类别错分，分割不完整的问题。
[0006]因此，有必要提供一种小样本语义分割方法，其能够充分保留支撑和查询特征中的细节信息，且能够将查询特征中的目标类别进行准确而完整的激活。

技术实现思路

[0007]为了克服上述问题，本专利技术人进行了锐意研究，提出了一种基于特征和谐激活的小样本语义分割方法，对少量带标注的支持图像和查询图像提取特征，利用双线性特征激活模型和语义传播模型将支撑特征和查询特征进行融合，实现对查询图的和谐特征激活，并将目标类别准确分割。利用特征和谐激活的方法，在充分保留支撑和查询特征中细节信息的同时，将查询特征中的目标类别进行了准确而完整的激活，从而完成了本专利技术。
[0008]具体来说，本专利技术的目的在于提供以下方面：
[0009]第一方面，提供一种基于特征和谐激活的小样本语义分割方法，所述方法包括训练分割模型用以进行语义分割的过程，分割模型训练过程包括以下步骤：
[0010]步骤1，对支撑图片和查询图片进行特征提取；
[0011]步骤2，对支撑特征和查询特征进行融合，获得中间特征激活图；
[0012]步骤3，对中间特征激活图进行更新，获得特征和谐激活图；
[0013]步骤4，对特征和谐激活图进行语义分割，获得查询图片的分割图。
[0014]第二方面，提供一种小样本语义分割系统，优选用于实施第一方面所述的方法，所述系统包括特征提取单元、特征激活单元、语义传播单元和分割单元，其中，
[0015]特征提取单元，用于支撑图片和查询图片进行特征提取；
[0016]特征激活单元，用于引导支撑特征对查询特征进行激活，获得中间特征激活图；
[0017]语义传播单元，用于对中间特征激活图进行传播更新，获得特征和谐激活图；
[0018]分割单元，用于对特征和谐激活图进行语义分割，获得查询图片的分割图。
[0019]第三方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有小样本语义分割程序，所述小样本语义分割程序被处理器执行时实现上述基于特征和谐激活的小样本语义分割方法。
[0020]本专利技术所具有的有益效果包括：
[0021](1)本专利技术提供的基于特征和谐激活的小样本语义分割方法，仅需少量数据标注，降低了数据标注成本；
[0022](2)本专利技术提供的基于特征和谐激活的小样本语义分割方法，基于双线性特征激活和语义传播，充分融合支撑和查询图的信息，并利用查询图自身的结构信息，提高了神经网络对查询图像的分割精度；
[0023](3)本专利技术提供的基于特征和谐激活的小样本语义分割方法，采用低秩矩阵分解的方法对双线性特征激活进行近似，在大大提高激活效率的同时，保证了特征激活的效果；
[0024](4)本专利技术提供的基于特征和谐激活的小样本语义分割方法，在PASCAL VOC和MS COCO两大主流数据集上取得了当前最高的性能，对小样本学习、语义分割等有重要意义，对遥感图像分割、医学图像分割和自然场景图像分割等领域具有应用价值。
附图说明
[0025]图1示出本专利技术所述小样本语义分割方法的流程图；
[0026]图2示出根据本专利技术一种优选实施方式的双线性特征激活流程图；
[0027]图3示出根据本专利技术一种优选实施方式的融合张量的初步分解示意图；
[0028]图4示出根据本专利技术一种优选实施方式的语义传播的流程图；
[0029]图5示出本专利技术所述方法在PASCAL VOC数据集各类别性能提升柱状图；
[0030]图6示出本专利技术所述方法的分解矩阵秩和mIoU的关系图；
[0031]图7示出本专利技术所述方法在PASCAL VOC数据集上的结果可视化图。
具体实施方式
[0032]下面通过优选实施方式和实施例对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。
[0033]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0034]本专利技术提供了一种基于特征和谐激活的小样本语义分割方法，所述方法包括训练分割模型用以进行语义分割的过程，分割模型训练过程包括以下步骤，如图1所示：
[0035]步骤1，对支撑图片和查询图片进行特征提取；
[0036]步骤2，对支撑特征和查询特征进行融合，获得中间特征激活图；
[0037]步骤3，对中间特征激活图进行更新，获得特征和谐激活图；
[0038]步骤4，对特征和谐激活图进行语义分割，获得查询图片的分割图。
[0039]以下进一步描述所述分割模型训练过程：
[0040]步骤1，对支撑图片和查询图片进行特征提取。
[0041]根据本专利技术一种优选的实施方式，所述支撑图片与查询图片中的目标具有相同类别，
[0042]优选查询图片为一张，支撑图片为一张或多张，以利用支撑图片及标注来引导查询图片的分割。
[0043]其中，采用卷积神经网络对支撑图片和查询图片进行特征提取，例如可以采用VGG-16或者ResNet-50作为基础网络，支撑分支和查询分支共享网络参数。
[0044]优选地，在利用VGG-16网络提取特征时，采用其block3输出的特征，维度为512维；在利用ResNet-50网络提取特征时，采用其stage2和stage3的特征输出，将两个stage输出的特征在通道上进行合并，然后输入卷积核大小为3
×
3的单层卷积，得到输出特征图，其维度为256维。
[0045]步骤2，对支撑特征和查本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征和谐激活的小样本语义分割方法，其特征在于，所述方法包括训练分割模型用以进行语义分割的过程，分割模型训练过程包括以下步骤：步骤1，对支撑图片和查询图片进行特征提取；步骤2，对支撑特征和查询特征进行融合，获得中间特征激活图；步骤3，对中间特征激活图进行更新，获得特征和谐激活图；步骤4，对特征和谐激活图进行语义分割，获得查询图片的分割图。2.根据权利要求1所述的小样本语义分割方法，其特征在于，步骤2中，利用双线性特征激活模型将支撑特征和查询特征进行融合，如下式所示：A＝T
×1f
s
×2f
q
其中，A表示激活特征，T表示融合张量，其维度为D
s
*D
q
*D
o
，
×
i
(i＝1，2)表示张量和矩阵之间的i模乘法，f
s
表示重构后的支撑特征，f
q
表示重构后的查询特征。3.根据权利要求1所述的小样本语义分割方法，其特征在于，步骤2中，所述中间特征激活图的获得包括以下步骤：步骤2-1，对支撑特征和查询特征进行精细语义信息提取；步骤2-2，对支撑特征和查询特征进行相似语义信息激活，获得激活置信图；步骤2-3，调整激活置信图的维度，获得激活特征，进而得到中间特征激活图。4.根据权利要求3所述的小样本语义分割方法，其特征在于，步骤2-1中，对融合张量进行分解，包括初步分解和再次分解，按照下式进行初步分解：其中，表示核心张量，维度为t
s
*t
q
*t
o
；M
s
，M
q
，M
o
为二维矩阵，M
s
维度为D<...

【专利技术属性】
技术研发人员：焦建彬，刘冰昊，叶齐祥，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：