一种基于混合模型的小样本图像语义分割方法技术

本发明专利技术公开了一种基于混合模型的小样本图像语义分割方法、一种小样本图像语义分割装置及计算机可读存储介质，所述方法包括以下语义分割模型的训练步骤：步骤1，对有标注的支撑图像特征进行原型向量提取；步骤2，对无标注待分割的查询图像进行特征激活；步骤3，获得训练后的小样本语义分割模型。本发明专利技术所公开的语义分割方法降低了支撑图像的信息损失，提高了神经网络对查询图像的分割精度，改善了小样本语义分割中语义混叠的问题，对小样本学习、增量学习等有重要意义，对于自然场景图像、医学图像等领域的语义分割具有应用价值。

【技术实现步骤摘要】
一种基于混合模型的小样本图像语义分割方法
本专利技术涉及小样本学习与计算机视觉领域，具体涉及一种基于混合模型的小样本图像语义分割方法。
技术介绍
深度神经网络例如卷积神经网络(CNN)已经在计算机视觉、语义分割中取得了巨大成就，其很大程度上依赖于网络在大数据集的训练。然而，在语义分割任务中，标注大数据集的目标轮廓耗时费力、成本昂贵并且不切实际。因此，迫切需要小样本学习方法来解决这一问题。小样本学习是在利用训练图像完成网络特征表达学习后，利用少量带有标注的图像——支撑集，来实现对查询图像的分割，其挑战在于：一方面待分割的类别与训练图像的类别不同，另一方面支撑图像与查询图像在外观和姿态方面存在不同。小样本学习语义分割的实现基于度量学习框架，当前方法大多为通过对有标注引导的支撑图像的特征图做池化操作，以提取一个原型向量，该向量再将每个维度的特征图压缩到一个点以将所有的特征信息压缩到向量的维度上；利用该原型向量比较支撑图像与查询图像来实现对查询图像的分割。但是，利用一个全局平均得到的原型向量来表示整个特征图会丢掉整个图的特征分布以及空间信息，一个原型向量会导致不同对象部分的语义混叠，并完全丢失特征的分布。因此，有必要提供一种简单有效的方法，以改善小样本语义分割中语义混叠的问题，提高分割精度。
技术实现思路
为了克服上述问题，本专利技术人进行了锐意研究，设计出一种基于混合模型的小样本图像语义分割方法，该方法对少量有标注的支撑图像特征建立混合模型提取多个原型向量，利用多原型向量对无标注待分割的查询图像进行特征激活与概率图计算，实现对查询图像的分割。本专利技术所提供的方法无需大量数据标注，降低了支撑图像的信息损失，提高了神经网络对查询图像的分割精度，改善了小样本语义分割中语义混叠的问题，从而完成了本专利技术。具体来说，本专利技术的目的在于提供以下方面：第一方面，提供一种基于混合模型的小样本图像语义分割方法，所述方法包括以下语义分割模型的训练步骤：步骤1，对有标注的支撑图像特征进行原型向量提取；步骤2，对无标注待分割的查询图像进行特征激活；步骤3，获得训练后的小样本语义分割模型。第二方面，提供一种小样本图像语义分割装置，优选用于实施第一方面所述的方法，所述装置包括向量提取单元、特征激活单元和语义分割单元，其中，向量提取单元，用于对少量有标注的支撑图像特征建立混合模型，以提取多个原型向量；特征激活单元，利用多个原型向量对无标注待分割的查询图像进行特征激活与概率图计算；语义分割单元，利用分割网络实现对查询图像的分割。第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像语义分割程序，所述图像语义分割程序被处理器执行时实现第一方面所述方法的步骤。本专利技术所具有的有益效果包括：(1)本专利技术提供的基于混合模型的小样本图像语义分割方法，无需大量数据标注，减少了人工标注成本；(2)本专利技术提供的基于混合模型的小样本图像语义分割方法，降低了支撑图像的信息损失，提高了神经网络对查询图像的分割精度；(3)本专利技术提供的基于混合模型的小样本图像语义分割方法，改善了小样本语义分割中语义混叠的问题；(3)本专利技术提供的基于混合模型的小样本图像语义分割方法，对小样本学习、增量学习等有重要意义，对于自然场景图像、医学图像等领域的语义分割具有应用价值。附图说明图1示出本专利技术一种优选实施方式的基于原型混合模型(PMMs)的小样本图像语义分割方法的流程图；图2示出本专利技术一种优选实施方式的基于残差结构混合模型(RPMMs)的小样本图像语义分割方法的流程图；图3示出本专利技术一种优选实施方式的原型向量与支撑图像中目标成分的对应图；图4示出本专利技术一种优选实施方式的网络激活图与概率图；图5示出本专利技术实施例中Pascal-5i数据集各类别性能结果图；图6示出本专利技术实施例中Pascal-5i数据集结果比对图；图7示出本专利技术实施例中COCO-20i数据集结果比对图。具体实施方式下面通过优选实施方式和实施例对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。本专利技术提供了一种基于混合模型的小样本图像语义分割方法，所述方法包括以下语义分割模型的训练步骤：步骤1，对有标注的支撑图像特征进行原型向量提取；步骤2，对无标注待分割的查询图像进行特征激活；步骤3，获得训练后的语义分割模型。以下进一步详细描述所述训练步骤：步骤1，对有标注的支撑图像特征进行原型向量提取。其中，步骤1包括以下子步骤：步骤1-1，提取支撑图像与查询图像特征图。在本专利技术中，优选给定的支撑图像(支撑集)与查询图像(查询集)的类别相同。其中，所述支撑图像是指有语义标注的图像，所述类别是指语义标注的类别相同，如羊、牛等。根据本专利技术一种优选的实施方式，采用卷积神经网络的基网提取支撑图像与查询图像的特征图。优选地，采用的卷积神经网络基网包括VGG16网络和Resnet50网络。在本专利技术中，具体地，提取支撑图像与查询图像特征的基网共享参数：当基网为VGG16时，不使用block4、block5的池化层，网络输出的特征维度为512，尺寸为输入图像尺寸的1/8；基网为Resnet50时，基网卷积采用空洞卷积，不使用stage4，stage2、stage3输出结果在通道上合并经过一层卷积核为3×3的卷积层得到最后的输出特征图，其维度为256。步骤1-2，建立混合模型，提取多个原型向量。其中，步骤1-2包括以下子步骤：步骤1-2-1，构造混合模型输入的前景、背景样本集合。在本专利技术中，考虑到当前的小样本学习语义分割方法是利用一个全局平均得到的原型向量来表示整个特征图，会丢掉整个图的特征分布以及空间信息，还会导致不同对象部分的语义混叠，并完全丢失特征的分布。因此，本专利技术人经过大量研究，构建了混合模型来提取多个原型向量，以克服上述问题。根据本专利技术一种优选的实施方式，所述混合模型包括原型混合模型(PrototypeMixtureModels,简称PMMs)和残差结构混合模型(ResidualPrototypeMixtureModels,简称RPMMs)。其中，如图1所示，原型混合模型是指利用混合模型对支撑图像的特征图进行建模，提取原型向量用于加权支撑图像的特征；如图2所示，残差结构混合模型是指利用多个不同的原型混合模型提取多组原型向量，通过残差结构优化原型混合模型。在本专利技术中，可以采用原型混合模型或残差结构混合模型来进行小样本图像语义分割。根据本专利技术一种优选的实施方式，支撑图像的特征图S＝{si,i＝1,2,…,W×H}本文档来自技高网...

【技术保护点】
1.一种基于混合模型的小样本图像语义分割方法，其特征在于，所述方法包括以下语义分割模型的训练步骤：/n步骤1，对有标注的支撑图像特征进行原型向量提取；/n步骤2，对无标注待分割的查询图像进行特征激活；/n步骤3，获得训练后的小样本语义分割模型。/n

【技术特征摘要】
1.一种基于混合模型的小样本图像语义分割方法，其特征在于，所述方法包括以下语义分割模型的训练步骤：
步骤1，对有标注的支撑图像特征进行原型向量提取；
步骤2，对无标注待分割的查询图像进行特征激活；
步骤3，获得训练后的小样本语义分割模型。


2.根据权利要求1所述的方法，其特征在于，采用卷积神经网络提取支撑图像与查询图像的特征图。


3.根据权利要求1所述的方法，其特征在于，步骤1包括以下子步骤：
步骤1-1，获取支撑图像与查询图像特征图；
步骤1-2，建立混合模型，获取多个原型向量。


4.根据权利要求3所述的方法，其特征在于，步骤1-2包括以下子步骤：
步骤1-2-1，构造混合模型输入的前景、背景样本集合；
步骤1-2-2，提取多个原型向量。


5.根据权利要求1所述的方法，其特征在于，步骤2包括以下子步骤：
步骤2-1，获得查询图像的前景和背景概率图；
步骤2-2，对查询...

【专利技术属性】
技术研发人员：叶齐祥，杨博宇，刘畅，万方，韩振军，焦建彬，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京;11