一种相似度矩阵引导的少样本语义分割方法及系统技术方案

本发明专利技术公开了一种相似度矩阵引导的少样本语义分割方法及系统，该方法首先通过深度学习分别提取支持图像与查询图像特征；接着利用支持图像及其真值标签对计算查询图像和目标类别的相似度矩阵；然后通过掩码平均池化获取目标类别的特征表征作为该目标类原型；将获取的多种特征经过通道注意力处理，输入空洞空间金字塔池化网络，再经过卷积分类输出最终的精细化分割结果；最后通过训练数据对原型特征生成网络以及多特征融合的精细化语义分割模块网络进行优化，利用训练好的模型对新类别的查询图像进行像素级分割。本发明专利技术的少样本语义分割方法具有应用简单、通用性强等突出优点。通用性强等突出优点。通用性强等突出优点。

【技术实现步骤摘要】
一种相似度矩阵引导的少样本语义分割方法及系统


[0001]本专利技术属于计算机视觉领域，涉及一种相似度矩阵引导的少样本语义分割方法及系统。

技术介绍

[0002]语义分割旨在分割图像中不同目标并识别每一像素的语义类型，是视觉理解的核心手段之一，其被广泛应用于自主无人系统场景理解、智能制造等领域。在深度学习的驱动下，语义分割精度近年来得到了极大提升，但深度学习需依赖大规模标注样本，面对实际应用中标注样本稀缺的问题，如何实现少样本条件下的高精度语义分割成为亟需突破的难题。少样本分割的目标是在给予少数带标注的支持图像下对查询图像进行准确的分割。目前，现有的少样本分割方法常用元学习范式来实现对新的类别泛化性分割。该方式在训练时的基础数据集中采样一系列的类别来进行分割任务，以模拟测试或推理时新类的少镜头场景，达到“学习去学习”的目的。在此基础上，双分支模型、基于原型网络的嵌入式学习、先验图引导的特征学习等思想被提出应用于少样本分割上。基于双分支指导的模型主要包括“支持分支”和“查询分支”，通过支持分支对样本数据和现有知识进行学习分析，从而指导查询分支快速学习新知识并实现新样本的分割。另一思路依据是原型学习，即根据目标样本的现有知识把样本嵌入到低维空间，将模型的假设空间进行约束再进行学习，从而提升模型的收敛速度与学习效率。此外，考虑到利用支持和查询图像之间的相关性，使用支持图像和查询图像的高级特征余弦相关性的最大值作为先验图，和其他特征进行融合，指导语义分割。但是余弦相关性计算并不能很好地定位出查询图像中目标类别的位置。此外，融合模块极易存在元学习器对训练时见过的类别的偏向问题。
[0003]由于少样本语义分割模型中，每一种类别的判别性特征不一样，如何提高不同类别条件下少样本语义分割模型的通用性，是本领域的急需解决的技术问题。

技术实现思路

[0004]本专利技术提出了一种相似度矩阵引导的少样本语义分割方法及系统，从少量支持标注样本提取相似度矩阵和原型表征，以及对多特征融合，进而实现少样本语义分割。
[0005]本专利技术提供的技术方案如下：
[0006]一方面，一种相似度矩阵引导的少样本语义分割方法，包含以下步骤：
[0007]步骤1：获取训练、测试的样本数据；
[0008]所述训练、测试的样本数据包括目标类别确定的查询图像、支持图像以及对应图像的目标类别语义分割二值化真值掩码；
[0009]步骤2：利用经大规模数据集训练好的语义特征矩阵提取网络分别提取支持图像和查询图像的特征矩阵；
[0010]步骤3：利用查询图像的特征矩阵、支持图像的特征矩阵和二值化真值掩码，获取查询图像和目标类别的相似度矩阵；
[0011]步骤4：构建相似度矩阵引导的少样本语义分割模型；
[0012]所述相似度矩阵引导的少样本语义分割模型包括相连的原型特征生成网络和多特征融合的精细化语义分割模块；所述原型特征生成网络计算目标类别的原型特征；所述多特征融合的精细化语义分割模块输出精细化的二值化语义分割结果；
[0013]步骤5：训练相似度矩阵引导的少样本语义分割模型；
[0014]将训练样本数据中查询图像、支持图像及对应的目标类别语义分割真值掩码得到的特征矩阵和相似度矩阵，输入相似度矩阵引导的少样本语义分割模型，输出查询图像的二值化语义分割结果，利用语义分割损失计算模型参数梯度并更新模型参数，遍历训练样本数据集中的图像，迭代至指定次数，完成训练；
[0015]步骤6：对测试样本数据中新的目标类别的查询图像、支持图像及支持图像的目标类别语义分割二值化真值掩码，执行步骤2
‑
3后，将得到的输出数据输入训练好的相似度矩阵引导的少样本语义分割模型，对待分割的新的目标类别的查询图像进行语义分割。
[0016]待分割的图像对应的支持图像的目标类别语义分割二值化真值掩码是已知的；
[0017]进一步地，所述查询图像和目标类别的相似度矩阵获取流程如下：
[0018]步骤3
‑
1：基于与查询图像对应的支持图像的目标类别语义分割二值化真值掩码，提取支持图像的有效区域；
[0019]步骤3
‑
2：将查询图像的特征矩阵中所有像素的特征向量和支持图像的有效区域的特征矩阵中所有像素的特征向量输入全连接层，经过全连接层处理后，得到全连接层的输出数据；
[0020]步骤3
‑
3：利用二阶函数计算所述支持图像的有效区域的特征矩阵和查询图像特征矩阵的相似度矩阵，并以查询图像特征矩阵和所有支持图像的有效区域中的特征矩阵的相似度矩阵的平均值，作为查询图像和目标类别的相似度矩阵；
[0021]所述利用二阶函数计算所述支持图像的有效区域的特征矩阵和查询图像特征矩阵的相似度矩阵，是指利用以下计算公式依次计算查询图像中每个像素与支持图像中有效区域的每个像素的相似度，将查询图像特征矩阵所有像素与支持图像中目标类别的相似度组成查询图像和支持图像的目标类别的相似度矩阵；
[0022]d1(i，j)＝(Aw
i
)
T
(Aw
i
)+(Az
j
)
T
(Az
j
)
‑
(Bw
i
)
T
(Bz
j
)+c
T
w
i
+c
T
z
j
[0023]s1(i，j)＝1
‑
d1(i，j)
[0024][0025]其中，w
i
表示查询图像特征矩阵中第i个像素的特征向量，z
j
表示支持图像有效区域特征矩阵中第j个有效像素的特征向量，A、B均为n
out
×
n
in
的矩阵，c是n
out
×
1的向量，n
out
、n
in
的大小由支持图像中的目标类别确定，Aw
i
、Az
j
、Bw
i
、Bz
j
、c
T
w
i
、c
T
z
j
分别为全连接层的输出数据；d1(i，j)表示计算量；s1(i，j)表示查询图像特征矩阵中第i个像素和支持图像有效区域特征矩阵中第j个像素的相似度，similarity1(i)表示查询图像特征矩阵中第i个像素和支持图像中目标类别的相似度。
[0026]进一步地，所述A、B以及c由与查询图像对应的支持图像中的目标类别确定过程如下：
[0027]B1：随机赋值A、B以及c；
[0028]B2：在与查询图像对应的支持图像中进行采样；
[0029]在所有的支持图像以及对应的目标类别语义分割二值化真值掩码中，采集两对，得到目标支持图像、辅助支持图像、目标支持图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相似度矩阵引导的少样本语义分割方法，其特征在于，包含以下步骤：步骤1：获取训练、测试的样本数据；所述训练、测试的样本数据包括目标类别确定的查询图像、支持图像以及对应图像的目标类别语义分割二值化真值掩码；步骤2：利用经大规模数据集训练好的语义特征矩阵提取网络分别提取支持图像和查询图像的特征矩阵；步骤3：利用查询图像的特征矩阵、支持图像的特征矩阵和二值化真值掩码，获取查询图像和目标类别的相似度矩阵；步骤4：构建相似度矩阵引导的少样本语义分割模型；所述相似度矩阵引导的少样本语义分割模型包括相连的原型特征生成网络和多特征融合的精细化语义分割模块；所述原型特征生成网络计算目标类别的原型特征；所述多特征融合的精细化语义分割模块输出精细化的二值化语义分割结果；步骤5：训练相似度矩阵引导的少样本语义分割模型；将训练样本数据中查询图像、支持图像及对应的目标类别语义分割真值掩码得到的特征矩阵和相似度矩阵，输入相似度矩阵引导的少样本语义分割模型，输出查询图像的二值化语义分割结果，利用语义分割损失计算模型参数梯度并更新模型参数，遍历训练样本数据集中的图像，迭代至指定次数，完成训练；步骤6：对测试样本数据中新的目标类别的查询图像、支持图像及支持图像的目标类别语义分割二值化真值掩码，执行步骤2
‑
3后，将得到的输出数据输入训练好的相似度矩阵引导的少样本语义分割模型，对待分割的新的目标类别的查询图像进行语义分割。2.根据权利要求1所述方法，其特征在于，所述查询图像和目标类别的相似度矩阵获取流程如下：步骤3
‑
1：基于与查询图像对应的支持图像的目标类别语义分割二值化真值掩码，提取支持图像的有效区域；步骤3
‑
2：将查询图像的特征矩阵中所有像素的特征向量和支持图像的有效区域的特征矩阵中所有像素的特征向量输入全连接层，经过全连接层处理后，得到全连接层的输出数据；步骤3
‑
3：利用二阶函数计算所述支持图像的有效区域的特征矩阵和查询图像特征矩阵的相似度矩阵，并以查询图像特征矩阵和所有支持图像的有效区域中的特征矩阵的相似度矩阵的平均值，作为查询图像和目标类别的相似度矩阵；所述利用二阶函数计算所述支持图像的有效区域的特征矩阵和查询图像特征矩阵的相似度矩阵，是指利用以下计算公式依次计算查询图像中每个像素与支持图像中有效区域的每个像素的相似度，将查询图像特征矩阵所有像素与支持图像中目标类别的相似度组成查询图像和支持图像的目标类别的相似度矩阵；d1(i，j)＝(Aw
i
)
T
(Aw
i
)+(Az
j
)
T
(Az
j
)
‑
(Bw
i
)
T
(Bz
j
)+c
T
w
i
+c
T
z
j
s1(i，j)＝1
‑
d1(i，j)其中，w
i
表示查询图像特征矩阵中第i个像素的特征向量，z
j
表示支持图像有效区域特征矩阵中第j个有效像素的特征向量，A、B均为n
out
×
n
in
的矩阵，c是n
out
×
1的向量，n
out
、n
in
的大小由支持图像中的目标类别确定，Aw
i
、Az
j
、Bw
i
、Bz
j
、c
T
w
i
、c
T
z
j
分别为全连接层的输出数据；d1(i，j)表示计算量；s1(i，j)表示查询图像特征矩阵中第i个像素和支持图像有效区域特征矩阵中第j个像素的相似度，similarity1(i)表示查询图像特征矩阵中第i个像素和支持图像中目标类别的相似度。3.根据权利要求2所述得方法，其特征在于，所述A、B以及c由与查询图像对应的支持图像中的目标类别确定过程如下：B1：随机赋值A、B以及c；B2：在与查询图像对应的支持图像中进行采样；在所有的支持图像以及对应的目标类别语义分割二值化真值掩码中，采集两对，得到目标支持图像、辅助支持图像、目标支持图像的目标类别语义分割二值化真值掩码、辅助支持图像的目标类别语义分割二值化真值掩码；B3：计算目标支持图像和辅助支持图像目标类别的相似度矩阵；首先，提取辅助支持图像的有效区域；将辅助支持图像目标类别语义分割二值化真值掩码为零的像素设为无效像素，将辅助支持图像目标类别语义分割二值化真值掩码不为零的像素设为有效像素，得到辅助支持图像的有效区域；接着，使用二阶函数进行相似度运算；d1(i，j)＝(Ax
i
)
T
(Ax
i
)+...

【专利技术属性】
技术研发人员：余洪山，马小菊，杨振耕，陈同嘉，谢同同，谢理根，
申请(专利权)人：湖南大学，
类型：发明
国别省市：