【技术实现步骤摘要】
本专利技术涉及计算机视觉处理，尤其涉及一种基于多粒度自监督的少样本分割方法。
技术介绍
1、得益于大规模数据集的良好建立，许多计算机视觉技术在过去的几年里得到了快速的发展，在早期的研究工作中，一些基于度量学习的少样本分割方法被用于计算机视觉技术。这些方法通常在有更多可用的支持图像上表现更优。
2、除了上述基于度量学习的方法，还可采用图形推理来挖掘支持特征与查询特征之间的对应关系。通过应用4d卷积探索网络中间卷积层之间的关联性。为了克服巨大的计算成本，提出了一种有效的中心轴4d卷积以降低模型的计算复杂度。最近的一些工作提出使用额外的模糊的边界线索和背景线索来提高网络性能。有的工作引入了一个叫做基类学习器的模块来探索那些不需要分割的物体。与直接对抗监督崩溃的工作不同，他们的基础学习器直接预测了基础类的区域。
3、用于分类和分割的综合少样本学习（fs-cs）探索了一个新的任务，在几张照片中整合了分类和分割。设计了一种新的语义关联和注意力方法来构建网络，从而减少了对错误的显著物体的分割。另一些工作将4d卷积引入转化器模型(transformer)，以利于查询图像和支持图像相关图的生成，挖掘了支持和查询特征之间的不同水平的像素相关性。
4、在少样本语义分割中，以前的一些方法使用自监督学习来提高性能。例如生成查询图像的伪类掩码。通过学习分割伪标签，该模型可以在背景中有多种类别的复杂图像中更好地分割出新类。一些工作设计了提取器从支持图像中获得语义特征。这将有助于使基类学习器具有对特定类别的判别能力，并提高网
技术实现思路
1、本专利技术旨在至少解决相关技术中存在的技术问题之一。为此，本专利技术提供一种基于多粒度自监督的少样本分割方法。
2、本专利技术提供一种基于多粒度自监督的少样本分割方法，包括如下步骤：
3、s1：分割数据：
4、对样本数据进行采样，获得待分割数据的支持图像和支持图像掩码，训练待分割数据，获得待分割数据的查询图像及查询图像掩码；
5、s2：建立自监督学习模型：
6、通过对待分割数据进行数据增强处理，获得正样本对以及多对负样本对，通过对比学习正样本对和多对负样本对，建立自监督学习模型；
7、s3：建立图像块级的自监督学习模型：
8、获得自监督模型模块图像特征，基于自监督模型模块图像特征，通过数据增强处理，获得第一正样本对和多对第一负样本对，通过对比学习第一正样本对和多对第一负样本对，建立图像块级的自监督学习模型；
9、s4：建立超像素级的自监督学习模型：
10、通过对自监督模块图像特征的距离和自监督模块图像坐标的距离之和迭代寻找超像素，根据超像素的位置，获得第二正样本对及多对第二负样本对，通过对比性损失训练第二正样本对及和多对第二负样本对，建立超像素级的自监督学习模型；
11、s5：建立少样本语义分割基线模型：
12、根据高斯过程进行支持图像和查询图像之间的关系建模，建立少样本语义分割基线模型；
13、s6：联合训练少样本语义分割基线模型、图像块级的自监督学习模型和超像素级的自监督学习模型：
14、通过将支持图像掩码和查询图像掩码送入编码器，将图像块级的自监督学习模型获得的相同图像块在不同位置和不同背景下的不变特征、超像素级的自监督学习模型中获得的图像块的聚类特征以及少样本语义分割基线模型中获得的少样本任务中的不确定性相融合，获得待分割数据的预测结果。
15、根据本专利技术提供的一种基于多粒度自监督的少样本分割方法，还包括所述s1步骤还包括：由带标注掩码的支持图像构成训练集，在训练集上训练待分割数据。
16、根据本专利技术提供的一种基于多粒度自监督的少样本分割方法，还包括所述s1步骤还包括：
17、通过对一个基类进行采样，获得支持图像和支持图像掩码，支持图像掩码表达式为：
18、
19、式中，为第个基类，为支持图像掩码，为采样的图像，为支持类，为掩码标签；
20、通过元学习的方法训练待分割数据，获得查询图像和查询图像掩码，查询图像掩码表达式为：
21、
22、式中，为查询图像掩码，为查询类。
23、根据本专利技术提供的一种基于多粒度自监督的少样本分割方法，还包括所述s2步骤中，对待分割数据进行第一次采样，获得采样图像，通过对采样图像进行数据增强处理，提取正样本对，通过对待分割数据进行第二次采样，提取多对负样本对。
24、根据本专利技术提供的一种基于多粒度自监督的少样本分割方法，还包括所述s3步骤中,通过将自监督模型模块图像特征与待分割数据对比，获得重叠度最高的第一图像和第二图像，通过对第一图像进行第一数据增强处理，对第二图像进行第二数据增强处理，获得具有相同内容的多个共享图像块，随机选取一个共享图像块作为第一正样本对，随机选取多对共享图像块外的其余图像块作为第一负样本对。
25、根据本专利技术提供的一种基于多粒度自监督的少样本分割方法，还包括所述s3步骤包括一个基于卷积的自监督映射层，基于卷积的自监督映射层包括连接在图像编码器后面的两个卷积和一个残差，通过将图像块送入图像编码器和自监督映射层，获得编码后的图像块特征；
26、编码后的图像块特征表达式为：
27、=(())
28、式中，为图像块编码后的图像块特征，为图像编码器，为自监督映射层，为图像块；
29、采用感兴趣区域聚集方法，提取图像块的池化特征，在学习过程中使用对比损失进行训练，图像块级的对比损失表达式为：
30、
31、式中，为图像块级的对比损失，为温度超参数，为向量的转置参数，为负样本对的数量，为抽取负样本对随机采样图像数，为采样的图像数量，为采样图像的池化特征，为使用第一数据增强图像的池化特征，为使用第二数据增强图像的池化特征；
32、通过最大化正样本对的相似性，最小化负样本对的相似性来学习不变的空间特征。
33、根据本专利技术提供的一种基于多粒度自监督的少样本分割方法，还包括所述s4步骤包括：
34、s41：通过位置感知的k均值聚类算法策略生成超像素，自监督模块图像特征按通道维度聚合到m个超像素，同时保持自监督模块图像特征的位置信息，k均值聚类算法通过自监督模块图像特征之间的距离寻找自监督模块图像特征所属的中心点，并迭代选择新的中心直到收敛，利用特征的距离加上像素的坐标与中心点的距离之和来定义两个特征图中特征之间的距离，中心点的坐标被定义为属于它的所有特征的平均位置，基于特征的接近程度，它们被聚类到不同的中心点；
本文档来自技高网...【技术保护点】
1.一种基于多粒度自监督的少样本分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S1步骤还包括：由带标注掩码的支持图像构成训练集，在训练集上训练待分割数据。
3.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S1步骤还包括：
4.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S2步骤中，对待分割数据进行第一次采样，获得采样图像，通过对采样图像进行数据增强处理，提取正样本对，通过对待分割数据进行第二次采样，提取多对负样本对。
5.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S3步骤中,通过将自监督模型模块图像特征与待分割数据对比，获得重叠度最高的第一图像和第二图像，通过对第一图像进行第一数据增强处理，对第二图像进行第二数据增强处理，获得具有相同内容的多个共享图像块，随机选取一个共享图像块作为第一正样本对，随机选取多对共享图像块外的其余图像块作为第一负样本对。
6.根据权利
7.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S4步骤包括：
8.根据权利要求7所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S4步骤在K均值聚类过程中，特征和中心点之间的距离是选择中心点的关键。
9.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S5步骤包括：
10.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述S6步骤中，输入支持图像、查询图像以及通过数据增强生成的图像，计算损失函数，总损失的表达式为：
...【技术特征摘要】
1.一种基于多粒度自监督的少样本分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述s1步骤还包括：由带标注掩码的支持图像构成训练集，在训练集上训练待分割数据。
3.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述s1步骤还包括：
4.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述s2步骤中，对待分割数据进行第一次采样，获得采样图像，通过对采样图像进行数据增强处理，提取正样本对，通过对待分割数据进行第二次采样，提取多对负样本对。
5.根据权利要求1所述的一种基于多粒度自监督的少样本分割方法，其特征在于，所述s3步骤中,通过将自监督模型模块图像特征与待分割数据对比，获得重叠度最高的第一图像和第二图像，通过对第一图像进行第一数据增强处理，对第二图像进行第二数据增强处理，获得具有相同内容的多个共享图像块，随机选取一个共享图像块作...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。