【技术实现步骤摘要】
一种小样本语义分割方法及装置
[0001]本专利技术主要涉及计算机视觉
，尤其涉及一种小样本语义分割方法及装置。
技术介绍
[0002]语义分割旨在为图像的每个像素预测一个类别标签，这为完整的场景理解铺平了道路，例如高级驾驶员辅助系统和机器人导航。最近，随着深度学习的发展，基于卷积神经网络（CNN）的方法由于预测的强大特征表示能力而取得了显着的进步细粒度的语义信息。然而，基于 CNN 的方法通常采用复杂的网络结构，这不仅拥有大量的参数量和计算量，在运行时还需要较多的存储空间与频繁的计算。而且基于 CNN 的方法需要大量的密集和手工制作的数据集，这既费时又费力。
技术实现思路
[0003]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种小样本语义分割方法及装置。
[0004]本专利技术解决上述技术问题的技术方案如下：一种小样本语义分割方法，包括如下步骤：导入含有多个图像的训练集，根据图像类别将所述训练集中的多个图像划分为支持集和查询集；通过预训练的特征编码器对所述支持集和查询集进行特征提...
【技术保护点】
【技术特征摘要】
1.一种小样本语义分割方法，其特征在于，包括如下步骤：导入含有多个图像的训练集，根据图像类别将所述训练集中的多个图像划分为支持集和查询集；通过预训练的特征编码器对所述支持集和查询集进行特征提取，得到支持特征和查询特征；将所述支持特征的频域进行分离，得到多频特征，并将所述多频特征提取为多频原型；将所述多频原型与所述查询特征进行自适应匹配连接，得到新查询特征；构建特征解码器，通过所述特征解码器对所述新查询特征的多个特征向量分别进行分割预测，得到每个特征向量对应的预测类别。2.根据权利要求1所述的小样本语义分割方法，其特征在于，所述根据图像类别将所述训练集中的多个图像划分为支持集和查询集，具体为：根据支持与查询对范式将所述训练集中所有的图像或进行图像类别的配对处理，得到多个支持与查询图像对，通过多个支持与查询图像对得到与所述训练集对应的所述支持集和所述查询集，且所述支持与查询图像对由所述支持集和所述查询集中相同类别的图像组成，其中，所述支持集为第个图像及其二进制掩码，为图像
‑
二进制掩码对的数量，所述查询集为第个图像对应的查询图像及其真实掩码。3.根据权利要求1所述的小样本语义分割方法，其特征在于，所述通过预训练的特征编码器对所述支持集和查询集进行特征提取，得到支持特征和查询特征，具体为：将所述支持集导入预训练的特征编码器中，通过所述预训练的特征编码器输出所述支持集的低层支持特征、中层支持特征和中层支持特征；将所述查询集导入训练后的特征编码器中，通过所述训练后的特征编码器输出所述查询集的中层查询特征。4.根据权利要求3所述的小样本语义分割方法，其特征在于，所述多频特征包括低频特征；所述将所述支持特征的频域进行分离，得到多频特征，具体为：构建所述支持特征分离网络，所述支持特征分离网络包括一致性保持模块CGB和卷积层；将所述支持特征的中层支持特征输入所述一致性保持模块CGB进行分离处理，得到与所述中层支持特征的像素分辨率相同的低分辨率特征，将所述低分辨率特征与所述中层支持特征连接，得到以标准空间网格为标准的第一预测流图，表示连接，卷积层；将所述支持特征的中层支持特征输入所述一致性保持模块CGB进行分离处理，得到与所述中层支持特征的像素分辨率相同的低分辨率特征，将所述低分辨率特征
与所述中层支持特征连接，得到以标准空间网格为标准的第二预测流图，，表示连接， 卷积层；将所述第一预测流图和所述第二预测流图中的每个位置通过映射公式进行映射，得到每个位置对应的映射点，所述映射公式为，为第一预测流图或所述第二预测流图；通过可微双线性采样方法将所述第一预测流图的各个映射点进行线性插值处理，输出所述第一预测流图对应的低频特征的每一个点，，其中，由所述第一预测流图计算得到的扭曲空间网格双线性核权重，表示所涉及的相邻像素；通过可微双线性采样方法将所述第二预测流图的各个映射点进行线性插值处理，输出所述第二预测流图对应的低频特征的每一个点，，其中，由所述第二预测流图计算得到的扭曲空间网格双线性核权重，表示所涉及的相邻像素；将所述低频特征和所述低频特征进行连接，得到最终的低频特征， 表示连接，表示卷积层，所述卷积层用于将通道数降维。5.根据权利要求4所述的小样本语义分割方法，其特征在于，所述多频特征还包括高频特征；所述将所述支持特征的频域进行分离，得到多频特征，具体为：将所述支持特征的中层支持特征减去低频特征得到高频特征，所述高频特征，并将所述支持特征的...
【专利技术属性】
技术研发人员：卢涛，饶茜雅，张彦铎，方稳华，王元植，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。