小样本图像分割方法、装置、终端设备以及存储介质制造方法及图纸

本发明专利技术公开了一种小样本图像分割方法、装置、终端设备以及存储介质，应用于存储有初始查询图像和支持图像的终端设备；小样本图像分割方法包括：通过预设的分割网络获取所述初始查询图像的基类分割预测图像；基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像；综合所述基类分割预测图像和所述新类分割预测图像以得到目标预测图像。运用本发明专利技术技术方案能够实现小样本图像分割基于少量的支持图像得到更加精确的分割图像的效果。像的效果。像的效果。

【技术实现步骤摘要】
小样本图像分割方法、装置、终端设备以及存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种小样本图像分割方法、装置、终端设备以及存储介质。

技术介绍

[0002]小样本图像分割是小样本学习的应用之一，其目的是在只有少量密集标记样本的情况下，分割出未见类别的物体。在实际应用中，小样本图像分割所使用的支持图像通常是有限和固定的，而查询图像一般是海量和任意的，并且，由于所训练出的小样本图像分割预训练模型倾向于识别基类，很难将模型应用于新类的预测，导致无论支持图像质量如何，有限的小样本支持图像很容易无法覆盖查询图像中目标类(新类)的基本外观变化，导致小样本图像分割失败，如分割对象不完整、边界模糊等等。
[0003]综上，如何实现小样本图像分割基于少量的支持图像得到更加精确的分割图像的效果，俨然已经成为本领域亟需解决的问题。

技术实现思路

[0004]本专利技术的主要目的在于提供一种小样本图像分割方法、装置、终端设备以及存储介质，旨在实现小样本图像分割基于少量的支持图像得到更加精确的分割图像的效果。
[0005]为实现上述目的，本专利技术提供一种小样本图像分割方法，所述小样本图像分割方法应用于终端设备，所述终端设备存储有初始查询图像和支持图像；所述小样本图像分割方法包括：
[0006]通过预设的分割网络获取所述初始查询图像的基类分割预测图像；
[0007]基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像；
[0008]综合所述基类分割预测图像和所述新类分割预测图像以得到目标预测图像。
[0009]可选地，在所述基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像的步骤之前，所述方法还包括：
[0010]针对所述初始查询图像进行边缘检测以得到边缘特征图。
[0011]可选地，在所述基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像的步骤之前，所述方法还包括：
[0012]通过预设的特征提取网络获取所述支持图像的支持特征图和所述初始查询图像的查询特征图；
[0013]根据所述支持特征图生成支持特征原型；
[0014]根据所述支持特征图和所述查询特征图生成余弦相似图。
[0015]可选地，所述根据所述支持特征图和所述查询特征图生成余弦相似图的步骤，包括：
[0016]将所述支持特征图和预设的掩膜图像相乘，并针对相乘后的支持特征图进行平均
像素过滤；
[0017]将过滤后的支持特征图和所述查询特征图进行余弦距离计算以得到余弦相似图。
[0018]可选地，在所述通过预设的特征提取网络获取所述支持图像的支持特征图和所述初始查询图像的查询特征图的步骤之前，所述方法还包括：
[0019]将所述初始查询图像结合所述支持图像进行风格迁移以得到中层查询图像；
[0020]将所述中层查询图像进行小波滤波以得到查询图像；
[0021]所述通过预设的特征提取网络获取所述支持图像的支持特征图和所述初始查询图像的查询特征图的步骤，包括：
[0022]通过预设的特征提取网络获取所述支持图像的支持特征图和所述查询图像的查询特征图。
[0023]可选地，所述将所述中层查询图像进行小波滤波以得到查询图像的步骤，包括：
[0024]将所述中层查询图像进行多次小波分解以得到多张不同频率的备选分量图像；
[0025]将所述备选分量图像中低于预设频率阈值的图像作为分量图像；
[0026]将所述分量图像进行小波逆变换以得到查询图像。
[0027]可选地，所述基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像的步骤，包括：
[0028]将基于所述初始查询图像和所述支持图像所得到的边缘特征图、支持特征原型、余弦相似图和查询特征图进行拼接，以得到拼接特征图；
[0029]将所述拼接特征图进行特征融合分割以得到新类分割预测图像。
[0030]此外，为实现上述目的，本专利技术还提供一种小样本图像分割装置，所述小样本图像分割装置包括：
[0031]获取模块，用于通过预设的分割网络获取所述初始查询图像的基类分割预测图像；
[0032]分割模块，用于基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像；
[0033]综合模块，用于综合所述基类分割预测图像和所述新类分割预测图以得到目标预测图像。
[0034]其中，本专利技术小样本图像分割装置的各个功能模块在运行时实现如上所述的小样本图像分割方法的步骤。
[0035]此外，为实现上述目的，本专利技术还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的小样本图像分割程序，所述小样本图像分割程序被所述处理器执行时实现如上所述的小样本图像分割方法的步骤。
[0036]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有小样本图像分割程序，所述小样本图像分割程序被处理器执行时实现如上所述的小样本图像分割方法的步骤。
[0037]本专利技术提供的一种小样本图像分割方法、装置、终端设备以及存储介质，应用于存储有初始查询图像和支持图像的终端设备；该小样本图像分割方法包括：通过预设的分割网络获取所述初始查询图像的基类分割预测图像；基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像；综合所述基类分割预测图像和所述新类分割
预测图像以得到目标预测图像。
[0038]相比于传统的小样本图像分割方式，本专利技术通过在小样本图像分割的预训练模型中采用两个学习器，采用基础学习器通过预设的分割网络获取初始查询图像的基类分割预测图像，然后，采用元学习器基于初始查询图像和支持图像进行特征融合分割，以得到初始查询图像的新类分割预测图像；最后，集成两个学习器的分割结果，即综合基类分割预测图像和新类分割预测图像，得到初始查询图像的目标预测图像。
[0039]如此，本专利技术通过采用两个学习器分别获取初始查询图像的新类分割预测图像和基类分割预测图像，再将两者结合得到目标预测图像，从而实现了小样本图像分割基于少量的支持图像得到更加精确的分割图像的效果。
附图说明
[0040]图1为本专利技术实施例方案涉及的终端设备硬件运行环境的设备结构示意图；
[0041]图2为本专利技术小样本图像分割方法一实施例的实施流程示意图；
[0042]图3为本专利技术小样本图像分割方法一实施例所涉及的边缘检测示意图；
[0043]图4为本专利技术小样本图像分割方法一实施例所涉及的原型生成示意图；
[0044]图5为本专利技术小样本图像分割方法一实施例所涉及的相似性比较示意图；
[0045]图6为本专利技术小样本图像分割方法一实施例所涉及的特征融合分割示意图；
[0046]图7为本专利技术小样本图像分割方法一实施例所涉及的输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本图像分割方法，其特征在于，应用于终端设备，所述终端设备存储有初始查询图像和支持图像；所述小样本图像分割方法包括：通过预设的分割网络获取所述初始查询图像的基类分割预测图像；基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像；综合所述基类分割预测图像和所述新类分割预测图像以得到目标预测图像。2.根据权利要求1所述的小样本图像分割方法，其特征在于，在所述基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像的步骤之前，所述方法还包括：针对所述初始查询图像进行边缘检测以得到边缘特征图。3.根据权利要求1所述的小样本图像分割方法，其特征在于，在所述基于所述初始查询图像和所述支持图像进行特征融合分割以得到新类分割预测图像的步骤之前，所述方法还包括：通过预设的特征提取网络获取所述支持图像的支持特征图和所述初始查询图像的查询特征图；根据所述支持特征图生成支持特征原型；根据所述支持特征图和所述查询特征图生成余弦相似图。4.根据权利要求3所述的小样本图像分割方法，其特征在于，所述根据所述支持特征图和所述查询特征图生成余弦相似图的步骤，包括：将所述支持特征图和预设的掩膜图像相乘，并针对相乘后的支持特征图进行平均像素过滤；将过滤后的支持特征图和所述查询特征图进行余弦距离计算以得到余弦相似图。5.根据权利要求3所述的小样本图像分割方法，其特征在于，在所述通过预设的特征提取网络获取所述支持图像的支持特征图和所述初始查询图像的查询特征图的步骤之前，所述方法还包括：将所述初始查询图像结合所述支持图像进行风格迁移以得到中层查询图像；将所述中层查询图像进行小波滤波以得到查询图像；所述通过预设的特征提取网络获取所述支持图像的支持特征...

【专利技术属性】
技术研发人员：何志权，吕健图，
申请(专利权)人：深圳大学，
类型：发明
国别省市：