一种基于网络模体图表示学习的小样本语义分割方法技术

本发明专利技术属于人工智能研究领域，提出一种基于网络模体图表示学习的小样本语义分割方法。本发明专利技术主要解决由于通道特征提取能力不足，导致的查询图像中通道信息丢失问题。所述方法主要包括特征提取模块、关系参考模块、隐式关系挖掘模块、多尺度交互模块和最终分割模块。该发明专利技术将查询通道特征作为节点，构造图结构，建立节点之间的关系；利用网络模体来量化节点的属性特征和结构特征，以增强通道之间的关系；最后，聚合属性特征和结构特征，并通过图表示学习来挖掘节点之间的隐式关系。该发明专利技术通过将查询通道特征的隐式关系显示化，缓解了查询图像中的信息丢失问题。像中的信息丢失问题。像中的信息丢失问题。

【技术实现步骤摘要】
一种基于网络模体图表示学习的小样本语义分割方法


[0001]本专利技术涉及人工智能研究领域，尤其涉及一种基于网络模体图表示学习的小样本语义分割方法。

技术介绍

[0002]图像语义分割属于计算机的视觉识别任务，在人工智能领域有重要的作用。目前主要应用于医学图像、遥感图像和无人驾驶领域。图像语义分割任务本质上是对图像中的每一个像素点进行分类与定位。该任务也被认为是密集预测任务中的一种。然而，该任务需要大量带密集标注的训练数据集进行支撑，这些数据集的收集成本高昂、耗时长，而且目前的方法很难以数据有效的方式推广到不可见的对象类别。为了解决数据问题，提出了小样本语义分割。“One
‑
shot learning for semantic segmentation,”in British Machine Vision Conference(BMVC)中的小样本语义分割的目标是利用一个或几个带注释的支持图像来分割查询图像中一个不可见类的前景图像，其中该不可见类同时包含在支持图像和查询图像中。
[0003]“Canet:Class
‑
agnostic segmentation networks with iterative refifinement and attentive few
‑
shot learning,”in IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)中表述小样本语义分割方法通常采用双分支卷积神经网络[2]。支持分支提取支持图像的分割先验，查询分支提取嵌入式空间中的查询图像的特征。根据支持分支的分割先验，构造支持图像与查询图像之间的相似性关系，实现对查询图像的分割。在此基础上，现有的方法通过在支持分支生成支持原型、采用不同的方法计算支持特征和查询特征之间的相似性、或融合两个分支的多尺度特征等方式充分挖掘支持图像信息和查询图像信息提高分割性能。然而，这些方法仅在初始特征提取和后续的交互过程中进行挖掘和利用空间特征信息，且它们对通道特征信息的提取能力不足。

技术实现思路

[0004]基于现有小样本语义分割方法缺乏对通道特征显示建模的方法，且提取通道特征信息的能力不足，导致查询图像中的通道信息丢失问题。本专利技术提出一种基于网络模体图表示学习的小样本语义分割方法。
[0005]本专利技术的技术方案：一种基于网络模体图表示学习的小样本语义分割方法，将查询图像通道特征作为节点，构造图结构，建立节点之间的关系。利用网络模体量化节点的属性特征和节点的结构特征，以增强通道之间的关系。通过图表示学习聚合属性特征和结构特征，挖掘节点之间的隐式关系，该方法通过将查询通道特征的隐式关系显示化，从而缓解查询图像中的信息丢失问题；基于网络模体图表示学习的小样本语义分割方法包括特征提取模块、关系参考模块、隐式关系挖掘模块、多尺度交互模块和最终分割模块，具体步骤如下：
[0006]S1：特征提取模块提取支持图像和查询图像的特征，并生成支持原型：
[0007]利用特征提取主干网络提取支持图像和查询图像的特征，分别为支持特征和查询特征；支持特征和查询特征分为中级特征和高级特征；对中级支持特征使用掩码全局池去除背景干扰，获得支持原型；中级特征提示看不见的类共享的对象部分，如颜色、位置、边缘等。高级特征与对象类别相关，但是会对最终分割效果产生不利影响。但是，高级特征提供的语义信息非常重要。使用高级特征来建立支持特征和查询特征之间的关系，为后续的分割提供先验知识，解决了以上问题。
[0008]S2：关系参考模块计算支持特征和查询特征之间的相关性，为后续分割提供先验知识：
[0009]计算步骤S1获得的高级支持特征与查询特征之间的关系，生成关系参考图；
[0010]S3：隐式关系挖掘模块将查询图像通道特征建模为拓扑图，通过基于网络模体图表示学习挖掘查询图像的隐式通道关系：
[0011]挖掘步骤S1获得的中级查询特征的隐式关系；将查询图像中离散的通道特征转换为拓扑图；通过基于网络模体图表示学习，提取出中级查询特征的通道特征的有益隐式相关性，获得新的查询特征；
[0012]信息特征包括空间特征和通道特征，它们在小样本语义分割中扮演着不同但又不可或缺的角色。当前的方法仅通常使用空间特征，缺乏提取通道特征的能力。本专利技术提出了隐式关系挖掘模块，将离散的通道特征建模成通道特征图，通道特征之间的关系可以通过使用图的拓扑结构来学习。此步骤可提取通道特征隐式相关性，丰富查询图像信息。
[0013]S4：多尺度交互模块基于多尺度将特征提取模块、关系参考模块、隐式关系挖掘模块的输出融合：
[0014]将关系参考图、新的查询特征和支持原型连接起来；基于多尺度交互模块，通过关系参考图和支持原型自适应地丰富新的查询特征，获得融合的查询特征；
[0015]查询图像的大小、位置和姿态将与支持图像非常不同，从而导致空间不一致。本专利技术使用多尺度交互模块，在水平方向上，新的查询特征、支持原型和关系参考图相互作用并合并；在纵向上，多尺度交互模块自上而下地将更多的细化特征集成到隐式关系挖掘模块输出的新的查询特征中；最后，收集不同尺度的特征作为最后融合的查询特征；此步骤可解决空间不一致问题。
[0016]S5：最终分割模块通过融合的查询特征预测出查询图像掩码并分割：对融合的查询特征使用分类报头进行分割，得到最终的查询图像预测掩码；
[0017]S6：利用交叉熵损失函数计算查询图像真实掩码和最终的查询图像预测掩码之间的损失，以及查询图像真实掩码和不同尺度下的查询图像预测掩码之间的损失，将两种损失相加，利用梯度反传函数更新模型参数。
[0018]所述步骤S1具体为：
[0019]S11：采用卷积神经网络作为主干网络对支持图像和查询图像进行特征提取，获得中级支持特征X
sm
、中级查询特征X
qm
、高级支持特征X
sh
和高级查询特征X
qh
；获得的支持特征和查询特征的维度均为H
×
W
×
C，其中H、W分别表示特征的高度和宽度，C表示通道数；
[0020]S12：将中级支持特征X
sm
和支持图像掩码相乘得到支持原型X
′
s
；
[0021]其中，查询图像为一张图片，支持图像为一张或多张图片，所有图像均有相应的掩
码图像。
[0022]所述步骤S2具体为：
[0023]S21：计算步骤S1获得的高级支持特征X
sh
和高级查询特征之间的余弦相似度；
[0024]S22：为每个高级查询特征计算其与高级支持特征X
sh
余弦相似度的最高值作为关系值；
[0025]S23：对所有的关系值进行归一化得到关系参考图R
q
；关系参考图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络模体图表示学习的小样本语义分割方法，其特征在于，该基于网络模体图表示学习的小样本语义分割方法将查询图像通道特征作为节点，构造图结构，利用网络模体量化节点的属性特征和结构特征，通过图表示学习聚合属性特征和结构特征，挖掘节点之间的隐式关系，从而缓解查询图像中的信息丢失问题；基于网络模体图表示学习的小样本语义分割方法包括特征提取模块、关系参考模块、隐式关系挖掘模块、多尺度交互模块和最终分割模块，具体步骤如下：S1、特征提取模块提取支持图像和查询图像的特征，并生成支持原型：利用特征提取主干网络提取支持图像和查询图像的特征，分别为支持特征和查询特征；支持特征和查询特征分为中级特征和高级特征，中级支持特征表示看不见的类共享的对象部分，包括颜色、位置和边缘，高级特征与对象类别相关；使用支持图像掩码全局池去除背景干扰，获得支持原型；S2、关系参考模块用于计算支持特征和查询特征之间的相关性，为后续分割提供先验知识：计算步骤S1获得的高级支持特征与查询特征之间的关系，生成关系参考图；S3、隐式关系挖掘模块将查询图像通道特征建模为拓扑图，通过基于网络模体图表示学习挖掘查询图像的隐式通道关系：挖掘步骤S1获得的中级查询特征的隐式关系；将查询图像中离散的通道特征转换为拓扑图；通过基于网络模体图表示学习，提取出中级查询特征的通道特征的有益隐式相关性，获得新的查询特征；S4、多尺度交互模块基于多尺度将特征提取模块、关系参考模块、隐式关系挖掘模块的输出融合：将关系参考图、新的查询特征和支持原型连接起来；基于多尺度交互模块，通过关系参考图和支持原型自适应地丰富新的查询特征，获得融合的查询特征；在水平方向上，新的查询特征、支持原型和关系参考图相互作用并合并；在纵向上，多尺度交互模块自上而下地将更多的细化特征集成到隐式关系挖掘模块输出的新的查询特征中；最后，收集不同尺度的特征作为最后融合的查询特征；S5、最终分割模块通过融合的查询特征预测出查询图像掩码并分割：对融合的查询特征使用分类报头进行分割，得到最终的查询图像预测掩码；S6、利用交叉熵损失函数计算查询图像真实掩码和最终的查询图像预测掩码之间的损失，以及查询图像真实掩码和不同尺度下的查询图像预测掩码之间的损失，将两种损失相加，利用梯度反传函数更新模型的参数。2.根据权利要求1所述的基于网络模体图表示学习的小样本语义分割方法，其特征在于，所述步骤S1具体为：S11：采用卷积神经网络作为主干网络对支持图像和查询图像进行特征提取，获得中级支持特征X
sm
、中级查询特征X
qm
、高级支持特征X
sh
和高级查询特征X
qh
；获得的支持特征和查询特征的维度均为H
×
W
×
C，其中H、W分别表示特征的高度和宽度，C表示通道数；S12：将中级支持特征X
sm
和支持图像掩码相乘得到支持原型X
s
′
；其中，查询图像为一张图像，支持图像为一张或多张图像，所有图像均有相应的掩码图像。
3.根据权利要求1或2所述的基于网络模体图表示学习的小样本语义分割方法，其特征在于，所述步骤S2具体为：S21：计算步骤S1获得的高级支持特征X
sh
和高级查询特征之间的余弦相似度；S22：为每个高级查询特征计算其与高级支持特征X
sh
余弦相似度的最高值，作为关系值；S23：对所有的关系值进行归一化得到关系参考图R
q
，关系参考图的维度为H
×
W
×
1。4.根据权利要求3所述的...

【专利技术属性】
技术研发人员：原旭，于硕，杨影，黄华飞，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：