一种基于超像素特征表征学习的语义分割主动学习方法技术

本发明专利技术公开了一种基于超像素特征表征学习的语义分割主动学习方法，设计一个特征提取头来提取主干网络输出的特征，输出逐像素的特征向量，通过特征存储库存储历史类别的特征向量，通过难样本挖掘技术选择对比学习中的正负样本，应用

【技术实现步骤摘要】
一种基于超像素特征表征学习的语义分割主动学习方法


[0001]本专利技术属于深度学习
，具体涉及一种语义分割主动学习方法
。

技术介绍

[0002]语义分割是计算机视觉领域中一项重要的任务，其目标是通过像素级别的图像识别，即标注出图像中每个像素所属的对象类别，以实现对图像的精细分类
。
该技术在自动驾驶
、
环境理解
、
生物医学分析
、
遥感和机器人操作等领域具有广泛的应用
。
随着深度学习方法的兴起，语义分割任务取得了显著的进展
。
然而，基于深度网络的语义分割模型的成功在很大程度上依赖于可用的大规模带有像素级标注的训练数据集
。
但获取逐像素标注的过程非常耗时且成本昂贵，通常需要专家人工进行标注
。
[0003]为了应对这一问题，主动学习作为一种有效的解决方案被提出
。
主动学习是一种通过主动选择具有最高价值的样本进行标注，从而使用尽可能少但高质量的样本进行标注来使模型达到尽可能好的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于超像素特征表征学习的语义分割主动学习方法，其特征在于，包括如下步骤：步骤1：对数据集
D
进行超像素分割，即将每个图像分割成多个超像素块；然后从分割后的超像素块中随机选择一部分超像素块进行标记作为初始的已标记数据集
D
L
，其余的作为未标记数据集
D
U
；网络模型采用教师
‑
学生网络框架，其中学生网络
θ
s
和教师网络
θ
t
具有相同的网络结构，都由一个主干网络和两个并行的模块组成；主干网络采用
FCN+Resnet50
结构，两个并行的模块分别为线性分类模块
θ
seg
和特征提取模块
θ
proj
，
θ
seg
和
θ
proj
是两个不同的模块，不共享参数，跟在主干网络的后面；分别代表学生网络
θ
s
对应的线性分类模块和特征提取模块，分别代表教师网络
θ
t
对应的线性分类模块和特征提取模块；两个并行的模块都是由二维卷积
、
批归一化函数
、Relu
激活函数以及
Dropout
组成；初始的特征存储库
M
置为空；步骤2：利用教师网络
θ
t
对未标记的数据集
D
U
进行预测，通过线性分类模块和特征提取模块获得各个像素点的分类概率以及特征向量；针对同一超像素块的所有像素点，对他们的特征向量取平均值，求得该超像素块的特征向量表示
f
R
；根据像素点的分类概率求得该像素点的信息熵值，对同一超像素块的所有像素点的信息熵值求平均值得到对应超像素区域的信息熵；步骤3：当特征存储库
M
为空时，对非线性降维方法
UMAP
采用随机初始化；当
M
不为空时，通过
M
中的特征向量来训练
UMAP
，以学习一个映射函数；通过
UMAP
方法把超像素块的特征向量降维到二维空间；接下来应用
Kmeans
聚类方法，对降维后的特征向量进行聚类，每个聚类簇包含一组特征向量，代表一组相似的超像素块，在每个聚类的簇中获得步骤2中平均信息熵值最大的超像素块，作为选择要标记的样本；步骤4：对通过步骤3选择的要标记的超像素块集合通过专家
O
进行标注后，加入到已标记数据集
D
L
，并在未标记数据集
D
U
中去除相应的超像素块；步骤5：用更新后的
D
L
经过弱数据增强后分别输入到学生网络和教师网络中，通过各自的线性分类模块和特征提取模块获得相应的分类概率以及特征表示，用来分别计算主损失
L
CE
和对比损失
L
Contra
；对于主损失采用交叉熵损失，通过学生网络的线性分类模块得到各个像素点的预测值，再根据真实标签值计算交叉熵损失；对于对比损失采用
InfoNCE
，计算时需要锚样本
、
正样本
、
负样本三种不同的样本；锚样本的选择是根据教师网络的线性分类模块得到各个像素点的预测值，计...

【专利技术属性】
技术研发人员：张秀伟，王康威，张艳宁，魏辰旭，李艳平，尹翰林，于雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：