【技术实现步骤摘要】
一种深度三网络半监督语义分割方法和系统
[0001]本申请涉及计算机视觉
，更具体地，涉及一种深度三网络半监督语义分割方法和系统。
技术介绍
[0002]语义分割是一种旨在于场景理解的高难度任务。场景理解作为计算机视觉的核心问题，在当今信息社会得到了广泛的应用。这些应用包括：自动驾驶、人机交互、计算机摄影、图像搜索引擎、及增强现实。这些问题已经尝试使用多种计算机视觉及机器学习的方法来解决。半监督语义分割通常是两阶段的训练，先用(较小规模的)有标签数据训练一个Teacher模型，再用这个Teacher模型对(较大规模的)无标签数据预测出伪标签，作为Student模型的训练数据。
[0003]以往的半监督语义分割方法通常从单个网络中获得伪标签，并通过交叉一致性约束联合训练两个语义分割网络。然而，这些方法很难防止伪标签生成过程中的预测错误，导致语义分割网络由于伪标签不可靠而容易相互崩溃。
[0004]因此，如何避免伪标签生成过程中的预测错误，进而提高语义分割过程中的可靠性，是目前有待解决的技术问题。
【技术保护点】
【技术特征摘要】
1.一种深度三网络半监督语义分割方法，其特征在于，应用于包括三个语义分割网络的模型训练框架中，各所述语义分割网络具有相同的结构和不同的初始化参数，所述方法包括：选定一个所述语义分割网络作为当前网络，将在预设已标记数据集中随机采样得到的已标记数据输入所述当前网络，并根据所述当前网络的输出生成第一分类分数，根据所述第一分类分数和所述已标记数据的标签确定所述当前网络的监督损失；将在预设未标记数据集中随机采样得到的未标记数据输入各所述语义分割网络，根据所述当前网络的输出生成第二分类分数，并将其他两个所述语义分割网络的输出按预设投票机制进行融合后生成伪标签，基于所述第二分类分数和所述伪标签确定所述当前网络的非监督损失；基于所述当前网络的监督损失和所述当前网络的非监督损失更新所述当前网络的参数，并基于与其他两个所述语义分割网络对应的各监督损失和各非监督损失分别更新其他两个所述语义分割网络的参数，以对各所述语义分割网络进行训练；基于各训练完成的语义分割网络对待分割图像进行语义分割并生成语义分割图像；其中，所述预设投票机制为将参与投票的各语义分割网络输出的各像素的概率向量按不同网络进行融合后生成各像素的融合向量，并根据各所述融合向量生成硬标签，所述硬标签在训练阶段被作为所述伪标签。2.如权利要求1所述的方法，其特征在于，基于各训练完成的语义分割网络对待分割图像进行语义分割并生成语义分割图像，具体为：将所述待分割图像分别输入各训练完成的语义分割网络；将各训练完成的语义分割网络的输出结果按所述预设投票机制进行融合后生成所述语义分割图像。3.如权利要求1所述的方法，其特征在于，在将其他两个所述语义分割网络的输出按预设投票机制进行融合后生成伪标签之后，所述方法还包括：根据与所述伪标签对应的第一硬标签和第二硬标签的重叠率确定一致性率；若所述一致性率低于预设阈值，删除所述伪标签并将新的未标记数据输入其他两个所述语义分割网络，以生成新的伪标签；其中，所述第一硬标签和所述第二硬标签是分别基于其他两个所述语义分割网络的输出生成的。4.如权利要求3所述的方法，其特征在于，根据公式一确定所述一致性率，所述公式一具体为：其中，r为所述一致性率，H为输入语义分割网络的图像的高度，W为输入语义分割网络的图像的宽度，p为像素位置，u
βp
为所述第一硬标签中p位置下的伪标签向量，y
γp
为所述第二硬标签中p位置下的伪标签向量。5.如权利要求1所述的方法，其特征在于，所述当前网络的监督损失为L
s
(F(X
l
；θ
α
),Y
l
)，令第一分类分数F(X
l
；θ
α
)＝S，Y
l
＝Y，根据公式二确定所述当前网络的监督损失，所述公式
二具体为：其中，X
l
和Y
l
为在D
l
中随机采样得到的输入图像和相应的标签，D
l
为所述预设已标记数据集，X为输入语义分割网络的图像，H为X的高度，W为X的宽度，p为像素位置，θ
α
为所述当前网络的参数，s
p
和y
p
分别为位置p的分类得分向量和地面真单热向量，CrossEntropy为交叉熵。6.如权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。