语义分割模型的训练方法、装置和图像的语义分割方法制造方法及图纸

本公开实施例公开了一种语义分割模型的训练方法、装置和图像的语义分割方法，其中，方法包括：获取训练数据；利用训练数据，采用融合像素级对比学习和交叉监督的半监督学习的训练方式对预先建立的语义分割网络进行训练，获得语义分割模型。本公开实施例通过交叉监督的半监督学习，可以利用有标签图像数据和无标签图像数据共同训练，有效提高语义分割模型的鲁棒性，并结合像素级对比学习可以有效拉近同类型像素特征间的距离，同时推远不同类型像素特征间的距离，提升像素特征的可判别性，从而有效提高语义分割模型的性能。效提高语义分割模型的性能。效提高语义分割模型的性能。

【技术实现步骤摘要】
语义分割模型的训练方法、装置和图像的语义分割方法


[0001]本公开涉及计算机视觉技术，尤其是一种语义分割模型的训练方法、装置和图像的语义分割方法。

技术介绍

[0002]半监督语义分割是近期计算机视觉领域的热点问题，其可以利用少量的有标签图像数据和大量的无标签图像数据进行模型训练，获得语义分割模型，进而基于该语义分割模型为图像中每个像素进行分类。现有的半监督语义分割方法通常是通过有标签图像数据训练获得初始模型，进而基于初始模型对无标签图像数据进行预测，来扩充有标签数据，继续训练模型。但是，现有这种半监督语义分割方法的语义分割模型的性能过于依赖初始模型的准确度，若初始模型准确度不高，将导致获得的语义分割模型性能较差。

技术实现思路

[0003]为了解决上述语义分割模型性能较差的技术问题，提出了本公开。本公开的实施例提供了一种语义分割模型的训练方法、装置和图像的语义分割方法。
[0004]根据本公开实施例的一个方面，提供了一种语义分割模型的训练方法，包括：获取训练数据；利用所述训练数据，采用融合像素级对比学习和交叉监督的半本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割模型的训练方法，包括：获取训练数据；利用所述训练数据，采用融合像素级对比学习和交叉监督的半监督学习的训练方式对预先建立的语义分割网络进行训练，获得语义分割模型。2.根据权利要求1所述的方法，其中，所述训练数据包括第一图像数据、所述第一图像数据对应的第一标签数据、及第二图像数据；所述利用所述训练数据，采用融合像素级对比学习和交叉监督的半监督学习的训练方式对预先建立的语义分割网络进行训练，获得语义分割模型，包括：利用所述第一图像数据和所述第一标签数据，对预先建立的第一语义分割网络和第二语义分割网络，分别进行有监督学习的训练；利用所述第二图像数据，对所述第一语义分割网络和所述第二语义分割网络进行交叉监督学习的训练，并基于像素级对比规则对所述第一语义分割网络和所述第二语义分割网络进行像素级对比学习的训练；基于预设损失函数，确定当前损失，所述预设损失函数包括所述有监督学习对应的第一损失函数、所述交叉监督学习对应的第二损失函数、及所述像素级对比学习对应的第三损失函数；确定所述当前损失满足预设条件，结束训练，将训练获得的第一语义分割网络或第二语义分割网络作为所述语义分割模型。3.根据权利要求1所述的方法，其中，所述训练数据包括第一图像数据、所述第一图像数据对应的第一标签数据、及第二图像数据；所述利用所述训练数据，采用融合像素级对比学习和交叉监督的半监督学习的训练方式对预先建立的语义分割网络进行训练，获得语义分割模型，包括：利用第一语义分割网络对所述第一图像数据进行预测，获得所述第一图像数据对应的第一概率数据；利用第二语义分割网络对所述第一图像数据进行预测，获得所述第一图像数据对应的第二概率数据；利用所述第一语义分割网络对所述第二图像数据进行预测，获得所述第二图像数据对应的第三特征图和第三概率数据；利用所述第二语义分割网络对所述第二图像数据进行预测，获得所述第二图像数据对应的第四特征图和第四概率数据；基于所述第三概率数据确定第一伪标签数据，作为所述第二图像数据在所述第二语义分割网络下的标签数据；基于所述第四概率数据确定第二伪标签数据，作为所述第二图像数据在所述第一语义分割网络下的标签数据；基于所述第一概率数据、所述第二概率数据及所述第一标签数据，确定第一交叉熵损失；基于所述第三概率数据、所述第二伪标签数据、所述第四概率数据及所述第一伪标签数据，确定第二交叉熵损失；基于所述第三概率数据和所述第四概率数据，对所述第三特征图和所述第四特征图进
行像素级对比，获得像素级对比损失；基于所述第一交叉熵损失、所述第二交叉熵损失和所述像素级对比损失，调整所述语义分割网络的参数，直至满足预设训练结束条件，得到所述语义分割模型。4.根据权利要求3所述的方法，其中，所述像素级对比损失包括第一像素级有向对比损失和第二像素级有向对比损失；所述基于所述第三概率数据和所述第四概率数据，对所述第三特征图和所述第四特征图进行像素级对比，获得像素级对比损失，包括：对所述第三特征图进行通道降维处理，得到第五特征图，及对所述第四特征图进行通道降维处理，得到第六特征图；基于所述第五特征图、所述第六特征图及预设采样规则，进行像素样本对采样，获得第一正样本对集、第二正样本对集、第一负样本对集和第二负样本对集；所述第一正样本对集和所述第一负样本对集分别为以所述第五特征图中的像素作为基准样本进行采样获得的正样本对集和负样本对集，所述第二正样本对集和所述第二负样本对集分别为以所述第六特征图中的像素作为基准样本进行采样获得的正样本对集和负样本对集；基于所述第一正样本对集和所述第一负样本对集，确定所述第一像素级有向对比损失；基于所述第二正样本对集和所述第二负样本对集，确定所述第二像素级有向对比损失。5.根据权利要求4所述的方法，其中，所述基于所述第五特征图、所述第六特征图及预设采样规则，进行像素样本对采样，获得第一正样本对集、第二正样本对集、第一负样本对集和第二负样本对集，包括：对于所述第五特征图中任意的第一像素和所述第六特征图中任意的第二像素，...

【专利技术属性】
技术研发人员：梁俪倩，单言虎，苏治中，廖杰，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：