一种恶劣条件下自适应语义分割方法及装置制造方法及图纸

本发明专利技术提供了一种恶劣条件下自适应语义分割方法及装置，属于语义分割领域，通过对伪标签进行修正；然后将源域数据和拥有修正后的伪标签的目标域数据按照一定比例混合，通过混合源域和目标域数据进行训练，提高模型在恶劣条件下的鲁棒性和稳健性。使用本发明专利技术的方法训练出的模型进行语义分割，可以提高恶劣条件下的语义分割效果，减小对目标域的数据与标注依赖。赖。赖。

【技术实现步骤摘要】
一种恶劣条件下自适应语义分割方法及装置


[0001]本专利技术属于语义分割领域，尤其是涉及一种恶劣条件下自适应语义分割方法及装置。

技术介绍

[0002]语义分割在自动驾驶、智能监控领域发挥了重要作用。现有技术中，基于深度学习的语义分割模型在清晰场景下已经取得了很好的效果，但在恶劣条件下(如雨、雾、雪、黑夜等)的语义分割问题上仍然存在很大挑战。这是因为在这些情况下，图像收集比较困难，标注工作量大，高质量标注数据量的缺乏导致模型性能下降。现有方法中，以自训练为主流方式的领域自适应将清晰场景下的语义分割模型泛化到恶劣条件。但是，在自训练过程中，源域数据集(清晰场景下且有标签的数据集)和目标域数据集(恶劣条件下且未标注的数据集)的领域偏差造成的伪标签噪声会对模型性能产生负面影响。

技术实现思路

[0003]本专利技术所要解决的技术问题是怎样对恶劣条件下的伪标签噪声问题，提出了一种恶劣条件下自适应语义分割方法及装置。
[0004]为解决上述技术问题，本专利技术所采用的技术方案是：
[0005]一种恶劣条件下自适应语义分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种恶劣条件下自适应语义分割方法，其特征在于，包括以下步骤：步骤1：获取源域数据集和目标域数据集；步骤2：对源域数据集和目标域数据集中的图像数据进行预处理；步骤3：使用教师模型对预处理后的目标域数据进行预测，并根据预测结果生成伪标签；步骤4：对所述伪标签进行修正；步骤5：将源域数据和拥有修正后的伪标签的目标域数据按照预先设定的比例混合，输入到学生模型中进行混合训练，经多次迭代训练后，得到训练好的学生模型；步骤6：对模型进行评估，评估通过后使用训练好的学生模型对输入的图像进行语义分割。2.根据权利要求1所述的一种恶劣条件下自适应语义分割方法，其特征在于，步骤3中根据预测结果生成伪标签的方法是：利用教师模型对目标域数据进行预测，得到每个像素点属于各个类别的概率分布；将每个像素点中概率最大的那个类别作为该像素点的伪标签。3.根据权利要求2所述的一种恶劣条件下自适应语义分割方法，其特征在于，对所述伪标签进行修正的方法是：把目标域数据以及对应的伪标签输入学生模型，使用学生模型预测出的新的伪标签作为目标域数据修正后的伪标签；所述学生模型的交叉熵损失函数中：全局权重参数，将源域的全局权重设置为1，将目标域的预测值大于阈值的部分所占比例作为目标域的全局权重；局部权重参数，将目标域中每个像素点在主辅分类器上的差异作为局部权重，所述主辅分类器是指：阈值参数，初始值设定为1/C，C为类别数，随后根据每个像素点类别的预测值进行动态调整。4.根据权利要求3所述的一种恶劣条件下自适应语义分割方法，其特征在于，步骤5中进行混合训练的方法是：步骤5.1：初始化学生模型和教师模型参数；步骤5.2:从源域数据集中随机采样一个batch的图像和标签，从目标域数据集中随机采样一个batch的图像；步骤5.3：使用混合图像以及混合标签对学生模型的交叉熵损失函数进行训练，所述混合图像是指从源域数据集的一副图像中取类别标签数量一半的类对应的物体像素点，剩余的像素点用目标域中其他像素点填充，所述混合标签为所述混合图像中从源域图像中所取的各类的标签与所取的目标域图像中像素点的伪标签混合而成；步骤5.4：使用增强混合图像以及增强混合标签对学生模型的交叉熵损失函数进行训练，所述增强混合图像是指从源域图像中取类别标签中一半的类对应的物体像素点，剩余的像素点用对目标域图像进行视觉增强后的图像中的像素点进行填充，所述增强混合标签为所述增强混合...

【专利技术属性】
技术研发人员：欧阳攀，李偲，姚孝国，黄光奇，
申请(专利权)人：航天科工深圳集团有限公司，
类型：发明
国别省市：