【技术实现步骤摘要】
本专利技术属于图像处理、计算机视觉及模式识别领域，具体涉及一种无监督交通要素对齐的道路场景语义分割方法及相关装置。
技术介绍
1、近年来，自动驾驶技术不断取得新的突破，其中计算机视觉研究发挥了重要作用。语义分割是一种密集型的像素级别分类任务，它需要预测所有像素的类别标签。相较于分类或者检测任务而言，它更具挑战性。作为像素级分类任务，人工进行标注成本很高。因此，通过领域自适应技术可以将在合成数据集上训练得到的模型迁移到真实交通场景中。
2、常见的无监督领域自适应语义分割的方法有基于生成对抗网络的领域自适应和基于伪标签训练的领域自适应。基于生成对抗网络的方法比如tsai y h等人提出的方法(tsai y h,hung w c,schulter s,et al.learning to adapt structured output spacefor semantic segmentation[c].proceeding of the ieee/cvf conference oncomputer vision and pattern recognition(cvpr),2018:7472-7481.),使用独立的逐类别对抗学习策略替代全局的对抗学习策略，由于对抗学习本身难以训练特性，会导致模型训练不稳定；基于伪标签训练的方法，比如proca(参考jiang z,li y,yang c,etal.prototypical contrast adaptation for domain adaptive semantic seg
技术实现思路
1、为了解决上述现有技术存在的问题，本专利技术的目的在于提供一种无监督交通要素对齐的道路场景语义分割方法及相关装置。
2、为了达到上述目的，本专利技术采用如下的技术方案：
3、一种无监督交通要素对齐的道路场景语义分割方法，包括以下步骤：
4、获取待分割的交通场景图像；
5、将待分割的交通场景图像输入到利用深度学习模型计算，得到道路场景语义分割结果；
6、所述深度学习模型通过总损失函数训练卷积神经网络获得；总损失函数为第一交叉熵损失函数、第二交叉熵损失函数、动态交通要素对齐损失与静态交通要素对齐损失的结合。
7、进一步的，第一交叉熵损失函数为：
8、
9、其中，ys(i,c)和ps(i,c)分别是源域图像xs对应像素点的类别c标签，以及预测的概率；h,w分别表示图像的高和宽，c表示总的类别数量，c为像素点的类别。
10、进一步的，第二交叉熵损失函数为：
11、
12、其中，和pt(i,c)分别表示目标域图像xt中像素点对应的伪标签和预测概率。
13、进一步的，动态交通要素对齐损失为：
14、
15、其中，为阈值筛选后的相似度矩阵，为动态交通要素类别集合，为动态交通要素类别中的第一类别，为动态交通要素类别中的第二类别，为动态交通要素类别中的第n个类别，f为动态交通要素，nf为动态交通要素类别的总数。
16、进一步的，静态交通要素对齐损失为：
17、
18、其中sim(·)是余弦相似度度量公式，为静态交通要素类别集合，c为像素点的类别，j为类别索引，为类别c对应源域全局原型，为目标域原型，为类别j对应源域原型。
19、进一步的，总损失函数为：
20、
21、其中，λent和λfb分别为第二交叉熵损失函数的权重、动静态交通要素对齐损失的权重。
22、进一步的，所述深度学习模型通过总损失函数训练卷积神经网络获得，包括以下步骤：通过总损失函数在训练集上训练卷积神经网络，采用反向传播算法和随机梯度下降法，不断更新迭代；将伪标签加入到训练过程中，直至前向传播的总损失函数值趋于收敛时，停止训练，得到深度学习模型。
23、进一步的，伪标签通过以下过程获得：
24、将真实场景数据集cityscapes作为目标域数据；
25、将gta5游戏数据集及sythnia合成数据集作为源域数据；
26、利用源域数据进行监督训练，获得高精度的分割模型；
27、将高精度的分割模型参数共享到目标域模型，对目标域模型参数进行初始化；
28、将目标域数据作为目标域模型的输入，获得预测结果；
29、对预测结果进行筛选，预测结果大于指定类别阈值的预测结果作为伪标签。
30、一种无监督交通要素对齐的道路场景语义分割系统，包括：
31、图像获取模块，用于获取待分割的交通场景图像；
32、计算模块，用于将待分割的交通场景图像输入到利用深度学习模型计算，得到道路场景语义分割结果；
33、所述深度学习模型通过总损失函数训练卷积神经网络获得；总损失函数为第一交叉熵损失函数、第二交叉熵损失函数、动态交通要素对齐损失与静态交通要素对齐损失的结合。
34、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述无监督交通要素对齐的道路场景语义分割方法的步骤。
35、本专利技术和现有技术相比较，具有如下有益效果：
36、本专利技术通过创新性的将动静态交通要素对齐以及确定总损失函数，将整个图像根据要素特点通过处理分为动态交通要素和静态交通要素，并设计动静态要素对齐损失函数，使无监督的语义分割方法在精度上得到显著提升并且无需标注；本专利技术的深度学习模型易训练，虽然包含较多流程，但是训练思想设计简单，生成的伪标签自动加入下一轮训练过程，提高分割能力，从而实现道路场景的准确识别。
本文档来自技高网...【技术保护点】
1.一种无监督交通要素对齐的道路场景语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，第一交叉熵损失函数为：
3.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，
4.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，
5.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，静态交通要素对齐损失为：
6.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，总损失函数为：
7.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，所述深度学习模型通过总损失函数训练卷积神经网络获得，包括以下步骤：通过总损失函数在训练集上训练卷积神经网络，采用反向传播算法和随机梯度下降法，不断更新迭代；将伪标签加入到训练过程中，直至前向传播的总损失函数值趋于收敛时，停止训练，得到深度学习模型。
8.根据权利要求1所述的无监督交通要素对齐的
9.一种无监督交通要素对齐的道路场景语义分割系统，其特征在于，包括：
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述无监督交通要素对齐的道路场景语义分割方法的步骤。
...【技术特征摘要】
1.一种无监督交通要素对齐的道路场景语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，第一交叉熵损失函数为：
3.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，
4.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，
5.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，静态交通要素对齐损失为：
6.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在于，总损失函数为：
7.根据权利要求1所述的无监督交通要素对齐的道路场景语义分割方法，其特征在...
【专利技术属性】
技术研发人员：李垚辰，高源，廖浩，张腾文，邱超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。