基于深度信息的无监督领域自适应语义分割方法、装置和电子设备制造方法及图纸

技术编号:42077911 阅读:22 留言:0更新日期:2024-07-19 16:56
本发明专利技术公开了一种基于深度信息的无监督领域自适应语义分割方法、装置和电子设备,其方法包括:初始预测模块从图像中提取特征,生成深度特征和语义特征,并进行初始预测;双向联合注意力机制模块通过学习深度特征和语义特征的关联性来改善它们的特征质量;最终预测模块利用改进后的深度特征和语义特征来完成最终预测。本发明专利技术设计了一种伪标签权重修正策略,通过计算两个不同深度估计解码器的预测差异来调整目标域伪标签损失权重,从而有效提高模型的语义分割性能和跨域自适应能力。

【技术实现步骤摘要】

本专利技术属于计算机视觉,具体涉及一种基于深度信息的无监督领域自适应语义分割方法、装置和电子设备


技术介绍

1、语义分割是对图像进行像素级分类的任务,在许多应用场景中发挥着重要作用,例如自动驾驶和机器人等。深度神经网络在大量注释数据的支持下取得了令人惊叹的语义分割效果。然而,人工标注现实数据集是一项繁重的任务。因此,研究人员开始尝试利用合成虚拟数据替代人工标注图像来训练模型。然而由于合成虚拟数据和现实数据存在差异,例如光照、外观和相机拍摄角度不同,使用合成虚拟数据训练的模型处理现实数据时往往表现不佳,这就是所谓的领域差异问题。

2、为解决上述问题,学者们提出无监督领域自适应方法,其目标是让在源域(合成虚拟数据)上训练的模型能够在目标域(现实数据)上表现出良好的泛化能力,其中最常见的方法就是使用模型生成目标域的伪标签来再次训练模型。由于深度信息和语义信息存在高度的关联性,所以引入辅助任务(例如深度估计)可以改善模型的语义分割效果。因此,在无监督领域自适应方法中,一些学者开始使用深度信息来辅助语义分割,例如dgia【lu j等,depth gui本文档来自技高网...

【技术保护点】

1.一种基于深度信息的无监督领域自适应语义分割方法,其特征在于,构建一个包含初始预测模块、双向联合注意力机制模块和最终预测模块的网络框架,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于深度信息的无监督领域自适应语义分割方法,其特征在于:

3.根据权利要求1所述的一种基于深度信息的无监督领域自适应语义分割方法,其特征在于:

4.根据权利要求1所述的一种基于深度信息的无监督领域自适应语义分割方法,其特征在于:

5.一种基于深度信息的无监督领域自适应语义分割装置,其特征在于,包括:

6.一种电子设备,其特征在于,包括存储器、...

【技术特征摘要】

1.一种基于深度信息的无监督领域自适应语义分割方法,其特征在于,构建一个包含初始预测模块、双向联合注意力机制模块和最终预测模块的网络框架,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于深度信息的无监督领域自适应语义分割方法,其特征在于:

3.根据权利要求1所述的一种基于深度信息的无监督领域自适应语义分割方法,其特征在于:

4.根据权利要求1所述的一种基于深度信息的无监督领域自适应语义分割方法,其特征在于:

5.一种基于...

【专利技术属性】
技术研发人员:史金龙袁宇白素琴钱强欧镇田朝晖钱萍
申请(专利权)人:江苏科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1