基于双层视觉的模型领域自适应方法、装置、终端及介质制造方法及图纸

技术编号:41768611 阅读:19 留言:0更新日期:2024-06-21 21:46
本发明专利技术所提供的基于双层视觉的模型领域自适应方法、装置、终端及介质,方法包括:获取目标域图像,将目标域图像输入预训练的源域模型中,源域模型中添加有双层视觉条件标志,双层视觉条件标志用于学习领域特定特征的长期变化和领域偏移的样本实例特定特征的局部变化;利用所述源域模型中的嵌入层将目标域图像转换为图像块向量,将图像块向量和双层视觉条件标志输入源域模型的编码器中,反向传播更新双层视觉条件标志和源域模型的归一化层的参数,得到目标域模型;将目标域图像输入目标域模型中,得到对应的图像分类结果。本发明专利技术实时反向传播更新双层视觉条件标志和归一化层的参数,实时在线更新模型,提高了实际测试场景中的模型更新效率。

【技术实现步骤摘要】

本专利技术涉及迁移学习,尤其涉及的是基于双层视觉的模型领域自适应方法、装置、终端及介质


技术介绍

1、尽管深度神经网络在各种计算机视觉任务中取得了巨大成功,但它们是以大量带标签的训练数据集和大量计算资源为代价的。当训练样本和测试样本来自不同环境时,它们的性能往往会显着下降,这通常被称为领域漂移问题。测试时领域自适应是一套迁移学习方法,旨在将有标记数据集(源域)训练的网络模型迁移到新的未标记数据集(目标域),并且是在推理阶段对输入样本进行序列分析,可以在测试过程中有效地适应源模型,以解决深度神经网络的跨域性能退化问题。

2、目前,无监督领域自适应分为两类,即有源领域自适应的方法以及无源领域自适应的方法。有源领域自适应方法主要包括统计分布匹配和生成对抗网络方法以最小化领域差异,但有源领域自适应方法必须依赖源域的有标注的数据,在实际应用中,由于数据隐私问题或传输困难,通常无法访问源域样本。无源领域自适应的方法则直接在目标域做无监督迁移学习,而不需要源域的有标注数据。但是,无源领域自适应方法需要访问整个测试集数据并且需要经过多轮训练,不能在测试时实时本文档来自技高网...

【技术保护点】

1.一种基于双层视觉的模型领域自适应方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于双层视觉的模型领域自适应方法,其特征在于,所述双层视觉条件标志包括:领域特定标志和样本实例特定标志,所述领域特定标志用于学习领域特定特征的长期变化,所述样本实例特定标志用于学习领域偏移的样本实例特定特征的局部变化;

3.根据权利要求2所述的基于双层视觉的模型领域自适应方法,其特征在于,获取目标域图像,将所述目标域图像输入预训练的源域模型中,包括:

4.根据权利要求3所述的基于双层视觉的模型领域自适应方法,其特征在于,利用所述源域模型中的嵌入层将所述目标域图...

【技术特征摘要】

1.一种基于双层视觉的模型领域自适应方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于双层视觉的模型领域自适应方法,其特征在于,所述双层视觉条件标志包括:领域特定标志和样本实例特定标志,所述领域特定标志用于学习领域特定特征的长期变化,所述样本实例特定标志用于学习领域偏移的样本实例特定特征的局部变化;

3.根据权利要求2所述的基于双层视觉的模型领域自适应方法,其特征在于,获取目标域图像,将所述目标域图像输入预训练的源域模型中,包括:

4.根据权利要求3所述的基于双层视觉的模型领域自适应方法,其特征在于,利用所述源域模型中的嵌入层将所述目标域图像转换为图像块向量,将所述图像块向量和所述双层视觉条件标志输入所述源域模型的编码器中,反向传播更新所述双层视觉条件标志和所述源域模型的归一化层的参数,得到目标域模型,包括:

5.根据权利要求4所述的基于双层视觉的模型领域自适应方法,其特征在于,每个批次的若干目标域图像同时输入预训练的源域模型中,当前批次使用的源域模型是上一批次更新得到的目标域模型。

...

【专利技术属性】
技术研发人员:何志海唐雨顺陈烁硕张毅欧阳健吴昊
申请(专利权)人:南方科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1