【技术实现步骤摘要】
本专利技术属于数据处理，涉及一种基于上下文感知的目标域数据处理方法、装置及设备。
技术介绍
1、随着人工智能技术的发展，各行业领域应用的数据处理技术也不断迎来突破，在若干热门应用场景中，例如行人重新识别、自动驾驶环境和医学图像分析等应用场景等，深度神经网络技术的应用正在不断迭代演进。当训练和测试数据来自相同的分布时，深度神经网络在各个领域都取得了卓越的性能。然而，在现实世界应用中，这一约束往往无法满足。特别是在上述应用场景中，训练和测试数据之间的分布偏移可能导致直接使用训练模型对测试数据进行评估时性能显著下降。这一问题的挑战在于无法精确预知测试数据的具体分布，因而难以相应地收集训练数据。
2、为了解决分布偏移的问题，业内已经提出了无监督领域适应(uda)技术。uda利用从源领域获得的知识来适应目标领域，这个适应过程通常需要同时访问标记的源数据和未标记的目标数据。然而，在一些对隐私敏感的应用场景中，由于隐私问题和规则等原因，源域数据是被禁止访问的。在这种情况下，测试时间适应(tta)被提议作为一种替代方案。测试时适应(tta)，也被称为无源领域适应，主要目标在于不访问源领域数据的情况下，利用无标记的目标域数据使经过训练的源领域模型快速适应当前应用场景，以便适用于这些场景下的数据处理和分析。tta由于其对隐私保护的重要意义而越来越受重视。尽管如此，现有tta技术普遍假设源域模型与目标域在标签空间上的一致性，这一假设极大限制了tta的普适性和应用范围。
技术实现思路
1、针对
2、为了实现上述目的，本专利技术实施例采用以下技术方案：
3、一方面，提供一种基于上下文感知的目标域数据处理方法，包括步骤：
4、获取待适应目标域的未标记目标数据集；未标记目标数据集中包括多个未标记目标图像数据；
5、将未标记目标图像数据输入对比语言-图像预训练模型进行特征提取，得到未标记目标图像数据的原始视觉特征；
6、将原始视觉特征输入上下文感知模块进行输出特征调节，得到未标记目标图像数据的最终视觉特征；上下文感知模块串联在对比语言-图像预训练模型的图像编码器输出端，用于从对比语言-图像预训练模型中探索待适应目标域的领域共同知识并学习待适应目标域的领域特殊知识，将对比语言-图像预训练模型适应到待适应目标域。
7、另一方面，还提供一种基于上下文感知的目标域数据处理装置，包括：
8、数据获取模块，用于获取待适应目标域的未标记目标数据集；未标记目标数据集中包括多个未标记目标图像数据；
9、特征提取模块，用于将未标记目标图像数据输入对比语言-图像预训练模型进行特征提取，得到未标记目标图像数据的原始视觉特征；
10、上下文感知模块，用于对原始视觉特征进行输出特征调节，得到未标记目标图像数据的最终视觉特征；上下文感知模块串联在对比语言-图像预训练模型的图像编码器输出端，用于从对比语言-图像预训练模型中探索待适应目标域的领域共同知识并学习待适应目标域的领域特殊知识，将对比语言-图像预训练模型适应到待适应目标域。
11、再一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述基于上下文感知的目标域数据处理方法的步骤。
12、上述技术方案中的一个技术方案具有如下优点和有益效果：
13、上述基于上下文感知的目标域数据处理方法、装置及设备，通过设计并提出了上下文感知语言驱动(cola)的新方法，cola利用对比语言-图像预训练模型作为适应不同目标领域的统一模型，由于cola引入了一个轻量级的上下文感知模块(cam)来调节冻结的对比语言-图像预训练模型的输出特征，从对比语言-图像预训练模型中探索领域通用知识，并且保留了对比语言-图像预训练模型的潜力，还学习了当前待适应目标域特有的知识，因此应用cola通过cam的协同作用，可以整合不同的知识来增强tta，实现以最小的代价和高效的参数效率将对比语言-图像预训练模型适应到待适应目标域，从而快速实现对任意待适应目标域的图像数据处理，大幅提高了tta方法在现实世界中的适用性。
本文档来自技高网...【技术保护点】
1.一种基于上下文感知的目标域数据处理方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于上下文感知的目标域数据处理方法，其特征在于，所述上下文感知模块使用交叉熵损失进行模块参数更新同时保持所述对比语言-图像预训练模型的参数冻结，所述上下文感知模块包括上下文感知单元和任务特定适配器，所述上下文感知单元包括带有残差连接的多层感知机，用于从所述对比语言-图像预训练模型中探索所述待适应目标域的领域共同知识并保留所述对比语言-图像预训练模型的先验知识，所述任务特定适配器用于学习所述待适应目标域的领域特殊知识。
3.根据权利要求1或2所述的基于上下文感知的目标域数据处理方法，其特征在于，所述目标域数据处理方法还包括步骤：
4.根据权利要求3所述的基于上下文感知的目标域数据处理方法，其特征在于，所述目标域数据处理方法还包括步骤：
5.根据权利要求4所述的基于上下文感知的目标域数据处理方法，其特征在于，所述上下文感知模块的训练过程包括：
6.一种基于上下文感知的目标域数据处理装置，其特征在于，包括：
7.根据权利要求
8.根据权利要求6或7所述的基于上下文感知的目标域数据处理装置，其特征在于，还包括：
9.根据权利要求8所述的基于上下文感知的目标域数据处理装置，其特征在于，还包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的基于上下文感知的目标域数据处理方法的步骤。
...【技术特征摘要】
1.一种基于上下文感知的目标域数据处理方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于上下文感知的目标域数据处理方法，其特征在于，所述上下文感知模块使用交叉熵损失进行模块参数更新同时保持所述对比语言-图像预训练模型的参数冻结，所述上下文感知模块包括上下文感知单元和任务特定适配器，所述上下文感知单元包括带有残差连接的多层感知机，用于从所述对比语言-图像预训练模型中探索所述待适应目标域的领域共同知识并保留所述对比语言-图像预训练模型的先验知识，所述任务特定适配器用于学习所述待适应目标域的领域特殊知识。
3.根据权利要求1或2所述的基于上下文感知的目标域数据处理方法，其特征在于，所述目标域数据处理方法还包括步骤：
4.根据权利要求3所述的基于上下文感知的目标域数据处理方法，其特征在于，所述目标域数据处理方法还包括步骤：
5.根据权利要求4所述的基于上下文感知的目标域数据处理方法，其特征在于，所述上下文感知模块的训练过程包括：
6....
【专利技术属性】
技术研发人员：于天元，张爱明，白亮，汤俊，郭延明，阮逸润，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。