基于数据扩充一致性的领域泛化和领域自适应学习方法技术

本发明专利技术属于人工智能的机器学习领域，公开了一种基于数据扩充一致性的领域泛化和领域自适应方法，包括以下步骤：S1.根据任务需求，设计基于深度神经网络的预测模型p

【技术实现步骤摘要】
基于数据扩充一致性的领域泛化和领域自适应学习方法
本专利技术属于人工智能的机器学习领域，具体涉及领域泛化(DomainGeneralization)和领域自适应(DomainAdaptation)深度学习。
技术介绍
近年来，深度学习在图像、文本和语音等领域取得非常成功的应用，但是深度学习仍然面临领域偏移(domainshift)的问题，也就是当测试数据(目标领域)和训练数据(源领域)的分布不一致时，模型测试性能会急剧下降。领域泛化和领域自适应学习就是旨在降低由于领域偏移造成的性能下降的机器学习方法。领域自适应学习通过有标记的源领域样本和无标记(或少量标记)的目标领域数据学习适用于目标领域数据的模型。领域自适应学习存在一定的局限性，就是需要提前获取目标领域数据。在很多场景下，我们无法提前获取目标领域的数据，仍需构建适用于未知的目标领域的模型。领域泛化就是一种处理这一问题的机器学习方法，领域泛化利用源领域(多个源领域)的有标记数据，学习一个通用的、可泛化到未知目标领域的模型。为了应对领域偏移问题，传统的领域泛化和领域自适应通常是通过学习具本文档来自技高网...

【技术保护点】
1.基于数据扩充一致性的领域泛化和领域自适应学习方法，其特征在于，包括如下步骤：/nS1.根据任务需求，设计基于深度神经网络的预测模型p

【技术特征摘要】
1.基于数据扩充一致性的领域泛化和领域自适应学习方法，其特征在于，包括如下步骤：
S1.根据任务需求，设计基于深度神经网络的预测模型pθ(y|x)，其中θ为模型参数，该模型输出为给定样本x情况下标记y的条件概率分布；
S2.根据任务特点，构造数据扩充器，用于实现对样本表观的丰富变换且保持样本的核心内容不变，从而保证变换后样本的真实标记不变；
S3.利用原始训练样本和扩充后的样本构造由有监督损失和数据扩充一致性损失组成的多任务损失函数并进行训练，得到
S31.根据机器学习任务，选择有监督损失函数，计算源领域或多源领域全部有标记样本的有监督损失Ls；
S32.构造模型预测结果的一致性度量，并计算数据扩充一致性损失；
假设原始样本为x，利用步骤S2中的数据扩充器变换后的样本为利用当前模型pθ分别对原始样本和扩充样本的预测结果分别为pθ(y|x)和数据扩充一致性则为pθ(y|x)和的一致性度量；
领域泛化学习，数据扩充一致性损失利用源领域(Ds)样本进行计算:



其中为一致性度量，表示步骤S2中所述的数据扩充器产生的数据分布，表示当前参数θ的固定拷贝，表示在反向传播中梯度不沿着往后传播；
领域自适应学习，数据扩充一致性损失利用包括源领域(Ds)样本和目标领域(Dt)无标记样本在...

【专利技术属性】
技术研发人员：肖良，许娇龙，聂一鸣，商尔科，朱琪，赵大伟，肖志鹏，戴斌，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11