一种提高深度文本匹配模型适应性的小样本学习方法技术

本发明专利技术涉及一种提高深度文本匹配模型适应性的小样本学习方法，属于自然语言处理中的文本匹配技术领域。本方法综合了应用于文本匹配模型的小样本学习与跨领域适应性方法，沿最小化目标域小样本数据集损失的方向，对源域数据的权重进行梯度下降，解决了传统的跨领域文本匹配方法在小样本学习设置下表现不足的问题，增强了文本匹配模型在少样本学习环境中的适应性。本方法与基础模型无关，可应用于各种基于深度学习的文本匹配模型。基于深度学习的文本匹配模型。基于深度学习的文本匹配模型。

【技术实现步骤摘要】
一种提高深度文本匹配模型适应性的小样本学习方法


[0001]本专利技术涉及一种小样本学习方法，具体涉及一种提高深度文本匹配模型适应性的小样本学习方法，属于自然语言处理中的文本匹配


技术介绍

[0002]文本匹配，旨在识别两个文本片段之间的关系，一直以来都是自然语言处理和信息检索中的一个关键研究问题。许多具体的任务都可被视为特定形式的文本匹配，例如问答系统、自然语言推理以及同义识别等。
[0003]随着深度学习的快速发展，近年来，许多神经网络模型被应用于文本匹配领域。由于其强大的学习文本表示的能力与建模文本对之间交互的能力，深度文本匹配方法在各项基准任务上都取得了令人印象深刻的表现。然而，一些工作表明，基于深度学习的方法通常需要大量标签数据进行训练，即，对有标签数据的规模有很强的依赖性。当可用的标签数据有限时，往往会导致模型的性能不佳，阻碍了深度文本匹配模型的泛化性和适应性。因此，如何有效地解决该问题，是进一步提升深度学习实际应用能力的关键。
[0004]对于小样本学习文本匹配的场景，目前，经典的解决方案是投入大量资源，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高深度文本匹配模型适应性的小样本学习方法，其特征在于，包括以下步骤：步骤1：建立样本权重与模型参数的计算图关系，包括以下步骤：步骤1.1：在一批次源域训练集数据上前向传播文本匹配模型，并计算相应的损失值：Cost
s
(y
i
,l
i
)＝CE
s
(y
i
,l
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，Cost
s
表示模型在源域上的损失值；CE
s
代表交叉熵损失函数；l
i
表示第i个样本的标签值；y
i
是模型对第i个样本的预测值：y
i
＝TMM
s
(a
i
,b
i
,θ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，TMM
s
表示在源域的任务或数据集上训练的文本匹配模型；a
i
、b
i
分别表示输入到模型进行文本匹配的两条句子；θ表示深度文本匹配模型的参数；步骤1.2：为损失值对应的每个样本，赋予一个初始化权重，将样本权重初始值设为0；然后，计算源域数据上的加权损失值之和，作为源域损失值：其中，Loss
s
表示源域损失值，y表示模型对源域样本的预测值，l表示源域样本的标签值；为源域中第i个样本的权重值，其初始化为0，i∈{1,2,
…

【专利技术属性】
技术研发人员：宋大为，张博，张辰，马放，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：