文本匹配模型的训练方法、训练系统和文本标签确定方法技术方案

本公开的实施例公开了文本匹配模型的训练方法、训练系统和文本标签确定方法。该训练方法的一具体实施方式包括：将训练数据中的标签数据和未标注的文本数据，输入预先训练的交互模型，得到未标注的文本数据的第一预测标签数据；基于第一预测标签数据和标签数据，生成第一新标签数据；根据训练数据中的文本数据和第一新标签数据，对预先训练的文本匹配模型进行微调，其中，文本匹配模型采用双塔模型结构。该实施方式与模型训练技术有关，通过利用交互模型的深层次语义表达能力，来引导文本匹配模型建立一个更为准确的文本标注模型。在保证模型的数据处理效率的同时，还可以改善模型的处理效果。理效果。理效果。

【技术实现步骤摘要】
文本匹配模型的训练方法、训练系统和文本标签确定方法


[0001]本公开的实施例涉及模型训练
，具体涉及文本匹配模型的训练方法、训练系统和文本标签确定方法。

技术介绍

[0002]文本与标签匹配属于NLP(Natural Language Processing，自然语言处理)领域的句子语义相似度学习问题。文本匹配的本质是进行文本语义的相似度计算，也就是语义匹配。目前主要的解决方法有两种：双塔模式(Bi
‑
Encoder)和交互模式(Cross
‑
Encoder)。在Bi
‑
Encoder中，一般利用两个编码器(Encoder)，将查询(query)和文件(document)编码成向量，最后通过一个相关性判别函数计算两个向量之间的相似度。而Cross
‑
Encoder通常是将两个句子拼接起来，并一次性输入给Encoder，输出两个句子的语义得分。
[0003]然而，专利技术人发现，虽然Bi
‑
Encoder在文本匹配上的信息检索效率更高，并且Bi
‑
Encoder的输出可以作为下游直接使用。但是由于缺少信息交互，因此无法充分利用预训练模型(BERT)的知识。通常会造成其性能与Cross
‑
Encoder效果差距较大。
[0004]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。/>
技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]本公开的一些实施例提出了文本匹配模型的训练方法、训练装置、模型训练系统、文本标签确定方法、电子设备、计算机可读介质和计算机程序产品，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0007]第一方面，本公开的一些实施例提供了一种文本匹配模型的训练方法，包括：将训练数据中的标签数据和未标注的文本数据，输入预先训练的交互模型，得到未标注的文本数据的第一预测标签数据，其中，交互模型用于确定每个输入的文本数据，与各标签数据之间的语义相似度；基于第一预测标签数据和标签数据，生成第一新标签数据；根据训练数据中的文本数据和第一新标签数据，对预先训练的文本匹配模型进行微调，其中，文本匹配模型采用双塔模型结构。
[0008]在一些实施例中，基于第一预测标签数据和标签数据，生成第一新标签数据，包括：根据第一预测标签数据与未标注的文本数据的语义相似度，与对应的预设相似度阈值的比较结果，对第一预测标签数据进行正负样本划分；根据划分结果，将第一预测标签数据和标签数据，作为第一新标签数据。
[0009]在一些实施例中，该方法还包括：将标签数据和测试文本数据，输入预先训练的文本匹配模型，得到测试文本数据与各标签数据之间的语义相似度；根据测试文本数据的所
属类目，确定各标签数据与各类目之间的相似度分布；基于相似度分布，利用搜索策略，确定各标签数据与各类目之间的预设相似度阈值。
[0010]在一些实施例中，预先训练的交互模型通过以下方法训练得到：将标签数据和未标注的文本数据，输入预先训练的文本匹配模型，得到未标注的文本数据的第二预测标签数据；根据第二预测标签数据和标签数据，生成第二新标签数据；根据训练数据中的文本数据和第二新标签数据，对交互模型进行初始化训练。
[0011]在一些实施例中，该方法还包括：响应于文本匹配模型微调完成，根据调整后的文本匹配模型和训练数据，重新生成第二新标签数据，以对交互模型进行微调；以及响应于交互模型微调完成，根据调整后的交互模型和训练数据，重新生成第一新标签数据，以对调整后的文本匹配模型继续微调，直至模型的知识蒸馏迭代完成。
[0012]在一些实施例中，在知识蒸馏迭代过程中，文本匹配模型采用均方误差损失函数，交互模型采用交叉熵损失函数。
[0013]在一些实施例中，对预先训练的文本匹配模型进行微调，包括：采用提示学习方法，对预先训练的文本匹配模型进行微调。
[0014]在一些实施例中，预先训练的文本匹配模型采用以下方法训练得到：利用训练数据中的文本数据和标签数据，对文本匹配模型进行初始化训练，以及采用交叉熵损失函数，其中，文本匹配模型采用基于提示学习的双塔模型结构。
[0015]第二方面，本公开的一些实施例提供了一种文本匹配模型的训练装置，包括：第一预测标签确定单元，被配置成将训练数据中的标签数据和未标注的文本数据，输入预先训练的交互模型，得到未标注的文本数据的第一预测标签数据，其中，交互模型用于确定每个输入的文本数据，与各标签数据之间的语义相似度；第一新标签生成单元，被配置成基于第一预测标签数据和标签数据，生成第一新标签数据；文本匹配模型微调单元，被配置成根据训练数据中的文本数据和第一新标签数据，对预先训练的文本匹配模型进行微调，其中，文本匹配模型采用双塔模型结构。
[0016]在一些实施例中，第一新标签生成单元进一步被配置成根据第一预测标签数据与未标注的文本数据的语义相似度，与对应的预设相似度阈值的比较结果，对第一预测标签数据进行正负样本划分；根据划分结果，将第一预测标签数据和标签数据，作为第一新标签数据。
[0017]在一些实施例中，该训练装置还包括阈值确定单元，被配置成将标签数据和测试文本数据，输入预先训练的文本匹配模型，得到测试文本数据与各标签数据之间的语义相似度；根据测试文本数据的所属类目，确定各标签数据与各类目之间的相似度分布；基于相似度分布，利用搜索策略，确定各标签数据与各类目之间的预设相似度阈值。
[0018]在一些实施例中，该训练装置还包括交互模型初始训练单元，被配置成将标签数据和未标注的文本数据，输入预先训练的文本匹配模型，得到未标注的文本数据的第二预测标签数据；根据第二预测标签数据和标签数据，生成第二新标签数据；根据训练数据中的文本数据和第二新标签数据，对交互模型进行初始化训练。
[0019]在一些实施例中，该训练装置还包括：交互模型微调单元，被配置成响应于文本匹配模型微调完成，根据调整后的文本匹配模型和训练数据，重新生成第二新标签数据，以对交互模型进行微调；以及文本匹配模型微调单元，还被配置成响应于交互模型微调完成，根
据调整后的交互模型和训练数据，重新生成第一新标签数据，以对调整后的文本匹配模型继续微调，直至模型的知识蒸馏迭代完成。
[0020]在一些实施例中，在知识蒸馏迭代过程中，文本匹配模型采用均方误差损失函数，交互模型采用交叉熵损失函数。
[0021]在一些实施例中，文本匹配模型微调单元进一步被配置成采用提示学习方法，对预先训练的文本匹配模型进行微调。
[0022]在一些实施例中，该训练装置还包括文本匹配模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本匹配模型的训练方法，包括：将训练数据中的标签数据和未标注的文本数据，输入预先训练的交互模型，得到所述未标注的文本数据的第一预测标签数据，其中，所述交互模型用于确定每个输入的文本数据，与各所述标签数据之间的语义相似度；基于所述第一预测标签数据和所述标签数据，生成第一新标签数据；根据所述训练数据中的文本数据和所述第一新标签数据，对预先训练的文本匹配模型进行微调，其中，所述文本匹配模型采用双塔模型结构。2.根据权利要求1所述的训练方法，其中，所述基于所述第一预测标签数据和所述标签数据，生成第一新标签数据，包括：根据所述第一预测标签数据与所述未标注的文本数据的语义相似度，与对应的预设相似度阈值的比较结果，对所述第一预测标签数据进行正负样本划分；根据划分结果，将所述第一预测标签数据和所述标签数据，作为第一新标签数据。3.根据权利要求2所述的训练方法，其中，所述方法还包括：将所述标签数据和测试文本数据，输入所述预先训练的文本匹配模型，得到所述测试文本数据与各所述标签数据之间的语义相似度；根据所述测试文本数据的所属类目，确定各所述标签数据与各类目之间的相似度分布；基于所述相似度分布，利用搜索策略，确定各所述标签数据与各类目之间的预设相似度阈值。4.根据权利要求1所述的训练方法，其中，所述预先训练的交互模型通过以下方法训练得到：将所述标签数据和所述未标注的文本数据，输入所述预先训练的文本匹配模型，得到所述未标注的文本数据的第二预测标签数据；根据所述第二预测标签数据和所述标签数据，生成第二新标签数据；根据所述训练数据中的文本数据和所述第二新标签数据，对交互模型进行初始化训练。5.根据权利要求4所述的训练方法，其中，所述方法还包括：响应于所述文本匹配模型微调完成，根据调整后的文本匹配模型和所述训练数据，重新生成所述第二新标签数据，以对所述交互模型进行微调；以及响应于所述交互模型微调完成，根据调整后的交互模型和所述训练数据，重新生成所述第一新标签数据，以对调整后的文本匹配模型继续微调，直至模型的知识蒸馏迭代完成。6.根据权利要求5所述的训练方法，其中，在知识蒸馏迭代过程中，所述文本匹配模型采用均方误差损失函数，所述交互模型采用交叉熵损失函数。7.根据权利要求1所述的训练方法，其中，所述对预先训练的文本匹配模型进行微调，包括：采...

【专利技术属性】
技术研发人员：张乐中，方俊，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：