【技术实现步骤摘要】
本说明书一个或多个实施例涉及自然语言处理，尤其涉及一种训练目标模型的方法及装置。
技术介绍
1、语义搜索的主要任务是在大量文本中找到与输入文本(比如，查询)语义相近的文本，其已成为自然语言处理的一个组成部分。语义搜索在各个领域都具有重大影响，包括信息检索、问答、对话系统、推荐系统以及检索增强生成等。
2、随着大语言模型(large language mode l，简称llm)的普遍流行，多数情况下会通过预训练大语言模型来执行语义搜索任务，然而由于大语言模型的参数量较大，从而其训练成本较高、开销极大。因此，迫切需要提供一种训练方案，以解决现有的训练成本高和开销大的问题。
技术实现思路
1、本说明书一个或多个实施例描述了一种训练目标模型的方法及装置，基于知识蒸馏法来训练用于执行语义搜索的目标模型，由此可以实现在确保模型准确性的情况下，大大提升模型的训练效率。
2、第一方面，提供了一种训练目标模型的方法，包括：
3、获取训练集，其中包括若干匹配的文本对，所述文...
【技术保护点】
1.一种训练目标模型的方法，包括：
2.根据权利要求1所述的方法，其中，所述目标模型包括，第一和第二编码器、交互模块和第一分类器；所述目标模型分别处理所述训练集中的文本，包括：
3.根据权利要求2所述的方法，其中，所述第一和第二编码器均具有目标编码器结构，所述目标编码器结构包括嵌入层和聚合层；所述利用所述第一和第二编码器分别处理第一查询文本和第一段落文本，包括：
4.根据权利要求3所述的方法，其中，所述得到所述输入文本对应的特征向量，包括：
5.根据权利要求2所述的方法，其中，所述目标样本具有指示关系类型的样本标签；所述...
【技术特征摘要】
1.一种训练目标模型的方法，包括：
2.根据权利要求1所述的方法，其中，所述目标模型包括，第一和第二编码器、交互模块和第一分类器；所述目标模型分别处理所述训练集中的文本，包括：
3.根据权利要求2所述的方法，其中，所述第一和第二编码器均具有目标编码器结构，所述目标编码器结构包括嵌入层和聚合层；所述利用所述第一和第二编码器分别处理第一查询文本和第一段落文本，包括：
4.根据权利要求3所述的方法，其中，所述得到所述输入文本对应的特征向量，包括：
5.根据权利要求2所述的方法，其中，所述目标样本具有指示关系类型的样本标签；所述交互模块包括，多种关系类型共享的底层网络部分和所述多种关系类型分别对应的多个上层网络部分；
6.根据权利要求5所述的方法，其中，所述底层网络部分和上层网络部分均包括多层感知机。
7.根据权利要求1所述的方法，其中，所述负样本为第一类负样本，所述第一类负样本通过将任一匹配的文本对中的段落文本，替换为所述训练集中其他段落文本而得到。
8.根据权利要求7所述的方法，其中，所述目标模型的输入还包括若干第二类负样本；各个第二类负样本通过将任一匹配的文本对中的段落文本，替换为在预设语料库中检索的相关段落而得到；所述方法还包括：
9.根据权利要求8所述的方法，还包括：
10.根据权利要求7所述的方法，其中，所述目标模型的输入还包括若干第二类负样本；各个第二类负样本通过将任一匹配的文本对中的段落文本，替换为在预设语料库中检索的相关段落而得到；所述方法还包括：
11.根据权利要求1所述的方法，其中，所述大语言模型包括：交叉编码器和第二分类器；所述第一匹配概率和第二匹配概率通过以下步骤获得：
12.根据权利要求11所述的方法，其中，所述交叉编码器的输入还包括，指示所述第一查询文本和第一段落文本的关系类型的提示词。
13.根据权利要求11所述的方法，其中，所述确定所述目标样本的匹配概率，包括：
14.根据权利要求7所述的方法，其中，所述目标模型的...
【专利技术属性】
技术研发人员：廖子寒，余航，李建国，张伟，王骏，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。