一种查询编码器的训练方法及相关装置制造方法及图纸

技术编号:46599389 阅读:2 留言:0更新日期:2025-10-10 21:31
本申请公开了一种查询编码器的训练方法及相关装置,获取前k‑1轮的对话以及第k轮的查询。根据前k‑1轮的对话以及第k轮的查询,通过大语言模型进行重写,得到第k轮的目标重写查询。根据第k轮的目标重写查询,确定前k‑1轮的查询分别与第k轮的目标重写查询的相关性,得到第k轮的目标重写查询对应的历史相关查询和历史无关查询,并确定训练正样本和训练负样本,训练正样本包括目标段落文本和历史相关查询对应的段落文本。根据第k轮的目标重写查询、训练正样本以及训练负样本,通过对比学习对初始查询编码器进行训练,得到查询编码器。由此,通过大语言模型来对查询进行重写,快速获取表达信息完整的查询,更加高效地训练出较为准确的查询编码器。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其是涉及一种查询编码器的训练方法及相关装置


技术介绍

1、会话搜索(conversational search, cs)是自然语言处理中的一个热门研究方向,会话搜索基于当前轮次的查询及其对话历史(之前对话轮次的查询和响应),通过从段落文本集合中检索相关的段落文本,使得用户能够通过多轮人机交互满足其信息需求。

2、相关技术中,会话搜索主要分为会话查询重写(conversational queryrewriting,cqr)和会话密集检索(conversational dense retrieval,cdr)两个方向,其中cdr方法在会话数据上以端到端的方式微调预训练检索器,cqr方法将基于上下文的会话查询转换为信息完备的、可以直接用于稀疏检索或密集检索的重构查询。

3、然而,上述两种方式需要人工标注以得到用于训练查询编码器的监督信号或监督标签,训练数据的获取难度较高,导致训练效率较低。


技术实现思路

1、针对上述问题,本申请提供一种查询编码器的训练方法及相关装置本文档来自技高网...

【技术保护点】

1.一种查询编码器的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述前k-1轮的对话以及所述第k轮的查询,通过大语言模型进行重写,得到所述第k轮的目标重写查询,包括:

3.根据权利要求2所述的方法,其特征在于,所述针对所述前k-1轮中目标轮次的目标查询,根据所述目标轮次的对话和所述目标轮次前各个轮次的对话,通过所述大语言模型进行重写,得到所述目标轮次的历史重写查询,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述第k轮的查询和所述前k-1轮分别对应的历史重写查询,通过所述大语言模型进行重写,得到...

【技术特征摘要】

1.一种查询编码器的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述前k-1轮的对话以及所述第k轮的查询,通过大语言模型进行重写,得到所述第k轮的目标重写查询,包括:

3.根据权利要求2所述的方法,其特征在于,所述针对所述前k-1轮中目标轮次的目标查询,根据所述目标轮次的对话和所述目标轮次前各个轮次的对话,通过所述大语言模型进行重写,得到所述目标轮次的历史重写查询,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述第k轮的查询和所述前k-1轮分别对应的历史重写查询,通过所述大语言模型进行重写,得到所述第k轮的目标重写查询,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述第k轮的目标重写查询,确定所述前k-1轮的查询分别与所述第k轮...

【专利技术属性】
技术研发人员:刘淇闫文雨张凯甘傲然刘旭铠陈彦江
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1