当前位置: 首页 > 专利查询>厦门大学专利>正文

基于检索增强模型的对话查询生成模型的训练方法及装置制造方法及图纸

技术编号:40809723 阅读:15 留言:0更新日期:2024-03-28 19:32
本申请公开了一种基于检索增强模型的对话查询生成模型的训练方法及装置,该方法包括获取候选查询集,并将其中每个候选查询依次输入到搜索引擎,以便得到每个候选查询对应的知识文档;构建检索增强对话回复生成模型,并根据对话上下文和每个候选查询对应的知识文档对构建检索增强对话回复生成模型进行训练;采用训练好的检索增强对话回复生成模型中的检索器对每个候选查询对应的知识文档进行打分,以得到每个候选查询对应的分数值;构建对话查询生成模型,并根据对话上下文、每个候选查询和每个候选查询对应的分数值对对话查询生成模型进行训练,以得到训练好的对话查询生成模型;从而能够考虑深度语义信息,降低噪声影响,以便提高模型性能。

【技术实现步骤摘要】

本申请涉及人机对话,特别涉及一种基于检索增强模型的对话查询生成模型的训练方法、一种计算机可读存储介质、一种计算机设备和一种基于检索增强模型的对话查询生成模型的训练装置。


技术介绍

1、相关技术中,对话查询生成是搜索引擎知识辅助对话系统的关键步骤;对话查询生成模型预测的对话查询,将用于从搜索引擎检索当前对话相关的外部知识,进而辅助后续的对话回复生成。现有研究中,为避免人工标注对话查询产生的开销,采用一种弱监督的对话查询生成模型训练方法,基于检索知识与对话回复的字符串匹配相似度作为对话查询生成模型的训练信号。但是,由于对话内容及知识文档中往往含有大量噪声,字符串匹配方式无法考虑到深度语义信息,导致获取的弱监督训练信号不够准确,限制了对话查询生成模型的性能。


技术实现思路

1、本申请旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本申请的一个目的在于提出一种基于检索增强模型的对话查询生成模型的训练方法,通过借助检索增强对话回复生成模型获取弱监督训练信号反馈给对话查询生成模型,从而通过检索增强对话回复生成模型本文档来自技高网...

【技术保护点】

1.一种基于检索增强模型的对话查询生成模型的训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数,且采用RAG-token对应训练损失进行训练。

3.如权利要求2所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式得到每个候选查询对应的分数值:

4.如权利要求3所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式对所述对话查询生成模型进行训练:

5.如权利要求4所述的基...

【技术特征摘要】

1.一种基于检索增强模型的对话查询生成模型的训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数,且采用rag-token对应训练损失进行训练。

3.如权利要求2所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式得到每个候选查询对应的分数值:

4.如权利要求3所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式对所述对话查询生成模型进行训练:

5.如权利要求4所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,在训练过程中采用数据过滤进行模型优化包括:

6.如权利要求5所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据所述对话上下文获取对应的候选查询集,包括采用构建的待增强对话查询生成模型生成多个预测查询或者使用公开的关键...

【专利技术属性】
技术研发人员:苏劲松王安特黄健亨姚俊峰
申请(专利权)人:厦门大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1