【技术实现步骤摘要】
本申请涉及人机对话,特别涉及一种基于检索增强模型的对话查询生成模型的训练方法、一种计算机可读存储介质、一种计算机设备和一种基于检索增强模型的对话查询生成模型的训练装置。
技术介绍
1、相关技术中,对话查询生成是搜索引擎知识辅助对话系统的关键步骤;对话查询生成模型预测的对话查询,将用于从搜索引擎检索当前对话相关的外部知识,进而辅助后续的对话回复生成。现有研究中,为避免人工标注对话查询产生的开销,采用一种弱监督的对话查询生成模型训练方法,基于检索知识与对话回复的字符串匹配相似度作为对话查询生成模型的训练信号。但是,由于对话内容及知识文档中往往含有大量噪声,字符串匹配方式无法考虑到深度语义信息,导致获取的弱监督训练信号不够准确,限制了对话查询生成模型的性能。
技术实现思路
1、本申请旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本申请的一个目的在于提出一种基于检索增强模型的对话查询生成模型的训练方法,通过借助检索增强对话回复生成模型获取弱监督训练信号反馈给对话查询生成模型,从而通过检索
...【技术保护点】
1.一种基于检索增强模型的对话查询生成模型的训练方法,其特征在于,包括以下步骤:
2.如权利要求1所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数,且采用RAG-token对应训练损失进行训练。
3.如权利要求2所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式得到每个候选查询对应的分数值:
4.如权利要求3所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式对所述对话查询生成模型进行训练:
5.
...【技术特征摘要】
1.一种基于检索增强模型的对话查询生成模型的训练方法,其特征在于,包括以下步骤:
2.如权利要求1所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数,且采用rag-token对应训练损失进行训练。
3.如权利要求2所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式得到每个候选查询对应的分数值:
4.如权利要求3所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据以下公式对所述对话查询生成模型进行训练:
5.如权利要求4所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,在训练过程中采用数据过滤进行模型优化包括:
6.如权利要求5所述的基于检索增强模型的对话查询生成模型的训练方法,其特征在于,根据所述对话上下文获取对应的候选查询集,包括采用构建的待增强对话查询生成模型生成多个预测查询或者使用公开的关键...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。