【技术实现步骤摘要】
本申请涉及人机对话，特别涉及一种基于检索增强模型的对话查询生成模型的训练方法、一种计算机可读存储介质、一种计算机设备和一种基于检索增强模型的对话查询生成模型的训练装置。
技术介绍
1、相关技术中，对话查询生成是搜索引擎知识辅助对话系统的关键步骤；对话查询生成模型预测的对话查询，将用于从搜索引擎检索当前对话相关的外部知识，进而辅助后续的对话回复生成。现有研究中，为避免人工标注对话查询产生的开销，采用一种弱监督的对话查询生成模型训练方法，基于检索知识与对话回复的字符串匹配相似度作为对话查询生成模型的训练信号。但是，由于对话内容及知识文档中往往含有大量噪声，字符串匹配方式无法考虑到深度语义信息，导致获取的弱监督训练信号不够准确，限制了对话查询生成模型的性能。
技术实现思路
1、本申请旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本申请的一个目的在于提出一种基于检索增强模型的对话查询生成模型的训练方法，通过借助检索增强对话回复生成模型获取弱监督训练信号反馈给对话查询生成模型，从而通过检索增强对话回复生成模型能够考虑深度语义信息，更好抵御数据中大量噪声；并且通过数据过滤与知识蒸馏技术进一步增强模型训练稳定性。
2、本申请的第二个目的在于提出一种计算机可读存储介质。
3、本申请的第三个目的在于提出一种计算机设备。
4、本申请的第四个目的在于提出一种基于检索增强模型的对话查询生成模型的训练装置。
5、为达到上述目的，本申请第一方面实施例提
6、根据本申请实施例的基于检索增强模型的对话查询生成模型的训练方法，首先，获取对话上下文，并根据对话上下文获取对应的候选查询集；然后，将候选查询集中的每个候选查询依次输入到搜索引擎，以便得到每个候选查询对应的知识文档；接着，构建检索增强对话回复生成模型，并根据对话上下文和每个候选查询对应的知识文档对构建检索增强对话回复生成模型进行训练，其中，检索增强对话回复生成模型包括检索器和生成器；再然后，采用训练好的检索增强对话回复生成模型中的检索器对每个候选查询对应的知识文档进行打分，以得到每个候选查询对应的分数值；最后，构建对话查询生成模型，并根据对话上下文、每个候选查询和每个候选查询对应的分数值对对话查询生成模型进行训练，并在训练过程中采用数据过滤及知识蒸馏进行模型优化，以得到训练好的对话查询生成模型；由此，通过使用训练获得的检索增强对话回复生成模型获取训练对话查询生成模型的弱监督训练信号，能够充分考虑对话上下文及知识文档的深度语义信息，从而能减轻数据中大量噪声的干扰，并且使用数据过滤及知识蒸馏技术，使对话查询生成模型更好收敛，提高最终对话查询生成模型的性能。
7、另外，根据本申请上述实施例提出的基于检索增强模型的对话查询生成模型的训练方法还可以具有如下附加的技术特征：
8、可选地，所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数，且采用rag-token对应训练损失进行训练。
9、可选地，根据以下公式得到每个候选查询对应的分数值：
10、
11、其中，si表示第i个候选查询qi对应的分数值，max表示取集合中最大值的函数，x表示对话上下文，表示第i个候选查询qi对应检索得到的m个知识文档。
12、可选地，根据以下公式对所述对话查询生成模型进行训练：
13、loss＝-δ(ri，r*)log p(qi|x；θtgt)
14、ri＝si-min/max-min-0.5
15、其中，第i个候选查询qi是根据对话查询生成模型θtgt在候选查询集概率分布上采样获取的，ri表示第i个候选查询对应的标准化后的奖励值，r*表示所有候选查询对应奖励值的均值，δ(ri，r*)表示ri与r*的差值，用以稳定奖励的方差，max，min分别表示第i个候选查询qi对应的分数值中的最大值和最小值。
16、可选地，在训练过程中采用数据过滤进行模型优化包括：获取第一阈值和第二阈值；获取某个候选查询对应的分数值中的最大值和最小值；如果所述某个候选查询对应的分数值中的最大值小于第一阈值，或者所述某个候选查询对应的分数值中的最大值与最小值之间的差值小于第二阈值，则将所述某个候选查询及其对应的对话上下文和分数值删除。
17、可选地，根据所述对话上下文获取对应的候选查询集，包括采用构建的待增强对话查询生成模型生成多个预测查询或者使用公开的关键词抽取模型抽取多个关键词作为所述候选查询集。
18、可选地，在训练过程中采用知识蒸馏进行模型优化包括获取知识蒸馏损失项，并采用所述知识蒸馏损失项对所述待增强对话查询生成模型在未标注数据上生成的对话查询进行过滤，以便获取小部分高质量数据作为训练约束项。
19、为达到上述目的，本申请第二方面实施例提出了一种计算机可读存储介质，其上存储有基于检索增强模型的对话查询生成模型的训练程序，该基于检索增强模型的对话查询生成模型的训练程序被处理器执行时实现如上述的基于检索增强模型的对话查询生成模型的训练方法。
20、根据本申请实施例的计算机可读存储介质，通过存储基于检索增强模型的对话查询生成模型的训练程序，以使得处理器在执行该基于检索增强模型的对话查询生成模型的训练程序时，实现如上述的基于检索增强模型的对话查询生成模型的训练方法，由此，通过使用训练获得的检索增强对话回复生成模型获取训练对话查询生成模型的弱监督训练信号，能够充分考虑对话上下文及知识文档的深度语义信息，从而能减轻数据中大量噪声的干扰，并且使用数据过滤及知识蒸馏技术，使对话查询生成模型更好收敛，提高最终对话查询生成模型的性能。
21、为达到上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的基于检索增强模型的对话查询生成模型的训练方法。
22、根据本申请实施例的计算机设备，通过存储器对基于检索增强模型的对话查询生成模型的训练程序进行存储，以使得处理器在执行该基于检索增强模型的对本文档来自技高网...
【技术保护点】
1.一种基于检索增强模型的对话查询生成模型的训练方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数，且采用RAG-token对应训练损失进行训练。
3.如权利要求2所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，根据以下公式得到每个候选查询对应的分数值：
4.如权利要求3所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，根据以下公式对所述对话查询生成模型进行训练：
5.如权利要求4所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，在训练过程中采用数据过滤进行模型优化包括：
6.如权利要求5所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，根据所述对话上下文获取对应的候选查询集，包括采用构建的待增强对话查询生成模型生成多个预测查询或者使用公开的关键词抽取模型抽取多个关键词作为所述候选查询集。
7.如权利要求6所述的基于检索增强模型的
8.一种计算机可读存储介质，其特征在于，其特征在于，其上存储有基于检索增强模型的对话查询生成模型的训练程序，该基于检索增强模型的对话查询生成模型的训练程序被处理器执行时实现如权利要求1-7中任一项所述的基于检索增强模型的对话查询生成模型的训练方法。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-7中任一项所述的基于检索增强模型的对话查询生成模型的训练方法。
10.一种基于检索增强模型的对话查询生成模型的训练装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于检索增强模型的对话查询生成模型的训练方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，所述检索增强对话回复生成模型中的检索器和生成器共享编码器参数，且采用rag-token对应训练损失进行训练。
3.如权利要求2所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，根据以下公式得到每个候选查询对应的分数值：
4.如权利要求3所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，根据以下公式对所述对话查询生成模型进行训练：
5.如权利要求4所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，在训练过程中采用数据过滤进行模型优化包括：
6.如权利要求5所述的基于检索增强模型的对话查询生成模型的训练方法，其特征在于，根据所述对话上下文获取对应的候选查询集，包括采用构建的待增强对话查询生成模型生成多个预测查询或者使用公开的关键...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。