【技术实现步骤摘要】
本专利技术涉及自然语言处理，具体地涉及一种基于用户反馈的大语言模型对话生成方法及装置、计算机可读存储介质、终端。
技术介绍
1、随着大型预训练语言模型的逐渐流行，并且越来越多地被用于开放域对话系统中。现有的大型语言模型，具有强大功能，不过其仍存在一些缺陷，如巨量数据资源的耗费需求、无法实时更新最新信息等。另外，现有大语言模型在交互中仍会生成不少的事实性错误，这种事实性错误一般统称为“幻觉”。
2、由于世界知识数量庞大且不断更新，知识对话很难保持事实正确性，也就是前文所说的外在幻觉。现有大模型技术中知识增强的对话主要涉及两个步骤：首先，需要用一个检索模型根据上下文对话来检索所需要的相关知识；其次，将检索的知识作为输入文本生成回复。对这两个步骤进行优化都可以显著提高对话的事实正确性。
3、但是，这个过程是根据静态知识库单向输出的，不会在与模型交互的过程中及时往知识库中添加用户反馈的知识。这就造成现有基于大语言模型的对话系统仍然会出现知识的滞后，或者对用户的意图理解欠缺的情况。
技术实现思路
1、本专利技术解决的技术问题是如何使对话系统更加智能，具有知识实时性和个性化。
2、为解决上述技术问题，本专利技术实施例提供一种基于用户反馈的大语言模型对话生成方法，包括：接收当前会话轮次输入的问题；将所述问题输入第一预设大语言模型，得到第一预测结果，其中，所述第一预设大语言模型至少用于根据输入的问题预测用户的初级反馈信息；根据所述问题、所述第一预测结果和预设记忆
3、可选的，所述第一预测结果还包括反馈标记，所述反馈标记用于标识所述问题的类型，所述根据所述问题、所述第一预测结果和预设记忆库生成输入数据包括：根据所述反馈标记判断是否查找所述预设记忆库；若判断结果为查找所述预设记忆库，则基于所述问题以及所述预设记忆库中的历史反馈信息与所述初级反馈信息的相似度，生成所述输入数据；若判断结果为不查找所述预设记忆库，则基于所述问题以及所述初级反馈信息生成所述输入数据。
4、可选的，所述根据所述反馈标记判断是否查找所述预设记忆库包括：若所述反馈标记标识所述问题为用户对前一会话轮次的对话的纠正反馈，则确定不查找所述预设记忆库；若所述反馈标记标识所述问题为新问题，则确定查找所述预设记忆库。
5、可选的，所述基于所述问题以及所述预设记忆库中的历史反馈信息与所述初级反馈信息的相似度，生成所述输入数据包括：若所述预设记忆库中存储有与所述初级反馈信息的相似度高于预设阈值的历史反馈信息，则将所述历史反馈信息确定为优选反馈信息，并基于所述优选反馈信息和所述问题生成所述输入数据；若所述预设记忆库中存储的历史反馈信息与所述初级反馈信息的相似度均低于所述预设阈值，则基于所述问题生成所述输入数据。
6、可选的，对于所述预设记忆库中的每一历史反馈信息，所述历史反馈信息与所述初级反馈信息的相似度计算过程包括：计算所述历史反馈信息和所述初级反馈信息经过加权处理后的相似度，其中，所述历史反馈信息对应的权重随时间的增加而衰减。
7、可选的，所述历史反馈信息对应的权重随时间的增加而指数型衰减。
8、可选的，所述方法还包括：若所述反馈标记标识所述问题为用户对前一会话轮次的对话的纠正反馈，则基于所述初级反馈信息更新所述预设记忆库；若所述反馈标记标识所述问题为新问题，则维持所述预设记忆库。
9、可选的，所述基于所述初级反馈信息更新所述预设记忆库包括：将所述初级反馈信息添加至所述预设记忆库；或者，基于所述初级反馈信息替换所述预设记忆库中与所述初级反馈信息相关联的历史反馈信息，其中，初级反馈信息和历史反馈信息相关联包括，所述初级反馈信息和所述历史反馈信息对应相同的问题或者对应相同的对问题的理解。
10、可选的，所述用户对前一会话轮次的对话的纠正反馈，是基于所述前一会话轮次的对话中输出的对所述问题的理解触发的。
11、可选的，所述第一预设大语言模型和所述第二预设大语言模型采用相同或不同的大语言模型构建得到。
12、为解决上述技术问题，本专利技术实施例提供一种基于用户反馈的大语言模型对话生成装置，包括：接收模块，用于接收当前会话轮次输入的问题；第一预测模块，用于将所述问题输入第一预设大语言模型，得到第一预测结果，其中，所述第一预设大语言模型至少用于根据输入的问题预测用户的初级反馈信息；处理模块，用于根据所述问题、所述第一预测结果和预设记忆库生成输入数据，其中，所述预设记忆库存储有用户对历史上至少一次会话轮次的对话的纠正反馈；第二预测模块，用于将所述输入数据输入第二预设大语言模型，得到第二预测结果，其中，所述第二预设大语言模型用于根据输入数据预测对应当前会话轮次的增强对话回复以及对所述问题的理解。
13、为解决上述技术问题，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述的基于用户反馈的大语言模型对话生成方法的步骤。
14、为解决上述技术问题，本专利技术实施例提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的基于用户反馈的大语言模型对话生成方法的步骤。
15、与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：
16、本专利技术实施例提供一种基于用户反馈的大语言模型对话生成方法，包括：接收当前会话轮次输入的问题；将所述问题输入第一预设大语言模型，得到第一预测结果，其中，所述第一预设大语言模型至少用于根据输入的问题预测用户的初级反馈信息；根据所述问题、所述第一预测结果和预设记忆库生成输入数据，其中，所述预设记忆库存储有用户对历史上至少一次会话轮次的对话的纠正反馈；将所述输入数据输入第二预设大语言模型，得到第二预测结果，其中，所述第二预设大语言模型用于根据输入数据预测对应当前会话轮次的增强对话回复以及对所述问题的理解。
17、现有大模型技术中对话的知识增强主要过程是根据静态知识库单向输出的，不会在与模型交互的过程中及时往知识库中添加用户反馈的知识，从而造成知识的滞后，或者对用户的意图理解欠缺的情况出现。相较而言，本实施方案通过构建预设记忆库以存储历史上用户修正的反馈信息和对应问题，形成动态记忆库与用户的双向交互，从而根据用户历史反馈生成增强的提示。由此，可以根据用户反馈的知识，加强对用户意图的理解，提升反馈信息的准确率。进一步，最终输出的第二预测结果包括对用户输入问题的理解，以触发用户主动提供纠正反馈，实现对模型的不断优化。例如，用户可以通过模型输出的对问题的理解，评估模型是否正确本文档来自技高网...
【技术保护点】
1.一种基于用户反馈的大语言模型对话生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一预测结果还包括反馈标记，所述反馈标记用于标识所述问题的类型，所述根据所述问题、所述第一预测结果和预设记忆库生成输入数据包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述反馈标记判断是否查找所述预设记忆库包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述问题以及所述预设记忆库中的历史反馈信息与所述初级反馈信息的相似度，生成所述输入数据包括：
5.根据权利要求2所述的方法，其特征在于，对于所述预设记忆库中的每一历史反馈信息，所述历史反馈信息与所述初级反馈信息的相似度计算过程包括：
6.根据权利要求5所述的方法，其特征在于，所述历史反馈信息对应的权重随时间的增加而指数型衰减。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述初级反馈信息更新所述预设记忆库包括：
9.根据权利要求3或7或8所
10.根据权利要求1所述的方法，其特征在于，所述第一预设大语言模型和所述第二预设大语言模型采用相同或不同的大语言模型构建得到。
11.一种基于用户反馈的大语言模型对话生成装置，其特征在于，包括：
12.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10中任一项所述方法的步骤。
13.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于用户反馈的大语言模型对话生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一预测结果还包括反馈标记，所述反馈标记用于标识所述问题的类型，所述根据所述问题、所述第一预测结果和预设记忆库生成输入数据包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述反馈标记判断是否查找所述预设记忆库包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述问题以及所述预设记忆库中的历史反馈信息与所述初级反馈信息的相似度，生成所述输入数据包括：
5.根据权利要求2所述的方法，其特征在于，对于所述预设记忆库中的每一历史反馈信息，所述历史反馈信息与所述初级反馈信息的相似度计算过程包括：
6.根据权利要求5所述的方法，其特征在于，所述历史反馈信息对应的权重随时间的增加而指数型衰减。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
8....
【专利技术属性】
技术研发人员：蔡华，宣晓华，
申请(专利权)人：华院计算技术上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。