一种基于大语言模型的多轮对话优化方法、系统、设备及介质技术方案

技术编号:44497967 阅读:30 留言:0更新日期:2025-03-04 18:05
本发明专利技术涉及自然语言处理技术领域,公开一种基于大语言模型的多轮对话优化方法,本发明专利技术在大语言模型根据用户输入的当前问题输出答案前,先将用户输入的当前问题在记忆列表中进行问题偏好对齐、答案偏好对齐、首选项偏好对齐,结合自注意力奖励迭代函数和基于策略梯度的模型更新规则,找到当前问题的优选匹配历史问题和优选匹配历史答案,形成当前问题的最优历史问答对,能够克服大语言模型的上下文窗口限制并为大语言模型提供精准的历史记忆,大大提高大语言模型在多轮对话中的上下文理解能力和推理能力,使其能够准确地输出连贯且高质量的答案,提高多轮对话的质量,保证用户体验。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,尤其涉及一种基于大语言模型的多轮对话优化方法、系统、设备及介质


技术介绍

1、多轮对话技术作为自然语言处理(nlp)领域的一个分支,近年来随着大语言模型的兴起得到了快速发展。通过学习大量的对话数据,能够更好地理解上下文,并生成连贯的回复。多轮对话需要大语言模型具备更强的上下文理解和推理能力,以便在对话过程中保持连贯性和一致性。但受限于计算资源的内存限制、计算成本、大语言模型的架构设计,在进行多轮对话时,大语言模型能够有效处理的对话上下文长度有阈值限制,随着对话轮数的增加,大语言模型还有可能会遗忘之前的上下文信息,历史对话信息的逐步丢失可能会造成事实性错误、对话上下文关联失效、上下文理解和推理能力大幅下降等问题,导致多轮对话的质量欠佳。

2、因此,亟需一种基于大语言模型的多轮对话优化方法。


技术实现思路

1、本专利技术提供一种基于大语言模型的多轮对话优化方法、系统、设备及介质,用以解决现有的基于大语言模型的多轮对话方法缺乏有效的历史对话处理机制,导致多轮对话的质量欠佳的本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的多轮对话优化方法,其特征在于,包括:

2.根据权利要求1所述的基于大语言模型的多轮对话优化方法,其特征在于,所述问题偏好对齐包括:

3.根据权利要求2所述的基于大语言模型的多轮对话优化方法,其特征在于,所述根据记忆列表中每个历史问题与当前问题的相似度分数,利用第一损失函数,通过大语言模型得到当前问题在记忆列表中每个查询下的第一偏好分数,包括:

4.根据权利要求2所述的基于大语言模型的多轮对话优化方法,其特征在于,所述答案偏好对齐包括:

5.根据权利要求4所述的基于大语言模型的多轮对话优化方法,其特征在于,所述根据记忆...

【技术特征摘要】

1.一种基于大语言模型的多轮对话优化方法,其特征在于,包括:

2.根据权利要求1所述的基于大语言模型的多轮对话优化方法,其特征在于,所述问题偏好对齐包括:

3.根据权利要求2所述的基于大语言模型的多轮对话优化方法,其特征在于,所述根据记忆列表中每个历史问题与当前问题的相似度分数,利用第一损失函数,通过大语言模型得到当前问题在记忆列表中每个查询下的第一偏好分数,包括:

4.根据权利要求2所述的基于大语言模型的多轮对话优化方法,其特征在于,所述答案偏好对齐包括:

5.根据权利要求4所述的基于大语言模型的多轮对话优化方法,其特征在于,所述根据记忆列表中每个历史答案与当前问题的相似度分数,利用第二损失函数,通过大语言模型得到当前问题在记忆列表中每个查询下的...

【专利技术属性】
技术研发人员:刘林刘洋冯友志谢先富
申请(专利权)人:宏景科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1