本发明专利技术涉及一种拥有无限上下文长度的聊天助理装置及方法，包括以下步骤：将用户的输入，输入到大语言模型中，得到第一句输入的回答；设置MAP接口服务，将用户的第一轮输入和大语言模型的回答输出到其中，并由其将结论记录到数据库；设置REDUCE接口服务，将用户第一轮对话对应的MAP接口服务的输出，输入到其中，将得到的输出记录到数据库；将用户第二轮对话输入到MAP中，并将输出记录到数据库；将第二轮对话MAP的结果输入，得到第二轮的REDUCE结果；设置Output接口服务，将第二轮的用户输入，输入到其中，得到最终的助手回答；本发明专利技术实现了用户在聊了大量轮次之后，仍可被有效地记录并输出到大语言模型中作为参考。
【技术实现步骤摘要】
[]本专利技术涉及大语言模型，具体地说是一种拥有无限上下文长度的聊天助理装置及方法。
技术介绍
0、[
技术介绍
]
1、目前，现有的聊天机器人，通常都是将历史的聊天记录和当前的用户输入一起输入到大语言模型中，当聊天记录的长度超过大语言模型的上下文限制时，最早先的上下文信息就无法被大语言模型参考，会导致回答不准确。
2、即使目前有一些大语言模型支持非常长的上下文，大量实验证明，大语言模型对上下文中的除了最开头和最后的区域以外的区域中的信息还是比较难以被大语言模型获取，最终造成回答不准确。
技术实现思路
0、[
技术实现思路
]
1、本专利技术的目的就是要解决上述的不足而提供一种拥有无限上下文长度的聊天助理装置及方法，实现了用户可无限跟大语言模型助手聊天，并且一切重要的信息在聊了大量轮次之后，还是能够被有效地记录并输出到大语言模型中作为参考，克服了传统大语言模型对上下文中的除了最开头和最后的区域以外的区域中的信息比较难以获取，最终造成回答不准确的问题。
>2、本专利技术一方本文档来自技高网...
【技术保护点】
1.一种拥有无限上下文长度的聊天方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于：步骤2)中，所述MAP接口服务模块中提示词的功能是要求对用户的输入以及大语言模型的回答进行分析，得到一定的结论。
3.如权利要求1所述的方法，其特征在于：步骤4)中，所述REDUCE接口服务模块中提示词的功能是要求对当前对话轮次的MAP接口服务模块的输出，结合上一轮对话的REDUCE接口服务模块的输出，做出分析，得到一定的结论。
4.如权利要求1所述的方法，其特征在于：步骤7)中，所述Output接口服务模块中提示词的功能是要求对当前对话轮次的RE...
【技术特征摘要】
1.一种拥有无限上下文长度的聊天方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于：步骤2)中，所述map接口服务模块中提示词的功能是要求对用户的输入以及大语言模型的回答进行分析，得到一定的结论。
3.如权利要求1所述的方法，其特征在于：步骤4)中，所述reduce接口服务模块中提示词的功能是要求对当前对话轮次的map接口服务模块的输出，结合上一轮对话的reduce接口服务模块的输出，做出分析，得到一定的结论。
4.如权利要求1所述的方法，其特征在于：步骤7)中，所述output接口服务模块中提示词的功能是要求对当前对话轮次的reduce接口服务模块的结果，结合当前用户的输入，综合得到一个回答。
5.如权利要求1所述的方法，其特征在于：步骤8)之后，每次用户输入，则重复步骤5)至步骤8)。
...
【专利技术属性】
技术研发人员：奚霄鹏，
申请(专利权)人：上海数珩信息科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。