本公开的实施例提供了基于KGAgent提升大模型上下文理解能力的方法和装置，应用于人工智能和自然语言处理技术领域。所述方法包括获取用户的当前问题和历史对话数据；根据所述当前问题和历史对话数据生成任务描述；根据所述任务描述在预先构建的知识图谱库中查找对应的知识组合；将所述任务描述和所述知识组合输入大语言模型中，输出对话答案。以此方式，可以基于KGAgent(知识图谱代理)系统框架来解决大型语言模型(LLMs)在处理长文本时的上下文长度限制、幻觉和性能下降的问题。
【技术实现步骤摘要】
本公开涉及人工智能和自然语言处理，尤其涉及基于kgagent提升大模型上下文理解能力的方法和装置。
技术介绍
1、近年来，随着深度学习技术特别是基于transformer的大型语言模型的激增，如chatgpt/gemini/qwen等，自然语言处理有显著的进步，使机器能够理解和生成人类语言，从而彻底改变了自然语言理解(nlu)和自然语言生成(nlg)的众多任务。但是限于transformer本身局限性不仅限制了训练期间允许的输入文本长度，而且限制了提示的有效上下文窗口，更糟糕的是，对于推理过程，llms在面对比训练中的序列更长的序列时也会遭受性能下降的困扰。同时也许由于训练数据错误或不足，或是模型本身的偏见，llms可能会产生不准确或具误导性的输出，称为“幻觉”。
2、随着算法技术迭代更新，出现很多与扩展有效上下文窗口和缓解幻觉llms相关的研究方向，包括：
3、扩展上下文窗口llms：通过研究如何训练或者微调llms来处理更长的长下文窗口，例如探索新的训练架构或者高效的transformer注意力层实现，以减少对长上下文微调的需求。该方法可以提升有效上下文，但需要大量资源进行训练，依然会出现幻觉问题。
4、检索增强生成(retrieval-augmented generation,rag):rag技术允许llm从大量文档数据库中查询任务相关信息，无需任何训练，擅长回答简单的问题，粒度较粗，缓解llms上下文长度的限制，但对于复杂问题推理、跨文档问答，依然会出现上下文长度的限制。
/>技术实现思路
1、本公开提供了一种基于kgagent提升大模型上下文理解能力的方法和装置。
2、根据本公开的第一方面，提供了一种基于kgagent提升大模型上下文理解能力的方法。该方法包括：
3、获取用户的当前问题和历史对话数据；
4、根据所述当前问题和历史对话数据生成任务描述；
5、根据所述任务描述在预先构建的知识图谱库中查找对应的知识组合；
6、将所述任务描述和所述知识组合输入大语言模型中，输出对话答案。
7、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
8、所述历史对话数据是通过获取用户与大语言模型进行交互问答的过程中产生的历史问题和历史答案组成的；
9、所述历史问题和历史答案可以为空。
10、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述当前问题和历史对话数据生成任务描述，包括：
11、使用预先训练的关键词提取模型，对所述当前问题和历史对话数据进行关键词提取；
12、根据提取到的关键词生成任务描述。
13、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述知识图谱库通过以下步骤进行构建：
14、获取文档数据；
15、按照大语言模型的最大处理长度，对所述文档数据进行拆分，得到多个段落；
16、对所述段落进行信息抽取，得到结构化数据；
17、以实体和关系的形式对所述结构化数据进行存储，构建对应的知识图谱，得到知识图谱库。
18、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对所述段落进行信息抽取，得到结构化数据，包括：
19、抽取所述段落中的实体、属性和事件；
20、建立所述实体与所述属性和所述事件之间的关联关系，作为结构化数据。
21、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，当完成当前问答任务时，根据所述任务描述更新所述知识谱图库。
22、根据本公开的第二方面，提供了一种基于kgagent提升大模型上下文理解能力的装置。该装置包括：
23、数据获取模块，用于获取用户的当前问题和历史对话数据；
24、任务描述模块，用于根据所述当前问题和历史对话数据生成任务描述；
25、知识查找模块，用于根据所述任务描述在预先构建的知识图谱库中查找对应的目标实体；将与所述目标实体相关联的属性和事件作为知识组合；
26、答案输出模块，用于将所述任务描述和所述知识组合输入大语言模型中，输出对话答案。
27、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
28、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面所述的方法。
29、本公开的实施例提供的基于kgagent提升大模型上下文理解能力的方法和装置，基于预先构建的知识图谱来将不同的信息通过实体、属性、事件进行关联，在为大语言模型llms提供知识问答过程中，通过这种关联来辅助完成问答，极大的压缩了要点信息，能够在不增加llms的显式上下文长度的情况下，显著提高处理长文本的能力，同时依据kgagent缓解llms的幻觉问题。
30、应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
本文档来自技高网...
【技术保护点】
1.一种基于KGAgent提升大模型上下文理解能力的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，所述根据所述当前问题和历史对话数据生成任务描述，包括：
4.根据权利要求1所述的方法，其特征在于，所述知识图谱库通过以下步骤进行构建：
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求1-5中任一项所述的方法，其特征在于，
7.一种基于KGAgent提升大模型上下文理解能力的装置，其特征在于，包括：
8.一种电子设备，其特征在于，包括：
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一权利要求所述的方法。
【技术特征摘要】
1.一种基于kgagent提升大模型上下文理解能力的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，所述根据所述当前问题和历史对话数据生成任务描述，包括：
4.根据权利要求1所述的方法，其特征在于，所述知识图谱库通过以下步骤进行构建：
5.根据权利要求4所述的方法，...
【专利技术属性】
技术研发人员：沈伟，邵岭，黄家水，徐华泽，沈来信，郑小林，
申请(专利权)人：特斯联通用技术公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。