一种将大语言模型与RESTful API连接的方法技术

技术编号:40901399 阅读:19 留言:0更新日期:2024-04-18 11:19
本发明专利技术公开了一种将大语言模型与RESTful API连接的方法,通过以大语言模型为基础的四个模块:规划器、API选择器、调用器、解析器互相协作,完成由粗至细的在线规划以及API规划的执行,从而解决真实应用环境中的用户指令。该方法能够与现有的基于REST的网络架构相兼容,提供很强的扩展性。由粗至细的任务规划充分利用了大语言模型的推理和规划能力,规划器完成粗粒度的任务规划,API选择器在其基础上选择细粒度的API去完成粗粒度子任务,生成API请求任务。在API请求任务执行中,调用器根据API的参数文档组织参数,得到请求响应后,解析器生成信息抽取的代码,避免了直接使用大语言模型解析复杂的JSON结构,具有极强的灵活性。

【技术实现步骤摘要】

本专利技术提供一种将大语言模型与restful api连接的方法,属于自然语言处理中的大语言模型。


技术介绍

1、诸如gpt-3和chatgpt这样的大语言模型(large language model,llm)在上下文学习、思维链、推理、任务规划等方面已经展示出强大的性能,然而大语言模型在实际应用中仍然面临着一些局限性,如大语言模型无法访问专业知识、无法进行严密的数学推理等,因此,研究界开始尝试将大语言模型与外部api或者工具相连接,赋予大模型新的能力,帮助人类完成更为复杂的任务。通过将大语言模型与api连接,让大语言模型成为用户和应用生态系统之间的沟通的桥梁。

2、早期的研究工作尝试将网络搜索引擎、计算器这类较为简单的api与大语言模型进行连接,以增强其在获取最新信息和进行精确数学推理方面的性能,如yao等人提出react框架并使用维基百科帮助模型完成知识问答任务(yao s,zhao j,yu d,etal.2022.react:synergizing reasoning and acting in language models[m/o本文档来自技高网...

【技术保护点】

1.一种将大语言模型与RESTful API连接的方法,其特征在于,由规划器P、API选择器S、调用器C和解析器Q四个模块分别完成任务规划、API选择、API调用和API响应结果解析的功能,其中调用器C和解析器Q共同构成了执行器E,负责执行API选择器生成的API任务;不同模块读取OAS中的不同信息,API选择器S读取API的描述信息,调用器C则读取API的请求参数文档,解析器Q读取API响应结构信息;在接收用户指令之后,执行“任务规划-任务执行”的循环迭代,即进行由粗至细的任务规划和API请求任务执行两个过程,使大语言模型不断与RESTfulAPI进行交互,以完成真实的用户指令;包括:...

【技术特征摘要】

1.一种将大语言模型与restful api连接的方法,其特征在于,由规划器p、api选择器s、调用器c和解析器q四个模块分别完成任务规划、api选择、api调用和api响应结果解析的功能,其中调用器c和解析器q共同构成了执行器e,负责执行api选择器生成的api任务;不同模块读取oas中的不同信息,api选择器s读取api的描述信息,调用器c则读取api的请求参数文档,解析器q读取api响应结构信息;在接收用户指令之后,执行“任务规划-任务执行”的循环迭代,即进行由粗至细的任务规划和api请求任务执行两个过程,使大语言模型不断与restfulapi进行交互,以完成真实的用户指令;包括:

2.如权利要求1所述的将大语言模型与restful api连接的方法,其特征在于,步骤1)包括以下步骤:

3.如权利要求2所述的将大语言模型与restful api连接的方法,其特征在于,步骤b)中a...

【专利技术属性】
技术研发人员:宋一帆李成王科田野李素建
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1