一种小模型API服务的调用方法、系统及存储介质技术方案

技术编号:43373690 阅读:34 留言:0更新日期:2024-11-19 17:53
本申请公开了一种小模型API服务的调用方法、系统及存储介质,涉及数据处理、人工智能技术,包括:根据用户的输入以及各API描述信息,利用大语言模型LLM确定需要调用的目标API;基于目标API的API描述信息,提示所述LLM生成预设格式的请求参数字典;将所生成的所述请求参数字典和所述用户的输入作为检索算法的输入,以检索出多个参数字典的可选值;基于所检索的参数字典的可选值与所述用户的输入,提示所述LLM生成请求参数;利用所生成的请求参数调用目标API服务,以及,利用所述LLM基于调用目标API服务的返回结果,生成任务结果。本申请的方法能够极大降低LLM后续确定各请求参数值的难度。

【技术实现步骤摘要】

本申请涉及数据处理、人工智能,尤其涉及一种小模型api服务的调用方法、系统及存储介质。


技术介绍

1、目前,大模型的通用能力,例如基本的理解、推理能力等,已得到大家的广泛认可。但人们发现在使用大模型去解决特定领域的专业问题时,例如希望大模型去完成一个专业的分类问题时,其效果往往不理想。而传统的ai模型已经被证明可有效解决这些专业问题(例如分类问题,预测问题,视觉问题)。因此,人们提出了结合大模型和传统ai模型的主流agent系统,来解决上述场景。该类型的agent系统主要利用如下技术实现:

2、大模型被作为agent中枢,特定领域的传统ai模型(小模型)被封装为api服务,大模型直接根据用户的输入信息和该api服务的说明信息(例如标准的openapi schema),来生成请求api服务的参数,进而完成对api服务(传统ai模型)的调用。

3、现有的小模型api服务的请求参数调用存在如下问题:

4、请求参数的准确率低:小模型api服务的请求参数有时可能需要数十维甚至更多,这时,如果大模型直接根据api的描述信息和用户输入本文档来自技高网...

【技术保护点】

1.一种小模型API服务的调用方法,其特征在于,包括:

2.如权利要求1所述的小模型API服务的调用方法,其特征在于,提示所述LLM生成的请求参数字典为key-value格式。

3.如权利要求2所述的小模型API服务的调用方法,其特征在于,所述检索算法包括BM25检索算法;

4.如权利要求3所述的小模型API服务的调用方法,其特征在于,基于所检索的参数字典的可选值与所述用户的输入,提示所述LLM生成请求参数包括:

5.一种小模型API服务的调用系统,其特征在于,包括处理器,其被配置为:

6.一种计算机可读存储介质,其特征在于,所...

【技术特征摘要】

1.一种小模型api服务的调用方法,其特征在于,包括:

2.如权利要求1所述的小模型api服务的调用方法,其特征在于,提示所述llm生成的请求参数字典为key-value格式。

3.如权利要求2所述的小模型api服务的调用方法,其特征在于,所述检索算法包括bm25检索算法;

4.如权利要求3所述的小模型api服务的调用方法,其...

【专利技术属性】
技术研发人员:姜巍马俊杰张永王榆伟纪威宇
申请(专利权)人:中国电子科技集团公司信息科学研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1