【技术实现步骤摘要】
本申请涉及数据处理、人工智能,尤其涉及一种小模型api服务的调用方法、系统及存储介质。
技术介绍
1、目前,大模型的通用能力,例如基本的理解、推理能力等,已得到大家的广泛认可。但人们发现在使用大模型去解决特定领域的专业问题时,例如希望大模型去完成一个专业的分类问题时,其效果往往不理想。而传统的ai模型已经被证明可有效解决这些专业问题(例如分类问题,预测问题,视觉问题)。因此,人们提出了结合大模型和传统ai模型的主流agent系统,来解决上述场景。该类型的agent系统主要利用如下技术实现:
2、大模型被作为agent中枢,特定领域的传统ai模型(小模型)被封装为api服务,大模型直接根据用户的输入信息和该api服务的说明信息(例如标准的openapi schema),来生成请求api服务的参数,进而完成对api服务(传统ai模型)的调用。
3、现有的小模型api服务的请求参数调用存在如下问题:
4、请求参数的准确率低:小模型api服务的请求参数有时可能需要数十维甚至更多,这时,如果大模型直接根据api
...【技术保护点】
1.一种小模型API服务的调用方法,其特征在于,包括:
2.如权利要求1所述的小模型API服务的调用方法,其特征在于,提示所述LLM生成的请求参数字典为key-value格式。
3.如权利要求2所述的小模型API服务的调用方法,其特征在于,所述检索算法包括BM25检索算法;
4.如权利要求3所述的小模型API服务的调用方法,其特征在于,基于所检索的参数字典的可选值与所述用户的输入,提示所述LLM生成请求参数包括:
5.一种小模型API服务的调用系统,其特征在于,包括处理器,其被配置为:
6.一种计算机可读存储
...【技术特征摘要】
1.一种小模型api服务的调用方法,其特征在于,包括:
2.如权利要求1所述的小模型api服务的调用方法,其特征在于,提示所述llm生成的请求参数字典为key-value格式。
3.如权利要求2所述的小模型api服务的调用方法,其特征在于,所述检索算法包括bm25检索算法;
4.如权利要求3所述的小模型api服务的调用方法,其...
【专利技术属性】
技术研发人员:姜巍,马俊杰,张永,王榆伟,纪威宇,
申请(专利权)人:中国电子科技集团公司信息科学研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。