基于插件的任务处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43119862 阅读:19 留言:0更新日期:2024-10-26 09:57
本发明专利技术提供了一种基于插件的任务处理方法、装置、电子设备及存储介质,方法包括:响应于接收到用户发起针对模型推理任务的请求信息,获取所述模型推理任务匹配的上下文信息和目标插件对应的插件参数,所述目标插件为所述用户指示开启的插件;基于所述请求信息、所述上下文信息和所述插件参数,生成第一请求数据;调用第一插件基于所述第一插件的插件参数对所述第一请求数据进行前处理,得到第二请求数据;调用模型推理引擎基于第二请求数据执行模型推理任务,得到第一推理响应数据;调用第二插件对所述第一推理响应数据进行后处理,得到第二推理响应数据,并将所述第二推理响应数据发送给所述用户,所述目标插件包括所述第一插件和所述第二插件。

【技术实现步骤摘要】

本专利技术涉及模型插件管理,特别是涉及一种基于插件的任务处理方法、装置、电子设备及存储介质


技术介绍

1、大模型中插件的发展已经成为近年来ai(artificial intelligence,人工智能)技术的一个重要领域。这些插件的目标是扩展和增强大型语言模型(llms)的功能,使它们能够更好地与其他系统和数据进行集成,以及提供特定任务的定制解决方案。大模型插件的发展不仅仅是技术上的扩展,它们还在促进新的应用场景和业务模型的创新。

2、大模型中插件的发展正在推动技术边界的扩展,同时也为商业应用提供了新的可能性。随着技术的进步和市场的需求变化,预计未来会出现更多创新的插件,这些插件将进一步提升大模型的功能和适用性。

3、复杂性和维护成本:插件系统可能增加大模型的复杂性,这对于开发者和维护人员来说是一个挑战。每个插件可能需要单独的更新和维护,这不仅增加了成本,也可能导致系统稳定性和兼容性问题。

4、依赖性和兼容性问题:大模型与插件之间的依赖关系可能导致版本兼容性问题。当模型或插件升级时,可能需要确保所有组件都能协同工作。这本文档来自技高网...

【技术保护点】

1.一种基于插件的任务处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取所述模型推理任务匹配的上下文信息和目标插件对应的插件参数之前,,还包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述待请求插件的插件参数进行处理,得到处理插件参数,包括:

4.根据权利要求2所述的方法,其特征在于,所述将所述待请求插件的所述修改后的插件参数和所述插件标识发送给所述用户,,包括:

5.根据权利要求1所述的方法,其特征在于,所述获取所述模型推理任务匹配的上下文信息和目标插件对应的插件参数,包括::

...

【技术特征摘要】

1.一种基于插件的任务处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取所述模型推理任务匹配的上下文信息和目标插件对应的插件参数之前,,还包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述待请求插件的插件参数进行处理,得到处理插件参数,包括:

4.根据权利要求2所述的方法,其特征在于,所述将所述待请求插件的所述修改后的插件参数和所述插件标识发送给所述用户,,包括:

5.根据权利要求1所述的方法,其特征在于,所述获取所述模型推理任务匹配的上下文信息和目标插件对应的插件参数,包括::

6.根据权利要求1所述的方法,其特...

【专利技术属性】
技术研发人员:邱国庆王超吴韶华
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1