大模型应用的编排方法和装置制造方法及图纸

技术编号:41626316 阅读:20 留言:0更新日期:2024-06-13 02:25
本公开提供了一种大模型应用的编排方法和装置,所述大模型应用的编排方法包括:响应于应用编排请求,显示编排界面;响应于在编排界面中执行的节点创建操作,创建多个工作节点,其中,工作节点包括以下至少一个:大模型节点、普通任务节点、控制条件节点、智能体节点,大模型节点用于运行大模型,普通任务节点用于处理结构化数据,控制条件节点用于确定其他至少一个工作节点的执行顺序,智能体节点由多个其他工作节点连接组成;接收多个工作节点的执行顺序信息,以及多个工作节点中的每个工作节点的输入输出信息;根据执行顺序信息和输入输出信息,确定应用执行流程。该方法统一使用可视化编程实现RAG模式和Agent模式,降低学习成本,提高开发效率。

【技术实现步骤摘要】

本公开总体说来涉及大模型领域,更具体地讲,涉及一种大模型应用的编排方法和大模型应用的编排装置。


技术介绍

1、大模型(large language model,llm)应用开发指的是利用深度学习等技术,基于大型预训练模型,将自然语言处理、计算机视觉、语音识别等领域中的先进技术引入到应用程序中,构建出基于人机交互的智能化应用产品。例如,智能客服和虚拟人物等。

2、大模型应用开发依靠了现有的一些应用框架和工具,例如rag(retrieval-augmented generation,检索增强生成)模式、agent(智能体)模式等。这些框架和工具可以帮助开发者在开发过程中更加高效地进行模型训练、模型评估、模型应用等工作,从而大大提高了开发效率和应用品质。但在实际应用开发中,由于实际场景业务复杂,再加上大模型能力限制,通常无法简单使用agent或者rag来解决,并且传统的agent应用存在着鲁棒性差,难以稳定执行的问题,因此在实际落地时往往需要将这两种主流模式相结合,才足以覆盖全场景。

3、然而在实际的实现中,这两种模式的实现方法是不同的,本文档来自技高网...

【技术保护点】

1.一种大模型应用的编排方法,其特征在于,所述大模型应用是基于大模型的应用程序,所述编排方法包括:

2.如权利要求1所述的编排方法,其特征在于,所述编排方法还包括:

3.如权利要求2所述的编排方法,其特征在于,所述获取至少一个智能体模板,包括:

4.如权利要求1所述的编排方法,其特征在于,

5.如权利要求4所述的编排方法,其特征在于,

6.如权利要求4所述的编排方法,其特征在于,所述响应于在所述编排界面中执行的节点创建操作,创建多个工作节点,包括:

7.如权利要求1至6中任一权利要求所述的编排方法,其特征在于,...

【技术特征摘要】

1.一种大模型应用的编排方法,其特征在于,所述大模型应用是基于大模型的应用程序,所述编排方法包括:

2.如权利要求1所述的编排方法,其特征在于,所述编排方法还包括:

3.如权利要求2所述的编排方法,其特征在于,所述获取至少一个智能体模板,包括:

4.如权利要求1所述的编排方法,其特征在于,

5.如权利要求4所述的编排方法,其特征在于,

6.如权利要求4所述的编排方法,其特征在于,所述响应于在所述编排界面中执行的节点创建操...

【专利技术属性】
技术研发人员:李瀚
申请(专利权)人:第四范式北京技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1