一种模型应用方案编排方法技术

本公开提供了一种模型应用方案编排方法

【技术实现步骤摘要】
一种模型应用方案编排方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种模型应用方案编排方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着大语言模型
(Large Language Model
，
LLM)
的能力不断提升，通过其解决实际问题的应用场景也越来越多
。
[0003]为了辅助模型更好地产出符合需求的结果，通常需要构建模型应用方案，而由于模型本身能力的限制，构建出的模型应用方案可能无法符合预期
。

技术实现思路

[0004]本公开实施例至少提供一种模型应用方案编排方法
、
装置
、
电子设备及存储介质
。
[0005]第一方面，本公开实施例提供了一种模型应用方案编排方法，该方法包括：
[0006]响应于用户发起的模型应用方案编排请求，展示工作流编排页面；
[0007]响应于在所述工作流编排页面中针对各工作节点的选择和连接操作，生成模型应用方案对应的包含多个工作节点的工作流链路；所述各工作节点包括多种类型的工作节点，所述多种类型的工作节点至少包括模型交互节点和私有节点；所述模型交互节点用于调用目标模型能力进行数据处理，所述私有节点用于调用私有数据或调用私有能力进行数据处理；
[0008]响应于针对所述模型应用方案的应用触发操作，通过调用流程执行引擎执行所述工作流链路，得到所述模型应用方案下的输出结果
。
[0009]一种可选的实施方式中，所述响应于在所述工作流编排页面中针对各工作节点的选择和连接操作，生成模型应用方案对应的包含多个工作节点的工作流链路，包括：
[0010]在所述工作流编排页面，展示多种节点类型；
[0011]响应于针对目标节点类型的选择操作，生成与所述目标节点类型匹配的目标工作节点；
[0012]在所述工作流链路中添加所述目标工作节点，使得所述目标工作节点与所述工作流链路中的其他工作节点连接，并获取针对所述目标工作节点的配置信息；所述配置信息用于指示所述目标工作节点执行的任务信息
。
[0013]一种可选的实施方式中，所述私有节点包括私有能力节点；在所述目标工作节点为所述私有能力节点的情况下，获取针对所述私有能力节点的配置信息，包括：
[0014]获取用户针对所述私有能力节点配置的子进程任务代码；所述子进程任务代码用于执行与目标私有能力对应的子进程任务，并将子进程任务执行结果反馈给所述流程执行引擎对应的主进程
。
[0015]一种可选的实施方式中，所述私有节点包括私有数据节点；在所述目标工作节点为所述私有数据节点的情况下，获取针对所述私有数据节点的配置信息，包括：
[0016]获取针对所述私有数据节点配置的数据库；所述私有数据节点用于针对配置的数据库执行数据查询及返回的操作
。
[0017]一种可选的实施方式中，所述私有数据节点包括向量化查询节点；所述向量化查询节点提供文本内容向量化处理及查询能力；所述数据库包括向量数据库；
[0018]所述向量数据库为根据以下步骤得到的：
[0019]获取用户上传的目标文本内容；所述目标文本内容为超过预设字符数的文本内容；
[0020]将所述目标文本内容进行分片处理后，得到多个文本段落，将所述多个文本段落分别进行向量化处理后，将得到的各文本段落向量存储到向量数据库中；
[0021]其中，所述向量化查询节点用于在执行查询任务时，将查询关键词进行向量化处理后得到关键词向量，在所述向量数据库中查询与所述关键词向量匹配的目标文本段落向量，并将查询到的目标文本段落向量对应的目标文本段落返回给模型交互节点
。
[0022]一种可选的实施方式中，所述将所述目标文本内容进行分片处理之前，还包括：
[0023]获取用户配置的分片维度信息，所述分配维度信息用于指示对查询的文本内容进行分片的方式；
[0024]所述将所述目标文本内容进行分片处理后，得到多个文本段落，包括：
[0025]按照所述分片维度信息对所述目标文本内容进行分片处理，得到多个文本段落
。
[0026]一种可选的实施方式中，所述在所述向量数据库中查询与所述关键词向量匹配的目标文本段落向量，包括：
[0027]按照用户从支持的多种相似度匹配算法中确认配置的目标相似度匹配算法，在所述向量数据库中查询与所述关键词向量匹配的目标文本段落向量
。
[0028]一种可选的实施方式中，所述多种类型的工作节点还包括流程节点；所述流程节点用于控制所述工作流链路中的目标逻辑的开始执行和结束执行时机；所述目标逻辑由所述工作流链路中的至少一个工作节点完成
。
[0029]一种可选的实施方式中，所述在所述目标工作节点为所述模型交互节点的情况下，获取针对所述模型交互节点的配置信息，包括：
[0030]响应于存在实现所述模型交互节点对应的目标模型功能的多个模型，获取针对所述模型交互节点配置的模型调用信息，所述模型调用信息用于调用支持所述目标模型功能的目标模型，所述目标模型为从所述多个模型中选择的任一模型；
[0031]其中，在执行所述模型交互节点时，通过调用模型代理服务将输入至所述模型交互节点的待处理数据进行统一格式处理后，输入给所述模型交互节点对应的目标模型，并将所述目标模型的输出数据进行统一格式处理后传输至下一工作节点
。
[0032]一种可选的实施方式中，所述通过调用流程执行引擎执行所述工作流链路，得到所述模型应用方案下的输出结果，包括：
[0033]通过调用流程执行引擎，按照所述工作流链路，依次对调度执行的每个工作节点的输出数据进行状态验证处理后输出给下一工作节点；
[0034]在确定不存在下一工作节点后，将对最后一个工作节点的输出数据进行状态验证处理后作为所述输出结果
。
[0035]第二方面，本公开实施例还提供一种模型应用方案编排装置，包括：
[0036]展示模块，用于响应于用户发起的模型应用方案编排请求，展示工作流编排页面；
[0037]生成模块，用于响应于在所述工作流编排页面中针对各工作节点的选择和连接操作，生成模型应用方案对应的包含多个工作节点的工作流链路；所述各工作节点包括多种类型的工作节点，所述多种类型的工作节点至少包括模型交互节点和私有节点；所述模型交互节点用于调用目标模型能力进行数据处理，所述私有节点用于调用私有数据或调用私有能力进行数据处理；
[0038]调用模块，用于响应于针对所述模型应用方案的应用触发操作，通过调用流程执行引擎执行所述工作流链路，得到所述模型应用方案下的输出结果
。
[0039]第三方面，本公开实施例还提供一种电子设备，包括：处理器
、
存储器和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型应用方案编排方法，其特征在于，包括：响应于用户发起的模型应用方案编排请求，展示工作流编排页面；响应于在所述工作流编排页面中针对各工作节点的选择和连接操作，生成模型应用方案对应的包含多个工作节点的工作流链路；所述各工作节点包括多种类型的工作节点，所述多种类型的工作节点至少包括模型交互节点和私有节点；所述模型交互节点用于调用目标模型能力进行数据处理，所述私有节点用于调用私有数据或调用私有能力进行数据处理；响应于针对所述模型应用方案的应用触发操作，通过调用流程执行引擎执行所述工作流链路，得到所述模型应用方案下的输出结果
。2.
根据权利要求1所述的方法，其特征在于，响应于在所述工作流编排页面中针对各工作节点的选择和连接操作，生成模型应用方案对应的包含多个工作节点的工作流链路，包括：在所述工作流编排页面，展示多种节点类型；响应于针对目标节点类型的选择操作，生成与所述目标节点类型匹配的目标工作节点；在所述工作流链路中添加所述目标工作节点，使得所述目标工作节点与所述工作流链路中的其他工作节点连接，并获取针对所述目标工作节点的配置信息；所述配置信息用于指示所述目标工作节点执行的任务信息
。3.
根据权利要求2所述的方法，其特征在于，所述私有节点包括私有能力节点；在所述目标工作节点为所述私有能力节点的情况下，获取针对所述私有能力节点的配置信息，包括：获取用户针对所述私有能力节点配置的子进程任务代码；所述子进程任务代码用于执行与目标私有能力对应的子进程任务，并将子进程任务执行结果反馈给所述流程执行引擎对应的主进程
。4.
根据权利要求2所述的方法，其特征在于，所述私有节点包括私有数据节点；在所述目标工作节点为所述私有数据节点的情况下，获取针对所述私有数据节点的配置信息，包括：获取针对所述私有数据节点配置的数据库；所述私有数据节点用于针对配置的数据库执行数据查询及返回的操作
。5.
根据权利要求4所述的方法，其特征在于，所述私有数据节点包括向量化查询节点；所述向量化查询节点提供文本内容向量化处理及查询能力；所述数据库包括向量数据库；所述向量数据库为根据以下步骤得到的：获取用户上传的目标文本内容；所述目标文本内容为超过预设字符数的文本内容；将所述目标文本内容进行分片处理后，得到多个文本段落，将所述多个文本段落分别进行向量化处理后，将得到的各文本段落向量存储到向量数据库中；其中，所述向量化查询节点用于在执行查询任务时，将查询关键词进行向量化处理后得到关键词向量，在所述向量数据库中查询与所述关键词向量匹配的目标文本段落向量，并将查询到的目标文本段落向量对应的目标文本段落返回给模型交互节点
。6.
根据权利要求5所述的方法，其特征在于，所述将所述目标文本内容进行分片处理之
前，还包括：获取用户配置的分片维度信息，所述分配维度信息用于指示对查询的文本内容进行分片的方式；所述将所述目标文本内容进行分片处理后，得到多个文本段落，包括：按照所述分片维度信息对所述目标文本内容进行分片处理，得到多个文本...

【专利技术属性】
技术研发人员：郭云龙，段靖，魏旭钊，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：