方案生成处理方法技术

本公开提供了一种方案生成处理方法

【技术实现步骤摘要】
方案生成处理方法、装置、计算机设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种方案生成处理方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]随着人工智能技术水平的提升，神经网络模型的应用越来越广泛，利用神经网络模型能够自动完成一些节省人力成本的任务，比如智能创作
、
智能问答等
。
[0003]针对一些模型，如自然语言处理模型，由于模型本身能力的限制和输出的不确定性，通常需要构建模型应用方案，以辅助模型更好地产出符合需求的结果
。
如何使得正式投入使用的模型应用方案更好地符合用户需求是值得解决的问题
。

技术实现思路

[0004]本公开实施例至少提供一种方案生成处理方法
、
装置
、
计算机设备及存储介质
。
[0005]第一方面，本公开实施例提供了一种方案生成处理方法，包括：
[0006]针对获取到的模型应用需求，生成与所述模型应用需求匹配的模型应用方案；所述模型应用方案设置有包括多个任务节点的任务链路；所述多个任务节点中包含至少一个模型交互节点；
[0007]响应于接收到针对所述模型应用方案的测试需求，确定所述模型应用方案对应的至少一个测试数据集，以及所述模型应用方案的至少一个测试指标；所述测试数据集和所述测试指标与所述模型应用需求相关联；
[0008]利用所述至少一个测试数据集对所述模型应用方案进行模型应用测试，得到各测试数据集在所述模型应用方案下的输出结果；
[0009]基于各测试数据集对应的所述输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果；所述测试评价结果用于作为判断所述模型应用方案是否能够使用的参考信息
。
[0010]一种可选的实施方式中，所述利用所述至少一个测试数据集分别对所述模型应用方案进行模型应用测试，得到各测试数据集在所述模型应用方案下的输出结果，包括：
[0011]针对所述测试数据集和所述测试指标，创建至少一轮测试任务；其中，所述测试任务的轮数与所述模型应用需求和
/
或所述测试数据集相关；
[0012]利用所述测试数据集对所述模型应用方案执行所述至少一轮测试任务，得到所述测试数据集在所述模型应用方案下的输出结果
。
[0013]一种可选的实施方式中，所述得到所述测试数据集在所述模型应用方案下的输出结果之后，还包括：
[0014]在执行完成所述至少一轮测试任务后，获取用户追问信息；
[0015]基于所述用户追问信息执行所述模型应用方案，得到所述用户追问信息在所述模型应用方案下的输出结果；
[0016]所述基于各测试数据集对应的所述输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果，包括：
[0017]基于所述测试数据集以及所述用户追问信息对应的输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果
。
[0018]一种可选的实施方式中，所述针对获取到的模型应用需求，生成与所述模型应用需求匹配的模型应用方案，包括：
[0019]针对获取到的模型应用需求，生成与所述模型应用需求匹配的初始模型应用方案；
[0020]响应于调试需求，确定针对用户提问信息，利用所述初始模型应用方案提供的回答结果；
[0021]响应于接收到用户针对所述回答结果提供的反馈信息，基于所述反馈信息对所述初始模型应用方案进行调整，得到调整后的模型应用方案
。
[0022]一种可选的实施方式中，所述响应于接收到针对所述模型应用方案的测试需求，包括：
[0023]响应于针对所述模型应用需求的方案测试触发操作，若确定生成并保存有与所述模型应用需求匹配的多个模型应用方案，展示所述多个模型应用方案的版本信息；不同的模型应用方案具有不同的版本信息；
[0024]响应于针对任一所述版本信息的选取操作，将选取的所述版本信息对应的模型应用方案作为所述测试需求对应的模型应用方案
。
[0025]一种可选的实施方式中，所述针对获取到的模型应用需求，生成与所述模型应用需求匹配的模型应用方案，包括：
[0026]展示模型应用方案构建页面；
[0027]响应于在所述模型应用方案构建页面中的需求信息输入操作，在所述模型应用方案构建页面中生成并展示与所述模型应用需求匹配的模型应用方案
。
[0028]一种可选的实施方式中，所述方法还包括：
[0029]响应于针对调试完成的所述模型应用方案的发布操作，记录所述模型应用方案构建页面中展示的模型应用方案的版本信息，并将所述模型应用方案和对应的版本信息进行保存
。
[0030]一种可选的实施方式中，所述模型应用方案构建页面包括节点选择区域
、
节点配置区域
、
节点输出区域以及任务链路展示区域；
[0031]所述节点选择区域中展示有多个任务节点标识；所述任务节点标识用于在被触发后，在所述任务链路展示区域中添加所述任务节点标识对应的任务节点；不同的任务节点标识对应的任务节点的类型不同；
[0032]所述节点配置区域用于为所述任务链路展示区域中的任务节点添加配置信息；
[0033]所述节点输出区域用于展示所述任务链路展示区域中的任务节点的输出信息
。
[0034]第二方面，本公开实施例还提供一种方案生成处理装置，包括：
[0035]生成模块，用于针对获取到的模型应用需求，生成与所述模型应用需求匹配的模型应用方案；所述模型应用方案设置有包括多个任务节点的任务链路；所述多个任务节点中包含至少一个模型交互节点；
[0036]确定模块，用于响应于接收到针对所述模型应用方案的测试需求，确定所述模型应用方案对应的至少一个测试数据集，以及所述模型应用方案的至少一个测试指标；所述测试数据集和所述测试指标与所述模型应用需求相关联；
[0037]测试模块，用于利用所述至少一个测试数据集对所述模型应用方案进行模型应用测试，得到各测试数据集在所述模型应用方案下的输出结果；
[0038]评价模块，用于基于各测试数据集对应的所述输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果；所述测试评价结果用于作为判断所述模型应用方案是否能够使用的参考信息
。
[0039]一种可选的实施方式中，所述测试模块具体用于：
[0040]针对所述测试数据集和所述测试指标，创建至少一轮测试任务；其中，所述测试任务的轮数与所述模型应用需求和
/
或所述测试数据集相关；
[0041]利用所述测试数据集对所述模型应用方案执行所述至少一轮测试任务，得到所述测试数据集在所述模型应用方案下的输出结果
。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种方案生成处理方法，其特征在于，包括：针对获取到的模型应用需求，生成与所述模型应用需求匹配的模型应用方案；所述模型应用方案设置有包括多个任务节点的任务链路；所述多个任务节点中包含至少一个模型交互节点；响应于接收到针对所述模型应用方案的测试需求，确定所述模型应用方案对应的至少一个测试数据集，以及所述模型应用方案的至少一个测试指标；所述测试数据集和所述测试指标与所述模型应用需求相关联；利用所述至少一个测试数据集对所述模型应用方案进行模型应用测试，得到各测试数据集在所述模型应用方案下的输出结果；基于各测试数据集对应的所述输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果；所述测试评价结果用于作为判断所述模型应用方案是否能够使用的参考信息
。2.
根据权利要求1所述的方法，其特征在于，所述利用所述至少一个测试数据集分别对所述模型应用方案进行模型应用测试，得到各测试数据集在所述模型应用方案下的输出结果，包括：针对所述测试数据集和所述测试指标，创建至少一轮测试任务；其中，所述测试任务的轮数与所述模型应用需求和
/
或所述测试数据集相关；利用所述测试数据集对所述模型应用方案执行所述至少一轮测试任务，得到所述测试数据集在所述模型应用方案下的输出结果
。3.
根据权利要求2所述的方法，其特征在于，所述得到所述测试数据集在所述模型应用方案下的输出结果之后，还包括：在执行完成所述至少一轮测试任务后，获取用户追问信息；基于所述用户追问信息执行所述模型应用方案，得到所述用户追问信息在所述模型应用方案下的输出结果；所述基于各测试数据集对应的所述输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果，包括：基于所述测试数据集以及所述用户追问信息对应的输出结果，获取所述模型应用方案在所述至少一个测试指标下的测试评价结果
。4.
根据权利要求1所述的方法，其特征在于，所述针对获取到的模型应用需求，生成与所述模型应用需求匹配的模型应用方案，包括：针对获取到的模型应用需求，生成与所述模型应用需求匹配的初始模型应用方案；响应于调试需求，确定针对用户提问信息，利用所述初始模型应用方案提供的回答结果；响应于接收到用户针对所述回答结果提供的反馈信息，基于所述反馈信息对所述初始模型应用方案进行调整，得到调整后的模型应用方案
。5.
根据权利要求1所述的方法，其特征在于，所述响应于接收到针对所述模型应用方案的测试需求，包括：响应于针对所述模型应用需求的方案测试触发操作，若确定生成并保存有与所述模型应用需求匹配的多个模型应用方案，展示所述多个模型应用方案的版本信息；不同的模型
应用方案具有不同的版本信息；响应于针对任一所述版本信息的选取操作，将选取的所述版本信息...

【专利技术属性】
技术研发人员：龚渝钧，曹晋其，周东滨，余劭嶔，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：