【技术实现步骤摘要】
本公开涉及工作流调度领域，特别涉及一种工作流调度方法和装置、计算机可读存储介质。
技术介绍
1、相关技术深度学习模型迭代更新中，对于一些业务，数据的分布会随着时间变化而变化，比如每天可能都有新的词汇、句式被创造，因此模型需要不断迭代更新以保证线上的效果。
2、对于这种场景的模型，一次迭代的典型步骤包含：1、原始数据收集&预处理；2、数据标注，得到含标签的数据；3、模型训练，得到最终的模型；4、模型评测，对比新老模型在新数据集上的效果差异。其中，第2步和第4步需要人工参与，一般是算法人员和标注人员进行沟通，标注人员完成后，通知算法人员继续下一步骤。
技术实现思路
1、专利技术人通过研究发现：相关技术模型训练过程中标注、效果评测等依赖人工的部分，前后任务无法自动化衔接。
2、鉴于以上技术问题中的至少一项，本公开提供了一种工作流调度方法和装置、计算机可读存储介质，在模型训练过程中标注、效果评测的流程中，可以自动化衔接前后任务。
3、根据本公开的一个方面，提供一种工作流调度方法，包括：
4、根据用户的输入，进行工作流的定义，其中，工作流为多个任务编排的流程，所述多个任务为模型训练全流程中包括的任务，所述工作流包括模型训练全流程中数据标注和模型评测中的多个任务；
5、调度执行所述工作流，其中，对于不同的任务根据配置的类型，运行共享存储中的预先配置的程序数据，以执行所述任务。
6、在本公开的一些实施例中，所述工作流
7、在本公开的一些实施例中，所述工作流调度方法还包括：
8、预先制定特定任务代码的程序数据；
9、将所述特定任务代码的程序数据存储在共享存储的对应特定路径上。
10、在本公开的一些实施例中，所述特定任务代码包括发送通知消息和访问数据统计表中的任一项。
11、在本公开的一些实施例中，所述工作流调度方法还包括：
12、将所述工作流的运行结果保存在共享存储；
13、根据用户的请求，将工作流的运行结果发送给用户。
14、在本公开的一些实施例中，所述根据用户的输入，进行工作流的定义包括：
15、根据用户的输入，进行工作流的定义；
16、根据运行时参数确定任务类型，定义工作流中的每一个任务；
17、按照并行和串行中的至少一种关系，对工作流中的多个任务进行编排。
18、在本公开的一些实施例中，所述定义工作流中的每一个任务包括：
19、在任务定义过程中，在任务中添加模块资源参数，在服务端配置模板对应的资源，其中，在任务执行过程中，使用所述模块资源参数对应的参数。
20、在本公开的一些实施例中，所述工作流调度方法还包括：
21、在满足预定重试条件的情况下，从特定任务开始重新调度执行所述工作流。
22、在本公开的一些实施例中，所述预定重试条件包括下述条件中的至少一个条件，其中：
23、一个任务执行成功，且发现该任务有逻辑错误、需要修改代码；
24、一个任务所需的资源不足、需要重新设置资源大小；
25、一个任务出现内存溢出、需要重新设置资源大小。
26、在本公开的一些实施例中，所述从特定任务开始重新调度执行所述工作流包括：
27、从特定任务开始，对有向无环图的工作流进行遍历，将遍历到的节点作为需要重新运行的节点；
28、将所有遍历到的节点取并集；
29、任务调度过程中，对不在所述并集内的节点进行跳过。
30、在本公开的一些实施例中，所述工作流调度方法还包括：
31、指示交互任务平台开放第一接口和第二接口，其中，第一接口用于发布任务，第二接口用于查询任务是否结束；
32、制作交互任务平台所需要的数据；
33、将交互任务平台所需要的数据发送到交互平台；
34、接收第一接口返回交互任务的标识符，并将所述交互任务的标识符发送给相应的交互人员；
35、通过第二接口循环查询交互任务平台，查询交互任务是否完成。
36、在本公开的一些实施例中，所述交互任务为标注任务。
37、在本公开的一些实施例中，所述通过第二接口循环查询交互任务平台，查询交互任务是否完成包括：
38、以预定查询间隔，通过第二接口循环查询交互任务平台，查询交互任务是否完成。
39、在本公开的一些实施例中，所述工作流调度方法还包括：
40、若预定超时时间段内，通过第二接口循环查询交互任务平台，确定交互任务未完成，则向交互人员发送提醒消息。
41、在本公开的一些实施例中，所述工作流调度方法还包括：
42、在任务成功、任务失败、任务完成、人工交互开始或人工交互结束的情况下，向相关人员发送通知消息。
43、根据本公开的另一方面，提供一种工作流调度装置，包括：
44、工作流定义模块，被配置为根据用户的输入，进行工作流的定义，其中，工作流为多个任务编排的流程，所述工作流包括模型训练全流程中数据标注和模型评测中的多个任务；
45、工作流调度模块，被配置为调度执行所述工作流，其中，对于不同的任务根据配置的类型，运行共享存储中的预先配置的程序数据，以执行所述任务。
46、根据本公开的另一方面，提供一种工作流调度装置，包括：
47、存储器，被配置为存储指令；和
48、处理器，被配置为执行所述指令，以实现如上述任一实施例所述的工作流调度方法。
49、根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的工作流调度方法。
50、本公开在模型训练过程中标注、效果评测的流程中，可以自动化衔接前后任务，减少了算法人员和标注人员的沟通成本。
本文档来自技高网...【技术保护点】
1.一种工作流调度方法，包括：
2.根据权利要求1所述的工作流调度方法，其中，所述工作流为有向无环图。
3.根据权利要求1或2所述的工作流调度方法，还包括：
4.根据权利要求3所述的工作流调度方法，其中，所述特定任务代码包括发送通知消息和访问数据统计表中的任一项。
5.根据权利要求3所述的工作流调度方法，其中，还包括：
6.根据权利要求1或2所述的工作流调度方法，其中，所述根据用户的输入，进行工作流的定义包括：
7.根据权利要求6所述的工作流调度方法，其中，所述定义工作流中的每一个任务包括：
8.一种工作流调度装置，包括：
9.一种工作流调度装置，包括：
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-7中任一项所述的工作流调度方法。
【技术特征摘要】
1.一种工作流调度方法，包括：
2.根据权利要求1所述的工作流调度方法，其中，所述工作流为有向无环图。
3.根据权利要求1或2所述的工作流调度方法，还包括：
4.根据权利要求3所述的工作流调度方法，其中，所述特定任务代码包括发送通知消息和访问数据统计表中的任一项。
5.根据权利要求3所述的工作流调度方法，其中，还包括：
6.根据权利要求1或2所述的...
【专利技术属性】
技术研发人员：詹钰，严义超，张璐，陶明，
申请(专利权)人：上海任意门科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。