一种多平台机器学习任务的在线调度方法及系统技术方案

本发明专利技术提供了一种多平台机器学习任务的在线调度方法及系统，属于在线调度技术领域，其方法包括：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；分析并获取多个在线平台任务的执行流程之间的流程冲突集；获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度。通过实时获取所需调度的任务具体情况及流程冲突集，并基于机器学习模型对冲突集进行解析构建调度关系网，能够实时获取任务执行情况，避免任务执行过程中的冲突发生，实现多平台学习任务的在线调度。务的在线调度。务的在线调度。

【技术实现步骤摘要】
一种多平台机器学习任务的在线调度方法及系统


[0001]本专利技术涉及机器学习
，特别涉及一种多平台机器学习任务的在线调度方法及系统。

技术介绍

[0002]机器学习指的是从大量的数据中，寻找有意义知识的数据挖掘技术，当多个在线平台同时执行机器学习任务的时候，由于不同平台在同一时间点需要执行的任务数量及任务类型不同，当所需执行的任务达到一定程度时会发生冲突事件，冲突事件的发生会使得一部分任务无法完成，严重情况下甚至会出现系统崩溃的情况。
[0003]因此，本专利技术提供一种多平台机器学习任务的在线调度方法及系统。

技术实现思路

[0004]本专利技术提供一种多平台机器学习任务的在线调度方法及系统，用以通过实时获取在线平台的具体任务情况实现在线调度，并通过获取流程冲突集和机器学习模型可同时执行的任务的具体内容对在线平台的各任务进行实时调度，有效避免了冲突事件的发生，提高了任务执行效率。
[0005]本专利技术提供一种多平台机器学习任务的在线调度方法，包括：步骤1：实时获取在线平台数量以及每个在线平台所对应的任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多平台机器学习任务的在线调度方法，其特征在于，包括：步骤1：实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，且结合同类型任务所需的任务执行时间，获取同个在线平台任务的执行流程；步骤2：分析并获取多个在线平台任务的执行流程之间的流程冲突集；步骤3：获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型；步骤4：基于获取结果对所述流程冲突集进行解析，构建得到调度关系网，实现在线调度。2.根据权利要求1所述的一种多平台机器学习任务的在线调度方法，其特征在于，步骤1中，实时获取在线平台数量以及每个在线平台所对应的任务数量和任务类型，包括：获取每个目标平台的当前状态，并统计所述当前状态为在线状态的数量，作为在线平台数量；根据每个在线平台的运行信息以及任务细则，确定对应在线平台有效信息，基于所述有效信息得到对应在线平台的任务数量及任务类型。3.根据权利要求1所述的一种多平台机器学习任务的在线调度方法，其特征在于，步骤1中，结合同类型任务所需的任务执行时间，获取同平台任务的执行流程，包括：获取同个在线平台上同类型任务的所有历史执行时间并进行数据分析，得到同类型任务所需的标准任务执行时间；获取同个在线平台规定的不同类型任务的标准执行顺序，且结合不同类型任务的标准任务执行时间，得到同个在线平台的任务执行流程。4.根据权利要求1所述的一种多平台机器学习任务的在线调度方法，其特征在于，步骤2中，分析并获取多个在线平台任务的执行流程之间的流程冲突集，包括：获取每个执行流程在同时刻下的执行内容以及执行空间，并统计同时刻下的执行内容数量以及执行空间总量；当所述执行内容数量大于预设内容数量或执行空间总量大于预设空间总量时，将对应时刻下的所有执行内容进行保留；基于所有保留结果，得到流程冲突集。5.根据权利要求1所述的一种多平台机器学习任务的在线调度方法，其特征在于，步骤3中，获取机器学习模型及机器学习模型可同时执行的任务数量及任务类型，包括：根据历史在线数量最大的所有第一平台及每个第一平台相应的历史任务数量及历史任务类型，且结合历史在线数量最大的第一历史运行日志，获取每个第一平台的历史执行流程，并构建得到历史流程构架；基于所述历史流程构架，确定每个第一平台中每个单独任务类型所对应时间段的同历史执行集；根据所述同历史执行集获取每个单独任务类型的初始非冲突约束条件；将所有目标平台中除去第一平台的剩余每个平台视为第二平台；分别获取含有每个第二平台在线时执行机器学习任务过程中的第二历史运行日志，...

【专利技术属性】
技术研发人员：祁纲，迟雪，陈晨，王秋菊，傅豪，储熠，王聪聪，王孟宇，彭渊，
申请(专利权)人：太极计算机股份有限公司，
类型：发明
国别省市：