异步训练的任务调度方法、系统、设备及存储介质技术方案

本申请实施例提供一种异步训练的任务调度方法、系统、设备及存储介质。在调度方法中，参数节点接收到至少一个工作节点对应的多个参数处理任务后，可对按照该多个参数处理任务各自的、与来源工作节点对应任务标识以及该多个参数处理任务各自的时间信息，对该多个参数处理任务的执行顺序进行调度，并根据调度的结果依次执行多个参数处理任务。在这种实施方式中，在多个参数处理任务的执行顺序进行调度时，同时考虑了参数处理任务的来源工作节点以及参数处理任务的时间信息，从而可通过调度使得参数节点尽可能地在相同或相近的时间范围内，及时处理同一工作节点的参数处理任务，从而降低工作节点的等待时间，提升工作节点的计算效率。算效率。算效率。

【技术实现步骤摘要】
异步训练的任务调度方法、系统、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种异步训练的任务调度方法、系统、设备及存储介质。

技术介绍

[0002]PS
‑
Worker架构(参数服务器
‑
工作服务器架构)是深度学习异步训练较常使用的一种架构。在现有的模型训练过程中，多个工作服务器独立地向参数服务器发送参数处理任务，参数服务器按照请求的抵达顺序返回参数。这种方式使得同一工作服务器的请求不能被及时处理，从而极大影响了工作服务器的计算效率。因此，有待提出一种解决方案。

技术实现思路

[0003]本申请实施例的多个方面提供一种异步训练的任务调度方法、系统、设备及存储介质，用以对参数节点接收到的来自工作节点的请求进行调度，从而提升工作节点的计算效率。
[0004]本申请实施例提供一种异步训练的任务调度方法，包括：确定任务队列中的多个参数处理任务；所述多个参数处理任务由至少一个工作节点发送；其中，任一工作节点发送的参数处理任务携带与所述工作节点对应的任务标识；按照所述多个参数处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异步训练的任务调度方法，其特征在于，包括：确定任务队列中的多个参数处理任务；所述多个参数处理任务由至少一个工作节点发送；其中，任一工作节点发送的参数处理任务携带与所述工作节点对应的任务标识；按照所述多个参数处理任务各自的任务标识以及所述多个参数处理任务各自的时间信息，对所述多个参数处理任务的执行顺序进行调度，得到所述多个参数处理任务的执行顺序；根据所述多个参数处理任务的执行顺序，依次执行所述多个参数处理任务。2.根据权利要求1所述的方法，其特征在于，按照所述多个参数处理任务各自的任务标识以及所述多个参数处理任务各自的时间信息，对所述多个参数处理任务的执行顺序进行调度，包括：根据所述多个参数处理任务的到达时间，将所述多个参数处理任务划分为至少一个任务分组；针对任一任务分组，按照所述任务分组内的参数处理任务的任务标识，对所述任务分组内的参数处理任务进行排序，得到所述任务分组内的参数处理任务的执行顺序。3.根据权利要求2所述的方法，其特征在于，根据所述多个参数处理任务的到达时间，将所述多个参数处理任务划分为至少一个任务分组之前，还包括：按照设定的时间间隔对时间轴进行划分，得到多个时间窗口；所述时间间隔与所述至少一个工作节点的请求频率关联；针对任一参数处理任务，在所述参数处理任务到达时，根据所述参数处理任务的到达时间，从所述多个时间窗口中确定所述参数处理任务对应的目标时间窗口，并为所述参数处理任务添加所述目标时间窗口对应的窗口标识；根据所述多个参数处理任务的到达时间，将所述多个参数处理任务划分为至少一个任务分组，包括：根据所述多个参数处理任务各自对应的窗口标识，将所述多个参数处理任务划分为至少一个任务分组。4.根据权利要求3所述的方法，其特征在于，根据所述多个参数处理任务各自对应的窗口标识，将所述多个参数处理任务划分为至少一个任务分组，包括：将具有相同窗口标识的参数处理任务，划分为一个任务分组。5.根据权利要求3所述的方法，其特征在于，根据所述多个参数处理任务各自对应的...

【专利技术属性】
技术研发人员：李豪，董建波，张泽超，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：