面向异构计算资源的深度强化学习协同调度方法及装置制造方法及图纸

本发明专利技术涉及人工智能算力资源调度技术领域，公开了面向异构计算资源的深度强化学习协同调度方法及装置，该方法包括：获取深度学习任务以及异构计算环境信息，异构计算环境为云边协同环境；根据深度学习任务以及异构计算环境信息构建任务调度模型；采用基于深度强化学习的任务调度算法根据任务调度模型对深度学习任务进行调度。本发明专利技术实现了在调度过程中考虑深度学习任务以及异构计算环境信息的目的，利用构建的任务模型采用基于深度强化学习的任务调度算法对深度学习任务进行调度，达到了充分利用反馈信息、提高深度学习任务协同调度的灵活性、实时性、泛化能力以及自适应性的效果，解决了相关技术中存在的深度学习任务调度质量较差的问题。

【技术实现步骤摘要】

本专利技术涉及人工智能算力资源调度，具体涉及一种面向异构计算资源的深度强化学习协同调度方法及装置。

技术介绍

1、神经网络模型可以对设备缺陷、异常行为等进行实时处理识别，业务系统为了实现隔离性，通常建立多套独立的计算系统，在异构环境下采用分布式方式执行深度学习任务，因此研究面向异构计算资源的分布式深度学习任务分配和调度具有重要的意义。当前集群使用的调度器或调度程序并不是专门为分布式深度学习任务量身定制的，且异构环境下不同计算机节点的计算资源存在差异，使得深度学习任务调度质量较差，神经网络模型训练效率以及集群计算资源利用率低下，因此，现有技术中存在深度学习任务调度质量较差的问题。

技术实现思路

1、有鉴于此，本专利技术提供了一种面向异构计算资源的深度强化学习协同调度方法及装置，以解决深度学习任务调度质量较差的问题。

2、第一方面，本专利技术提供了一种面向异构计算资源的深度强化学习协同调度方法，包括：获取深度学习任务以及异构计算环境信息，异构计算环境为云边协同环境；根据深度学习任务以及异构计算环境信息本文档来自技高网...

【技术保护点】

1.一种面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述深度学习任务包括任务之间的依赖关系以及任务处理信息，所述任务调度模型包括任务模型、节点负载模型以及优化目标，所述优化目标包括：执行延迟以及资源均衡性，所述根据所述深度学习任务以及异构计算环境信息构建任务调度模型，包括：

3.根据权利要求2所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述任务处理信息包括任务输入的数据量、处理任务所需的资源数、异构算力约束、数据依赖、控制依赖以及任务结束的...

【技术特征摘要】

1.一种面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述深度学习任务包括任务之间的依赖关系以及任务处理信息，所述任务调度模型包括任务模型、节点负载模型以及优化目标，所述优化目标包括：执行延迟以及资源均衡性，所述根据所述深度学习任务以及异构计算环境信息构建任务调度模型，包括：

3.根据权利要求2所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述任务处理信息包括任务输入的数据量、处理任务所需的资源数、异构算力约束、数据依赖、控制依赖以及任务结束的数据量，所述有向无环图包括节点以及边，所述采用有向无环图根据所述任务之间的依赖关系以及任务处理信息构建任务模型，包括：

4.根据权利要求2所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述深度学习任务还包括任务执行时间、依赖等待时延以及依赖数据传输时延，所述异构计算环境信息包括多种资源对应的均衡性以及多种资源对应的预设权重，所述根据深度学习任务以及异构计算环境信息确定执行延迟以及资源均衡性，包括：

5.根据权利要求1所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述采用基于深度强化学习的任务调度算法根据所述任务调度模型对所述深度学习任务进行调度，包括：

6.根据权利要求5所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，动作空间包括调度动作，所述利用基于优先经验重放和重要性采样改进的演员-评论家网络根据所述状态空间、动作空间以及奖励函数对所述深度学习任务进行调度，包括：

7.根据权利要求6所述的面向异构计算资源的深度强化学习协同调度方法，其特征在于，所述演员-评论家网络包括策略网络以及价值网络，所述利用优先经验重放和重要性采样技术根据奖...

【专利技术属性】
技术研发人员：刘卫卫，王岳，许晨曦，郑敏，黄远平，申屠磊璇，
申请(专利权)人：国网智能电网研究院有限公司，
类型：发明
国别省市：