一种基于强化学习策略的多目标云工作流调度方法技术

本发明专利技术公开了一种基于强化学习策略的多目标云工作流调度方法，通过利用指针网络对强化学习Agent进行改进形成改进后的深度强化学习算法构建基于强化学习策略的工作流调度模型，使得工作流调度模型能适用于不同大小、不同类型的云工作流调度问题，在保证较高时效性的同时，提升模型的泛化能力。

A multi-objective cloud workflow scheduling method based on reinforcement learning strategy

【技术实现步骤摘要】
一种基于强化学习策略的多目标云工作流调度方法
本专利技术属于云计算
，具体涉及一种基于强化学习策略的多目标云工作流调度方法。
技术介绍
近年来，越来越多的科学家使用工作流来构建他们的复杂应用并部署在云平台上执行。云计算是一种最新的分布式系统计算范例，其按使用付费与弹性资源模式为大规模科学工作流的快速、分布式高效执行提供了易于访问、灵活、可扩展的基础设施与部署环境，但这也给云环境下的工作流调度带来了很多挑战。一方面，其弹性资源模式使得调度求解空间大大增加。另一方面，云的按使用付费使得工作流调度需要同时考虑工作流执行时间与成本等，是一个典型的多目标优化问题，进一步增加了调度问题的难度。目前，多目标优化问题的求解主要采用启发式、元启发式或二者的混合的算法。启发式算法，首先采用一定的规则计算任务的优先级，然后根据优先级依次进行工作流任务调度。但是，启发式算法依赖于规则，对复杂调度问题很难找到最优解，且泛化能力不足。与启发式算法相比，元启发式算法的泛化能力有了很大改善，但通常需要进行很多次的迭代更新才能找到近似最优解。当问题规模变大时，算法寻优所需本文档来自技高网...

【技术保护点】
1.一种基于强化学习策略的多目标云工作流调度方法，其特征在于，包括以下步骤：/n步骤1、采用强化学习算法(A3C)建立基于强化学习的工作流调度模型，所述基于强化学习的工作流调度模型包含时间优化子Agent和成本优化子Agent，所述时间优化子Agent和成本优化子Agent统称为子Agent，所述子Agent的策略模型的网络结构为以循环神经网络作为隐含层的指针网络；/n步骤2、计算资源池中的资源执行所述待调度云工作流中入口任务的时间优化目标值及成本优化目标值，所述时间优化目标值及成本优化目标值作为强化学习算法中的状态；/n步骤3、所述时间优化子Agent和成本优化子Agent分别以时间相关和成...

【技术特征摘要】
1.一种基于强化学习策略的多目标云工作流调度方法，其特征在于，包括以下步骤：
步骤1、采用强化学习算法(A3C)建立基于强化学习的工作流调度模型，所述基于强化学习的工作流调度模型包含时间优化子Agent和成本优化子Agent，所述时间优化子Agent和成本优化子Agent统称为子Agent，所述子Agent的策略模型的网络结构为以循环神经网络作为隐含层的指针网络；
步骤2、计算资源池中的资源执行所述待调度云工作流中入口任务的时间优化目标值及成本优化目标值，所述时间优化目标值及成本优化目标值作为强化学习算法中的状态；
步骤3、所述时间优化子Agent和成本优化子Agent分别以时间相关和成本相关的所述状态作为输入，对云工作流执行一次调度生成训练样本集，采用所述训练样本集完成时间优化子Agent和成本优化子Agent的训练；
步骤4、调度应用时，将由所述步骤2计算得到的待调度工...

【专利技术属性】
技术研发人员：王彬阳，李慧芳，袁艳，邹伟东，柴森春，夏元清，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11