【技术实现步骤摘要】
智能体训练方法、跨域异构环境任务调度方法及相关装置
[0001]本申请涉及异构网络环境下的任务调度
，尤其涉及智能体训练方法、跨域异构环境任务调度方法及相关装置。
技术介绍
[0002]随着国际科研合作的日益密切，在国际跨自治域的异构网络环境下的任务调度问题逐渐成为研究的热点。跨域异构环境中的任务存在非常明显的动态性，一是任务调度算法要能够同时处理低负载和高负载两种任务负载场景；二是待调度的任务类型也存在多样性，既有计算密集型的科研计算任务，也有IO密集型的数据传输任务。同时在国际跨域异构的网络环境中，存在大量的计算资源和存储资源，这些资源如果不能被充分利用，则会造成巨大的资源浪费。所以研究如何充分利用这些资源从而进行高效的任务调度是十分有必要的。
[0003]常见的任务调度算法大致分为五类：第一类是传统任务调度算法，如先来先服务算法、短作业优先算法和轮询算法等；第二类是元启发式任务调度算法，如基于蚁群的任务调度算法、基于遗传算法的任务调度算法等；第三类是基于传统机器学习的任务调度算法，如基于逻辑回归的任务调度...
【技术保护点】
【技术特征摘要】
1.一种智能体训练方法，其特征在于，包括：获取用于模拟真实的跨域异构环境中任务负载的预训练数据；根据预训练数据对预设的深度强化学习智能体进行训练，以使得该深度强化学习智能体用于对针对所述跨域异构环境进行任务调度，其中，所述深度强化学习智能体预先基于D3QN模型和所述跨域异构环境的任务调度问题对应的马尔可夫决策过程构建而得。2.根据权利要求1所述的智能体训练方法，其特征在于，在所述根据预训练数据对预设的深度强化学习智能体进行训练之前，还包括：将所述跨域异构环境中的任务调度问题建模为马尔可夫决策过程，并设计对应的状态空间、动作空间及奖励函数，以形成该马尔可夫决策过程的四元组，其中，所述四元组用于记录当前状态、动作、奖励和下一个状态；其中，所述奖励函数基于在所述跨域异构环境中进行任务调度的性能评价指标构建而得。3.根据权利要求1所述的智能体训练方法，其特征在于，在所述根据预训练数据对预设的深度强化学习智能体进行训练之前，还包括：基于双Q学习算法和竞争网络结构对深度Q网络DQN进行优化，以得到D3QN模型；其中，所述D3QN模型包括四组全连接层，其中的第一组全连接层与第二组全连接层连接，并均用于处理输入的状态；所述第二组全连接层还分别连接第三组全连接层和第四组全连接层，所述第三组全连接层用于计算价值函数部分，所述第四组全连接层用于计算优势函数部分，所述第三组全连接层和所述第四组全连接层的计算结果之和产生对应的Q值。4.根据权利要求1至3任一项所述的智能体训练方法，其特征在于，所述深度强化学习智能体，包括：动作决策单元、分别与该动作决策单元连接的回报计算单元、参数更新单元和辅助负载均衡单元；所述动作决策单元用于根据所述预训练数据进行模型训练；所述回报计算单元用于根据所述动作决策单元输出的动作计算对应的奖励值，并将该奖励值存储至预设的经验回放池；所述参数更新单元用于根据所述经验回放池进行所述D3QN模型的参数更新；所述辅助负载均衡单元用于根据辅助负载均衡方法对所述动作决策单元输出的动作进行辅助负载均衡，其中，所述辅助负载均衡方法包括：基于阶梯负载均衡因子的辅助负载均衡方法，或者，基于任务亲和度的辅助负载均衡方法。5.一种跨域异构环境任务调度方法，其特征在于，包括：接收针对跨域异构环境的任务调取请求；根据所述任务调取请求对应的目标任务的任务信息及当前所述跨域异构环境的负载信息，生成所述目标任务的马尔可夫决策过程的状态表示；将所述...
【专利技术属性】
技术研发人员：孙昌勇，杨谈，王延巍，杜炯，郑永伯，
申请(专利权)人：中科链安北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。