当前位置: 首页 > 专利查询>之江实验室专利>正文

一种多计算中心场景下的任务调度器、调度方法及装置制造方法及图纸

技术编号:34645978 阅读:18 留言:0更新日期:2022-08-24 15:22
本发明专利技术公开了一种多计算中心场景下的任务调度器、调度方法及装置,通过感知计算中心当前和未来的资源使用情况,可以根据计算中心当前与未来一定时间内的资源占用情况,为提交到调度器的带截止日期的任务分配合适的计算中心,提前将用户计算任务下发到计算中心内;并在计算中心启动用户计算任务前,利用计算中心内专用硬件设备提前进行数据传输,将用户计算任务所依赖的数据提前下载至本计算中心内部的存储设备中,用户任务数据准备阶段无需依赖于计算中心宝贵的算力资源,从而实现计算资源和网络资源的灵活分配。本发明专利技术充分利用计算中心有限资源,实现方法简便,计算中心资源的使用率可以得到进一步的提升,且与具体计算任务无关。务无关。务无关。

【技术实现步骤摘要】
一种多计算中心场景下的任务调度器、调度方法及装置


[0001]本专利技术涉及计算机
,尤其是涉及一种多计算中心场景下的任务调度器、调度方法及装置。

技术介绍

[0002]随着互联网的不断发展,用户可以通过使用远程算力的方式,完成自己的计算任务。这样,用户只需要在本地拥有一个计算能力较弱的计算机,即可使用不断更新换代的新硬件,快速完成自身的任务。对计算资源的提供方而言,随着用户任务的不断增加,其可靠性变得至关重要,故当前提供方通常采用多中心架构,避免因单点失效导致系统不可用,从而影响到用户任务的完成。因此,计算资源的提供方在接收到用户计算任务之后,若用户未指定使用哪个计算中心的情况下,会根据实际情况,在多个中心内找到一个适合的计算中心,来满足用户计算任务的需求。
[0003]虽然供应商的调度算法能够根据用户计算任务的需求和当前计算中心的状态,找到一个合适的计算中心为用户提供服务,但当计算中心较为繁忙时,计算任务一般会等待较长的时间才能被执行。在此之前,用户无法确定计算任务是否能够被计算中心成功完成。
[0004]如图4所示,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多计算中心场景下的任务调度器,包括状态信息维护模块、计算中心匹配模块、计算任务分配模块、结果反馈模块,其特征在于:所述状态信息维护模块,用于接收和维护各计算中心上报的状态信息;所述计算中心匹配模块,包括计算任务匹配模块和传输条件匹配模块,计算任务匹配模块用于获取用户的计算任务请求,并根据计算任务请求和所述状态信息,得到满足计算任务的计算中心;传输条件匹配模块根据计算任务对应的数据文件到计算中心的带宽信息,从所述满足计算任务的计算中心中,确定满足传输条件的计算中心,最终得到满足调度需求的计算中心;所述计算任务分配模块,用于向满足调度需求的计算中心分配用户的计算任务请求,以使满足调度需求的计算中心接收计算任务请求,更新本计算中心状态信息,根据计算任务对应的数据信息进行数据准备,然后执行计算任务,得到执行结果;所述结果反馈模块,用于向用户反馈调度结果。2.根据权利要求1所述的一种多计算中心场景下的任务调度器,其特征在于:所述状态信息包括计算中心各类资源的规格、当前资源使用情况及未来使用情况,所述计算任务请求包括计算任务、计算任务完成的截止日期,所述计算任务匹配模块包括计算资源和时间生成单元、计算中心筛选单元;所述计算资源和时间生成单元,根据计算任务、通过状态信息得到的计算中心的算力和历史数据,估算计算任务在计算中心所占用的计算资源和计算时间;所述计算中心筛选单元,根据所述状态信息、计算资源、计算时间、计算任务完成的截止日期,对满足计算任务的计算中心进行筛选。3.根据权利要求2所述的一种多计算中心场景下的任务调度器,其特征在于:所述状态信息还包括已存储的数据文件列表、计算任务完成的截止日期,所述计算任务请求还包括数据文件的获取方式,所述传输条件匹配模块包括迁移时间确定单元、传输条件过滤单元;所述迁移时间确定单元,根据用户计算任务所需的数据文件列表、数据文件到各计算中心的历史平均带宽、数据文件的获取方式,确定迁移时间;所述传输条件过滤单元,将当前时间与迁移时间之和小于等于最晚启动时间的计算中心,作为满足传输条件的计算中心,所述最晚启动时间为计算任务完成的截止日期与计算时间之差,最晚启动时间大于等于最早启动时间的计算中心,所述最早启动时间是计算资源准备好的时间。4.根据权利要求3所述的一种多计算中心场景下的任务调度器,其特征在于:所述迁移时间的计算如下:其中,表示满足计算任务的计算中心,表示数据文件的大小,表示从数据文件所在位置传输到计算中心的历史平均带宽,若数据文件在本中心,则迁移代价为0,用户计算任务全部数据文件传输完毕所需要的时间表示为:
n表示数据文件的数量。5.根据权利要求3所述的一种多计算中心场景下的任务调度器,其特征在于:所述计算任务请求还包括用户对计算任务的调度倾向,根据用户对计算任务的调度倾向,从满足调度需求的计算中心中,选取最符合调度倾向的计算中心。6.根据权利要求5所述的一种多计算中心场景下的任务调度器,其特征在于:所述用户对计算任务的调度倾向包括效率优先和/或费用最低;所述效率优先,是选取能够最早完成...

【专利技术属性】
技术研发人员:王晓江秦亦方启明余冬冬
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1