【技术实现步骤摘要】
弹性任务调度方法、装置、设备及计算机可读存储介质
本公开实施例涉及互联网
，尤其涉及弹性任务调度方法、装置、设备及计算机可读存储介质。
技术介绍
在互联网领域，用户会向诸如大数据分布式内存计算平台之类的平台提供大量计算任务，但这些任务的资源需求相差巨大。大任务计算耗时可以达到小时、天级别，小任务可能只需要几分钟。如果大任务在执行过程中独占资源，那么小任务就必须要等待。因此，小任务的响应时间难以得到保证，另一方面资源的利用效率也不高。
技术实现思路
有鉴于此，本公开第一方面提供了一种弹性任务调度方法，包括：响应于接收到的任务控制请求，将目标任务放入队列并检查队列中的任务；取出队列中的任务，读取所述任务所需的资源数值，并发出资源申请请求；响应于所述资源申请请求，在资源池中检索是否存在空闲资源；当检索出资源池中存在空闲资源时，根据所述资源申请请求中记载的任务所需的资源数值分配空闲资源，其中，根据所述任务所需的资源数值对资源进行分片，建立资源分片与代理实例的关联关系，所述代理实例与资源实例一对一映射。本公开第二方面提供了一种弹性任务调度装置，包括：任务调度模块，被配置为...
【技术保护点】
1.一种弹性任务调度方法，其特征在于，包括：响应于接收到的任务控制请求，将目标任务放入队列并检查队列中的任务；取出队列中的任务，读取所述任务所需的资源数值，并发出资源申请请求；响应于所述资源申请请求，在资源池中检索是否存在空闲资源；当检索出资源池中存在空闲资源时，根据所述资源申请请求中记载的任务所需的资源数值分配空闲资源，其中，根据所述任务所需的资源数值对资源进行分片，建立资源分片与代理实例的关联关系，所述代理实例与资源实例一对一映射。
【技术特征摘要】
1.一种弹性任务调度方法，其特征在于，包括：响应于接收到的任务控制请求，将目标任务放入队列并检查队列中的任务；取出队列中的任务，读取所述任务所需的资源数值，并发出资源申请请求；响应于所述资源申请请求，在资源池中检索是否存在空闲资源；当检索出资源池中存在空闲资源时，根据所述资源申请请求中记载的任务所需的资源数值分配空闲资源，其中，根据所述任务所需的资源数值对资源进行分片，建立资源分片与代理实例的关联关系，所述代理实例与资源实例一对一映射。2.根据权利要求1所述的方法，其特征在于，还包括：当检索出资源池中不存在空闲资源时，获取一个代理实例，并对所述代理实例所关联的资源虚拟数值化，针对所述任务所需的资源数值分配空闲资源，其中，空闲资源属于所述代理实例所关联的资源，所述代理实例与资源实例一对一映射。3.根据权利要求1所述的方法，其特征在于，所述当检索出资源池中存在空闲资源时，根据所述资源申请请求中记载的任务所需的资源数值分配空闲资源，其中，根据所述任务所需的资源数值对资源进行分片，建立资源分片与代理实例的关联关系，所述代理实例与资源实例一对一映射，包括：在资源池中检索空闲度最低且满足资源申请请求中记载的任务所需的资源数值的代理实例。4.根据权利要求1或2所述的方法，其特征在于，还包括：在针对所述任务所需的资源数值分配空闲资源后，响应于作业的提交向服务集群申请实际资源。5.根据权利要求4所述的方法，其特征在于，所述在针对所述任务所需的资源数值分配空闲资源后，响应于作业的提交向服务集群申请实际资源，包括：根据租户配置，对实际资源进行分组隔离，其中，可以将不同类型的任务提交到对应的资源实例，以根据业务属性进行资源隔离。6.根据权利要求4所述的方法，其特征在于，还包括：在释放资源时，根据所要释放的资源的标识找到与所要释放的资源关联的代理实例，以将所要释放的资源恢复为空闲资源。7.根据权利要求1所述的方法，其特征在于，在响应于接收到的任务控制请求，将目标任务放入队列并检查队列中的任务之前，还包括：对任务控制请求进行随机分发，以避免任务被集中于特定设备。8.根据权利要求1所述的方法，其特征在于，所述资源是Spark资源。9.一种弹性任务调度装置，其特征在于，包括：任务调度模块，被配置为响应于接收到的任务控制请求，将目标任务放入队列并...
【专利技术属性】
技术研发人员：郭真林，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。