本发明专利技术公开了一种业务资源调度方法、装置、电子设备及存储介质，用于解决现有的业务资源调度方法资源利用率低、且业务调度效率低的技术问题。本发明专利技术包括：获取各所述任务的调度编排信息；采用所述调度编排信息生成业务时序图；基于所述业务时序图对各所述业务进行亲和性聚合，得到聚合分群；获取所述聚合分群的最低资源需求量和执行起止时间；采用所述最低资源需求量、所述执行起止时间和预设节点资源上限，确定机器节点租赁需求和节点任务分配信息；基于所述节点租赁需求获取机器节点，并按照所述节点任务分配信息将各所述任务分配至所述机器节点进行资源调度。所述机器节点进行资源调度。所述机器节点进行资源调度。
【技术实现步骤摘要】
一种业务资源调度方法、装置、电子设备及存储介质
[0001]本专利技术涉及资源调度
，尤其涉及一种业务资源调度方法、装置、电子设备及存储介质。
技术介绍
[0002]随着云计算的崛起，资源按需动态伸缩已经成为常态。如何更加高效地实现自动伸缩服务，从而避免资源过度浪费，成为研究重点。目前开源社区基于Kubernetes方案提供了三种自动伸缩的解决方案：Pod水平自动伸缩(Horizontal Pod Autoscaler，HPA)、Pod垂直自动伸缩(Vertical Pod Autoscaler，VPA)和集群自动伸缩(Cluster Autoscaler，CA)。而在开源社区方案的基础上，引入了任务队列的机制对上述的方案进行改良，基于任务队列，能够将集群进行逻辑分组，方便对用户进行项目制管理。一方面能够对不同项目配置不同限额的计算资源，另一方面能够将不同类型的业务分到不同的任务队列中进行管理。对业务和计算资源进行更加精细化的管理。
[0003]然而，即使云计算拥有着良好的弹性能力，但弹性能力依旧会受制约于现实的物理规律，同时弹性伸缩需要依靠数据的收集和分析，默认地，开源社区只能被动地每10秒抓取一次Pod的CPU和内存使用情况。每分钟进行一次汇总分析(抓取和汇总分析频率过高也会造成资源浪费)。若新节点创建过多，会导致资源浪费。而在新节点上创建新的新Pod所需的时间共有四个主要因素决定：HPA的反应时间、CA的反应时间、Node节点的反应时间以及Pod创建的时间。在业务执行过程中创建新节点，则会导致时延，影响业务效率。
技术实现思路
[0004]本专利技术提供了一种业务资源调度方法、装置、电子设备及存储介质，用于解决现有的业务资源调度方法资源利用率低、且业务调度效率低的技术问题。
[0005]本专利技术提供了一种业务资源调度方法，所述业务包括若干任务；所述方法包括：
[0006]获取各所述任务的调度编排信息；
[0007]采用所述调度编排信息生成业务时序图；
[0008]基于所述业务时序图对各所述业务进行亲和性聚合，得到聚合分群；
[0009]获取所述聚合分群的最低资源需求量和执行起止时间；
[0010]采用所述最低资源需求量、所述执行起止时间和预设节点资源上限，确定机器节点租赁需求和节点任务分配信息；
[0011]基于所述节点租赁需求获取机器节点，并按照所述节点任务分配信息将各所述任务分配至所述机器节点进行资源调度。
[0012]可选地，所述采用所述调度编排信息生成业务时序图的步骤，包括：
[0013]采用所述调度编排信息生成执行资源需求图；
[0014]获取各所述执行资源需求图的任务起始时间；
[0015]根据所述任务起始时间和各所述执行资源需求图生成业务时序图。
[0016]可选地，所述采用所述调度编排信息生成执行资源需求图的步骤，包括：
[0017]从所述调度编排信息中获取各所述任务的资源需求信息；
[0018]获取各所述任务之间的依赖关系；
[0019]按照所述依赖关系将所有所述任务划分为多个任务组；
[0020]获取所述任务组内各任务的调度时长；
[0021]采用所述任务组内各任务的资源需求信息和调度时长生成执行资源需求图。
[0022]可选地，所述根据所述任务起始时间和各所述执行资源需求图生成业务时序图的步骤，包括：
[0023]根据所述执行资源需求图的任务起始时间、各所述任务的调度时长和所述依赖关系，计算各任务的调度时间；
[0024]根据所述业务的所有任务的调度时间，生成所述业务的业务时序图。
[0025]可选地，所述执行起止时间包括执行起始时间和执行终止时间；所述聚合分群包括若干个聚合任务；所述获取所述聚合分群的最低资源需求量和执行起止时间的步骤，包括：
[0026]根据各所述聚合任务的调度时长、调度时间计算各聚合任务的执行结束时间；
[0027]将所述聚合任务中时间最前的调度时间作为所述聚合分群的执行起始时间；
[0028]将所述聚合任务中时间最后的执行结束时间作为所述聚合分群的执行终止时间；
[0029]获取各所述聚合任务的资源需求下限值；
[0030]计算所述聚合分群所有所述聚合任务的资源需求下限值的加和，得到所述聚合分群的最低资源需求量。
[0031]可选地，所述机器节点租赁需求包括机器节点个数和机器节点租赁时长；所述采用所述最低资源需求量、所述执行起止时间和预设节点资源上限，确定机器节点租赁需求和节点任务分配信息的步骤，包括：
[0032]采用各所述聚合分群的最低资源需求量和预设节点资源上限确定各所述聚合分群所需的参与节点的个数；
[0033]根据各聚合分群的参与节点的个数和执行起止时间，对各所述聚合分群的参与节点进行拼接，生成若干个参与节点组合，并确定每个参与节点组合的时长；
[0034]将所述参与节点组合的个数确定为机器节点个数，将所述参与节点组合的时长确定为机器节点租赁时长；
[0035]依据每个所述参与节点组合中的任务确定节点任务分配信息。
[0036]本专利技术还提供了一种业务资源调度装置，所述业务包括若干任务；所述装置包括：
[0037]调度编排信息获取模块，用于获取各所述任务的调度编排信息；
[0038]业务时序图生成模块，用于采用所述调度编排信息生成业务时序图；
[0039]聚合模块，用于基于所述业务时序图对各所述业务进行亲和性聚合，得到聚合分群；
[0040]最低资源需求量和执行起止时间获取模块，用于获取所述聚合分群的最低资源需求量和执行起止时间；
[0041]机器节点租赁需求和节点任务分配信息确定模块，用于采用所述最低资源需求量、所述执行起止时间和预设节点资源上限，确定机器节点租赁需求和节点任务分配信息；
[0042]调度模块，用于基于所述节点租赁需求获取机器节点，并按照所述节点任务分配信息将各所述任务分配至所述机器节点进行资源调度。
[0043]可选地，所述业务时序图生成模块，包括：
[0044]执行资源需求图生成子模块，用于采用所述调度编排信息生成执行资源需求图；
[0045]任务起始时间获取子模块，用于获取各所述执行资源需求图的任务起始时间；
[0046]业务时序图生成子模块，用于根据所述任务起始时间和各所述执行资源需求图生成业务时序图。
[0047]本专利技术还提供了一种电子设备，所述设备包括处理器以及存储器：
[0048]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0049]所述处理器用于根据所述程序代码中的指令执行如上任一项所述的业务资源调度方法。
[0050]本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的业务资源调度方法。...
【技术保护点】
【技术特征摘要】
1.一种业务资源调度方法，其特征在于，所述业务包括若干任务；所述方法包括：获取各所述任务的调度编排信息；采用所述调度编排信息生成业务时序图；基于所述业务时序图对各所述业务进行亲和性聚合，得到聚合分群；获取所述聚合分群的最低资源需求量和执行起止时间；采用所述最低资源需求量、所述执行起止时间和预设节点资源上限，确定机器节点租赁需求和节点任务分配信息；基于所述节点租赁需求获取机器节点，并按照所述节点任务分配信息将各所述任务分配至所述机器节点进行资源调度。2.根据权利要求1所述的方法，其特征在于，所述采用所述调度编排信息生成业务时序图的步骤，包括：采用所述调度编排信息生成执行资源需求图；获取各所述执行资源需求图的任务起始时间；根据所述任务起始时间和各所述执行资源需求图生成业务时序图。3.根据权利要求1所述的方法，其特征在于，所述采用所述调度编排信息生成执行资源需求图的步骤，包括：从所述调度编排信息中获取各所述任务的资源需求信息；获取各所述任务之间的依赖关系；按照所述依赖关系将所有所述任务划分为多个任务组；获取所述任务组内各任务的调度时长；采用所述任务组内各任务的资源需求信息和调度时长生成执行资源需求图。4.根据权利要求3所述的方法，其特征在于，所述根据所述任务起始时间和各所述执行资源需求图生成业务时序图的步骤，包括：根据所述执行资源需求图的任务起始时间、各所述任务的调度时长和所述依赖关系，计算各任务的调度时间；根据所述业务的所有任务的调度时间，生成所述业务的业务时序图。5.根据权利要求4所述的方法，其特征在于，所述执行起止时间包括执行起始时间和执行终止时间；所述聚合分群包括若干个聚合任务；所述获取所述聚合分群的最低资源需求量和执行起止时间的步骤，包括：根据各所述聚合任务的调度时长、调度时间计算各聚合任务的执行结束时间；将所述聚合任务中时间最前的调度时间作为所述聚合分群的执行起始时间；将所述聚合任务中时间最后的执行结束时间作为所述聚合分群的执行终止时间；获取各所述聚合任务的资源需求下限值；计算所述聚合分群所有所述聚合任务的资源需求下限值的加和，得到所述聚合分群的最低资源需求量。6.根据权利要求1所述的方法，其特征在于，所述机器节点租赁需求包括机器...
【专利技术属性】
技术研发人员：许汝全，谭家良，韦明康，谢睿，
申请(专利权)人：广州趣研网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。