本公开关于一种集群资源调度方法、装置、服务器及存储介质，该方法包括：接收集群内服务器节点发送的当前超配资源，当前超配资源是服务器节点基于当前运行的正常作业的已使用资源和可分配总资源确定的，包括未分配资源和已分配但当前未被使用的资源，正常作业为基于分配资源在运行的作业；将作业执行参数值低于正常作业的未运行作业调度到服务器节点的当前超配资源中，以使得服务器节点使用当前超配资源运行未运行作业，作业执行参数值为与作业对应的执行顺序值。本公开可以将正常作业的申请资源中未被使用的资源得以充分利用，来运行作业执行参数值较低的作业，解决了作业的申请值和使用值不同造成的资源浪费的问题，提升了集群内的资源利用率。集群内的资源利用率。集群内的资源利用率。
【技术实现步骤摘要】
集群资源调度方法、装置、服务器及存储介质
[0001]本公开涉及资源调度
，尤其涉及一种集群资源调度方法、装置、服务器及存储介质。
技术介绍
[0002]相关技术中，分布式资源管理调度系统基本上是基于申请配额进行分配和管理。例如，hadoop生态的是基于机器的配置资源进行分配，为保障系统稳定性会预留资源给操作系统，配置资源会小于机器物理资源，资源分配严格按照集群所有机器的配置总量进行调配，因为作业执行过程中基本不会将申请资源用满，所以即使集群资源分配很满，也很难使机器利用率达到很高的水准，进而物理服务器资源不能得到充分的利用；k8s云生态资源管理系统提供了burstable(突发型)和besteffort(尽力型)资源进行相互填补，但是，仍然存在着因申请值较使用值相差较大造成的集群物理资源浪费的问题。
[0003]相关技术中根据申请配额进行资源的分配和管理，使用值往往达不到申请值，会造成逻辑资源紧张而物理机资源空闲的现象，进而浪费大量的物理服务器资源。
技术实现思路
[0004]本公开提供一种集群资源调度方法、装置、服务器及存储介质，以至少解决相关技术中因申请值与使用值不同造成物理资源浪费的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种集群资源调度方法，应用于集群中的调度中心服务器中，包括：
[0006]接收集群内服务器节点发送的当前超配资源，所述当前超配资源是服务器节点基于当前运行的正常作业的已使用资源和可分配总资源确定的，包括未分配资源和已分配但当前未被使用的资源，所述正常作业为基于分配资源在运行的作业；
[0007]将作业执行参数值低于所述正常作业的未运行作业调度到所述服务器节点的当前超配资源中，以使得所述服务器节点使用所述当前超配资源运行所述未运行作业，所述作业执行参数值为与作业对应的执行顺序的值。
[0008]可选的，还包括：
[0009]获取正常作业的历史资源使用数据；
[0010]根据所述历史资源使用数据，确定正常作业的消耗资源随时间的周期性变化规律；
[0011]根据所述周期性变化规律，周期性调整服务器节点的允许超配最大值。
[0012]根据本公开实施例的第二方面，提供一种集群资源调度方法，应用于集群内服务器节点中，包括：
[0013]获取当前运行的正常作业的已使用资源，所述正常作业为基于分配资源在运行的作业；
[0014]根据所述已使用资源和可分配总资源，确定当前超配资源，所述当前超配资源包
括未分配资源和已分配但当前未被使用的资源；
[0015]将所述当前超配资源发送给调度中心服务器，所述调度中心服务器用于将作业执行参数值低于所述正常作业的未运行作业调度到所述当前超配资源中，所述作业执行参数值为与作业对应的执行顺序的值；
[0016]接收所述调度中心服务器分配来的未运行作业，将所述未运行作业作为超配作业，并使用所述当前超配资源运行所述超配作业。
[0017]可选的，所述根据所述已使用资源和可分配总资源，确定当前超配资源，包括：
[0018]根据所述已使用资源和可分配总资源，确定超配系数；
[0019]确定预设时间内回收历史超配资源的次数，并根据所述次数确定超配衰减系数；
[0020]根据所述超配系数、允许超配最大值和所述超配衰减系数，确定当前超配资源。
[0021]可选的，所述可分配总资源还包括缓冲区；
[0022]所述根据所述已使用资源和可分配总资源，确定超配系数，包括：
[0023]若所述已使用资源不为0，则根据所述已使用资源、缓冲区和可分配总资源，确定超配系数；
[0024]若所述已使用资源为0，则确定超配系数为预设超配系数。
[0025]可选的，所述根据所述已使用资源、缓冲区和可分配总资源，确定超配系数，包括：
[0026]确定所述已使用资源和缓冲区之和与所述可分配总资源的比例，并将1与所述比例之差作为所述超配系数。
[0027]可选的，在所述使用所述当前超配资源运行所述超配作业之后，还包括：
[0028]若接收到所述正常作业的突发资源请求，则使用所述缓冲区处理所述突发资源请求。
[0029]可选的，在所述使用所述缓冲区处理所述突发资源请求时，还包括：
[0030]获取超配作业的运行时长，并按照所述运行时长从短到长的顺序，对所述超配作业进行排序；
[0031]根据超配作业的排序，依次回收超配作业使用的当前超配资源，直至回收的当前超配资源满足所述突发资源请求所请求的资源；
[0032]使用回收的当前超配资源处理突发资源请求，释放所述缓冲区。
[0033]可选的，所述根据所述次数确定超配衰减系数，包括：
[0034]根据所述次数，按照如下公式确定超配衰减系数：
[0035][0036]其中，β为超配衰减系数，n为预设时间内回收历史超配资源的次数，t为上次回收历史超配资源到当前时间的时长，α1为第一系数，α2为第二系数，第一系数大于第二系数。
[0037]可选的，所述获取当前运行的正常作业的已使用资源，包括：
[0038]获取正常作业的实际使用资源，并获取正常作业的申请资源配额；
[0039]将所述申请资源配额的预设比例与所述实际使用资源中的最大值，作为正常作业的已使用资源。
[0040]可选的，还包括：
[0041]设置所述正常作业的内存溢出分数，作为第一分数，并设置基于当前超配资源运
行的超配作业的内存溢出分数，作为第二分数，所述第二分数大于第一分数；
[0042]若发生内存溢出，则根据所述第一分数和第二分数停止运行超配作业并释放所述超配作业占用的当前超配资源。
[0043]根据本公开实施例的第三方面，提供一种集群资源调度装置，应用于集群中的调度中心服务器中，包括：
[0044]超配资源接收模块，被配置为接收集群内服务器节点发送的当前超配资源，所述当前超配资源是服务器节点基于当前运行的正常作业的已使用资源和可分配总资源确定的，包括未分配资源和已分配但当前未被使用的资源，所述正常作业为基于分配资源在运行的作业；
[0045]超配资源调度模块，被配置为将作业执行参数值低于所述正常作业的未运行作业调度到所述服务器节点的当前超配资源中，以使得所述服务器节点使用所述当前超配资源运行所述未运行作业，所述作业执行参数值为与作业对应的执行顺序的值。
[0046]可选的，所述集群资源调度装置还包括：
[0047]历史资源数据获取模块，被配置为获取正常作业的历史资源使用数据；
[0048]资源规律确定模块，被配置为根据所述历史资源使用数据，确定正常作业的消耗资源随时间的周期性变化规律；
[0049]允许超配值调整模块，被配置为根据所述周期性变化规律，周期性调整服务器节点的允许超配最大值。
[0050]根据本公开实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种集群资源调度方法，其特征在于，应用于集群中的调度中心服务器中，包括：接收集群内服务器节点发送的当前超配资源，所述当前超配资源是服务器节点基于当前运行的正常作业的已使用资源和可分配总资源确定的，包括未分配资源和已分配但当前未被使用的资源，所述正常作业为基于分配资源在运行的作业；将作业执行参数值低于所述正常作业的未运行作业调度到所述服务器节点的当前超配资源中，以使得所述服务器节点使用所述当前超配资源运行所述未运行作业，所述作业执行参数值为与作业对应的执行顺序的值。2.根据权利要求1所述的集群资源调度方法，其特征在于，还包括：获取正常作业的历史资源使用数据；根据所述历史资源使用数据，确定正常作业的消耗资源随时间的周期性变化规律；根据所述周期性变化规律，周期性调整服务器节点的允许超配最大值。3.一种集群资源调度方法，其特征在于，应用于集群内服务器节点中，包括：获取当前运行的正常作业的已使用资源，所述正常作业为基于分配资源在运行的作业；根据所述已使用资源和可分配总资源，确定当前超配资源，所述当前超配资源包括未分配资源和已分配但当前未被使用的资源；将所述当前超配资源发送给调度中心服务器，所述调度中心服务器用于将作业执行参数值低于所述正常作业的未运行作业调度到所述当前超配资源中，所述作业执行参数值为与作业对应的执行顺序的值；接收所述调度中心服务器分配来的未运行作业，将所述未运行作业作为超配作业，并使用所述当前超配资源运行所述超配作业。4.根据权利要求3所述的集群资源调度方法，其特征在于，所述根据所述已使用资源和可分配总资源，确定当前超配资源，包括：根据所述已使用资源和可分配总资源，确定超配系数；确定预设时间内回收历史超配资源的次数，并根据所述次数确定超配衰减系数；根据所述超配系数、允许超配最大值和所述超配衰减系数，确定当前超配资源。5.根据权利要求4所述的集群资源调度方法，其特征在于，所述可分配总资源还包括缓冲区；所述根据所述已使用资源和可分配总资源，确定超配系数，包括：若所述已使用资源不为0，则根据所述已使用资源、缓冲区和可分配总资源，确定超配系数；若所述已使用资源为0，则确定超配系数为...
【专利技术属性】
技术研发人员：苏国东，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。