一种基于K8s的资源调度方法、装置和存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于K8s的资源调度方法、装置和计算机可读存储介质，根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分。统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；选取出综合得分满足预设要求的目标候选节点执行存储任务。调度得分越高，说明候选节点上分配的worker任务越多，将存储任务分配到该候选节点时，可以有效的减少节点间的交互。通过综合考虑候选节点的业务性能以及worker任务与存储任务之间的通讯代价，能够让存储任务和worker任务的调度更加合理，从而加速任务的处理。

A resource scheduling method, device and storage medium based on k8s

【技术实现步骤摘要】
一种基于K8s的资源调度方法、装置和存储介质
本专利技术涉及分布式任务
，特别是涉及一种基于K8s的资源调度方法、装置和计算机可读存储介质。
技术介绍
在Parameterserver架构(PS架构)中，集群中的节点所执行的任务被分为两类：parameterserver和worker。其中parameterserver简称ps，负责存放模型的参数，而worker负责计算参数的梯度。在每个迭代过程，worker从parametersever中获得参数，然后将计算的梯度返回给parameterserver，parameterserver聚合从worker传回的梯度，然后更新参数，并将新的参数广播给worker。Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，简称K8s，是用8代替8个字符“ubernete”而成的缩写。在现在的深度学习任务多采用容器化的方式进行执行，K8s在管理容器方面具有优势。在K8s环境下集群系统会根据任务的需求选取合适的节点执行parameterserver和worker任务。满足任务需求的节点往往有多个，会导致parameterserver和worker分布在不同的节点，节点间的通讯开销比较大，会影响分布式任务的执行效率。可见，如何提升分布式任务的执行效率，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种基于K8s的资源调度方法、装置和计算机可读存储介质，可以提升分布式任务的执行效率。r>为解决上述技术问题，本专利技术实施例提供一种基于K8s的资源调度方法，包括：根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分；统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；选取出综合得分满足预设要求的目标候选节点执行存储任务。可选地，所述根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分包括：从集群系统的所有节点中筛选出满足节点性能要求的候选节点；根据各候选节点的可用资源、已分配的实例个数以及worker任务所需的申请资源，计算出各候选节点对应的worker初始得分，以便于根据所述worker初始得分选取出执行worker任务的候选节点；根据各候选节点的可用资源、已分配的实例个数以及存储任务所需的申请资源，计算出各候选节点对应的存储初始得分；相应的，所述依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分包括：依据每个候选节点的存储初始得分以及调度得分，得到每个候选节点的综合得分。可选地，在所述计算出各候选节点对应的worker初始得分之后还包括：每向候选节点分配一个worker任务，则将所述候选节点对应的计数器加一；其中，每个候选节点有其对应的一个计数器，用于记录候选节点所分配的worker任务数。可选地，所述统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分包括：遍历所有候选节点的计数器，以获取每个候选节点的worker任务数并统计出集群系统的worker任务总数；计算每个候选节点的worker任务数与worker任务总数的比值，并将所述比值与预设权值的乘积作为候选节点的调度得分。可选地，所述依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分包括：将每个候选节点的初始得分以及调度得分的累加和作为候选节点的综合得分。可选地，所述选取出综合得分满足预设要求的目标候选节点执行存储任务包括：选取出综合得分最高的一个候选节点作为目标候选节点执行存储任务。本专利技术实施例还提供了一种基于K8s的资源调度装置，包括评分单元、统计单元、得到单元和选取单元；所述评分单元，用于根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分；所述统计单元，用于统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；所述得到单元，用于依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；所述选取单元，用于选取出综合得分满足预设要求的目标候选节点执行存储任务。可选地，所述评分包括筛选子单元、第一计算子单元和第二计算子单元；所述筛选子单元，用于从集群系统的所有节点中筛选出满足节点性能要求的候选节点；所述第一计算子单元，用于根据各候选节点的可用资源、已分配的实例个数以及worker任务所需的申请资源，计算出各候选节点对应的worker初始得分，以便于根据所述worker初始得分选取出执行worker任务的候选节点；所述第二计算子单元，用于根据各候选节点的可用资源、已分配的实例个数以及存储任务所需的申请资源，计算出各候选节点对应的存储初始得分；相应的，所述得到单元具体用于依据每个候选节点的存储初始得分以及调度得分，得到每个候选节点的综合得分。可选地，还包括计数单元；所述计数单元，用于每向候选节点分配一个worker任务，则将所述候选节点对应的计数器加一；其中，每个候选节点有其对应的一个计数器，用于记录候选节点所分配的worker任务数。可选地，所述统计单元包括遍历子单元和计算子单元；所述遍历子单元，用于遍历所有候选节点的计数器，以获取每个候选节点的worker任务数并统计出集群系统的worker任务总数；所述计算子单元，用于计算每个候选节点的worker任务数与worker任务总数的比值，并将所述比值与预设权值的乘积作为候选节点的调度得分。可选地，所述得到单元具体用于将每个候选节点的初始得分以及调度得分的累加和作为候选节点的综合得分。可选地，所述选取单元具体用于选取出综合得分最高的一个候选节点作为目标候选节点执行存储任务。本专利技术实施例还提供了一种基于K8s的资源调度装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述任意一项所述基于K8s的资源调度方法的步骤。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于K8s的资源调度方法的步骤。由上述技术方案可以看出，根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分；初始得分反映了各候选节点的业务性能。初始得分越高，说明候选节点的业务性能越好。统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；依据每个候选节点的初始得分以及本文档来自技高网...

【技术保护点】
1.一种基于K8s的资源调度方法，其特征在于，包括：/n根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分；/n统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；/n依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；/n选取出综合得分满足预设要求的目标候选节点执行存储任务。/n

【技术特征摘要】
1.一种基于K8s的资源调度方法，其特征在于，包括：
根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分；
统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；
依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；
选取出综合得分满足预设要求的目标候选节点执行存储任务。


2.根据权利要求1所述的方法，其特征在于，所述根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分包括：
从集群系统的所有节点中筛选出满足节点性能要求的候选节点；
根据各候选节点的可用资源、已分配的实例个数以及worker任务所需的申请资源，计算出各候选节点对应的worker初始得分，以便于根据所述worker初始得分选取出执行worker任务的候选节点；
根据各候选节点的可用资源、已分配的实例个数以及存储任务所需的申请资源，计算出各候选节点对应的存储初始得分；
相应的，所述依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分包括：
依据每个候选节点的存储初始得分以及调度得分，得到每个候选节点的综合得分。


3.根据权利要求2所述的方法，其特征在于，在所述计算出各候选节点对应的worker初始得分之后还包括：
每向候选节点分配一个worker任务，则将所述候选节点对应的计数器加一；其中，每个候选节点有其对应的一个计数器，用于记录候选节点所分配的worker任务数。


4.根据权利要求3所述的方法，其特征在于，所述统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分包括：
遍历所有候选节点的计数器，以获取每个候选节点的worker任务数并统计出集群系统的worker任务总数；
计算每个候选节点的worker任务数与worker任务总数的比值，并将所述比值与预设权值的乘积作为候选节点的调度得分。


5.根据权利要求4所述的方法，其特征在于，所述依据每个候选节点的初始得分以及调度得分，得到...

【专利技术属性】
技术研发人员：李铭琨，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44