一种集群节点选择调度方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种集群节点选择调度方法、装置、电子设备和存储介质，涉及计算机系统及存储技术领域；包括：从集群平台中获取节点数据；依据节点数据，构建节点调度拓扑图，和依据节点数据，确定节点任务流量指标；依据节点调度拓扑图构建更新虚拟集群拓扑视图，更新虚拟集群拓扑视图包括多个区域，每个区域对应有节点列表；响应于集群并发的作业请求，依据节点任务流量指标从虚拟集群拓扑视图确定目标区域；顺序读取目标区域的节点列表中的节点，确定目标节点，并基于目标节点对作业请求进行响应；本发明专利技术实施例可以在大规模集群场景下进行快速高效调度处理，满足多业务场景下的产品需求目标。产品需求目标。产品需求目标。

【技术实现步骤摘要】
一种集群节点选择调度方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机系统及存储
，特别是涉及一种集群节点选择调度方法、一种集群节点选择调度装置、一种电子设备和一种存储介质。

技术介绍

[0002]目前，在大规模集群场景下的调度策略方法，要么只考虑大量提交待调度作业的优选算法；要么考虑了大规模集群节点因素，但只是简单处理：这些候选节点是随机截取的，此时，调度算法从这些节点中选择出的“最佳”节点，只是局部最优，不是全局最优。而较少考虑大规模集群节点的资源和环境特性。然而遍历全部节点，导致单个作业调度过程延时较长，调度性能下降；仅考虑随机选择部分节点进行调度，会导致调度策略出现搜索范围偏差，不能选择最佳节点。可见，对大规模集群节点场景支持并不完善，调度性能受影响较大。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种集群节点选择调度方法、一种集群节点选择调度装置、一种电子设备和一种存储介质。
[0004]为了解决上述问题，在本专利技术的第一个方面，本专利技术实施例公开了一种集群节点选择调度方法，所述集群部署于集群平台，包括：从所述集群平台中获取节点数据；依据所述节点数据，构建节点调度拓扑图，和依据所述节点数据，确定节点任务流量指标；依据所述节点调度拓扑图构建更新虚拟集群拓扑视图，所述更新虚拟集群拓扑视图包括多个区域，每个区域对应有节点列表；响应于所述集群并发的作业请求，依据所述节点任务流量指标从所述虚拟集群拓扑视图确定目标区域；顺序读取所述目标区域的节点列表中的节点，确定目标节点，并基于所述目标节点对所述作业请求进行响应。
[0005]可选地，所述方法还包括：响应于所述目标区域的节点资源剩余数小于所述作业请求的资源需求数，将所述作业请求调度至其他区域，所述其他区域为所述多个区域中所述目标区域之外的区域；采用所述其他区域作为所述目标区域，执行所述顺序读取所述目标区域的节点列表中的节点，确定目标节点，并基于所述目标节点对所述作业请求进行响应的步骤。
[0006]可选地，所述依据所述节点数据，构建节点调度拓扑图的步骤包括：依据所述节点数据确定节点拓扑配置数据，所述节点拓扑配置数据包括节点拓扑层级结构；
依据所述节点拓扑层级结构构建节点物理拓扑结构图；对所述节点物理拓扑结构图进行过滤，生成所述节点调度拓扑图。
[0007]可选地，所述依据所述节点数据确定节点拓扑配置数据的步骤包括：基于所述节点数据确定节点拓扑类型，所述节点拓扑类型对应有节点拓扑层级标识；基于所述节点数据确定节点拓扑距离；将所述节点拓扑类型和所述节点拓扑距离结合，确定所述节点拓扑配置数据。
[0008]可选地，所述对所述节点物理拓扑结构图进行过滤，生成所述节点调度拓扑图的步骤包括：提取所述节点物理拓扑结构图中的可用可调度节点；基于所述可用可调度节点，构建所述节点调度拓扑图。
[0009]可选地，所述节点数据包括多业务维度信息，所述依据所述节点数据，确定节点任务流量指标的步骤包括：计算所述多业务维度信息加权和值，将所述加权和值进行归一化，确定所述节点任务流量指标。
[0010]可选地，所述多业务维度信息包括：节点当前作业运行网络流量、作业数量、数据集和镜像缓存状态，所述节点任务流量指标包括业务负载，所述计算所述多业务维度信息加权和值，将所述加权和值进行归一化，确定所述节点任务流量指标的步骤包括：计算所述节点当前作业运行网络流量、所述作业数量、所述数据集和所述镜像缓存状态的加权和值，将所述加权和值进行归一化，确定所述节点业务负载。
[0011]可选地，所述方法还包括：基于所述节点类型和所述节点任务流量指标，确定节点间业务亲和性。
[0012]可选地，所述方法还包括：对所述作业请求的多维资源向量值，进行编码处理。
[0013]可选地，所述对所述作业请求的多维资源向量值，进行编码处理的步骤包括：针对所述多维资源向量值中的任一维度的资源向量特征值进行数值编码；按维度前后，将所述数值编码进行组合，生成第一总特征数值。
[0014]可选地，所述方法还包括：对所述虚拟集群拓扑视图的节点对应的资源，进行编码映射，生成节点资源特征值。
[0015]可选地，所述方法还包括：对所述虚拟集群拓扑视图的节点对应的多维特征，进行编码映射，生成第二总特征数值。
[0016]可选地，所述响应于所述集群并发的作业请求，依据所述节点任务流量指标从所述虚拟集群拓扑视图确定目标区域的步骤包括：对所述虚拟集群拓扑视图中的节点进行动态规划，生成所述区域；基于所述资源特征值和所述节点业务负载，对所述区域的节点列表进行排序，生成区域节点有序列；基于所述作业请求，对所述区域进行关联，确定所述目标区域。
[0017]可选地，所述对所述虚拟集群拓扑视图中的节点进行动态规划，生成所述区域的步骤包括：确定初始区域，基于所述初始区域中的节点与所述初始区域的区域得分；依据所述区域得分确定中心节点；基于所述中心节点，生成所述区域。
[0018]可选地，所述初始区域中的节点对应有位置亲和性和业务亲和性，所述基于所述初始区域中的节点与所述初始区域的区域得分的步骤包括：计算所述位置亲和性和所述业务亲和性的加权和值；计算所述加权和值与所述业务负载的比值；确定所述比值为所述区域得分。
[0019]可选地，所述基于所述作业请求，对所述区域进行关联，确定所述目标区域的步骤包括：基于作业请求的作业类型，对所述区域进行关联，确定所述目标区域可选地，所述顺序读取所述目标区域的节点列表中的节点，确定目标节点的步骤包括：按照所述顺序，逐一读取所述区域节点有序列中的节点；当所述节点对应的资源满足所述作业请求时，确定所述节点为目标节点。
[0020]在本专利技术的第二个方面，本专利技术实施例公开了一种集群节点选择调度装置，所述集群部署于集群平台，包括：第一获取模块，用于从所述集群平台中获取节点数据；第一构建模块，用于依据所述节点数据，构建节点调度拓扑图，和依据所述节点数据，确定节点任务流量指标；第二构建模块，用于依据所述节点调度拓扑图构建更新虚拟集群拓扑视图，所述更新虚拟集群拓扑视图包括多个区域，每个区域对应有节点列表；目标区域确定模块，用于响应于所述集群并发的作业请求，依据所述节点任务流量指标从所述虚拟集群拓扑视图确定目标区域；请求响应模块，用于顺序读取所述目标区域的节点列表中的节点，确定目标节点，并基于所述目标节点对所述作业请求进行响应。
[0021]在本专利技术的第三个方面，本专利技术实施例公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的集群节点选择调度方法的步骤。
[0022]在本专利技术的第四个方面，本专利技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的集群节点选择调度方法的步骤。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群节点选择调度方法，所述集群部署于集群平台，其特征在于，包括：从所述集群平台中获取节点数据；依据所述节点数据，构建节点调度拓扑图，和依据所述节点数据，确定节点任务流量指标；依据所述节点调度拓扑图构建更新虚拟集群拓扑视图，所述更新虚拟集群拓扑视图包括多个区域，每个区域对应有节点列表；响应于所述集群并发的作业请求，依据所述节点任务流量指标从所述虚拟集群拓扑视图确定目标区域；顺序读取所述目标区域的节点列表中的节点，确定目标节点，并基于所述目标节点对所述作业请求进行响应。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述目标区域的节点资源剩余数小于所述作业请求的资源需求数，将所述作业请求调度至其他区域，所述其他区域为所述多个区域中所述目标区域之外的区域；采用所述其他区域作为所述目标区域，执行所述顺序读取所述目标区域的节点列表中的节点，确定目标节点，并基于所述目标节点对所述作业请求进行响应的步骤。3.根据权利要求1所述的方法，其特征在于，所述依据所述节点数据，构建节点调度拓扑图的步骤包括：依据所述节点数据确定节点拓扑配置数据，所述节点拓扑配置数据包括节点拓扑层级结构；依据所述节点拓扑层级结构构建节点物理拓扑结构图；对所述节点物理拓扑结构图进行过滤，生成所述节点调度拓扑图。4.根据权利要求3所述的方法，其特征在于，所述依据所述节点数据确定节点拓扑配置数据的步骤包括：基于所述节点数据确定节点拓扑类型，所述节点拓扑类型对应有节点拓扑层级标识；基于所述节点数据确定节点拓扑距离；将所述节点拓扑类型和所述节点拓扑距离结合，确定所述节点拓扑配置数据。5.根据权利要求3所述的方法，其特征在于，所述对所述节点物理拓扑结构图进行过滤，生成所述节点调度拓扑图的步骤包括：提取所述节点物理拓扑结构图中的可用可调度节点；基于所述可用可调度节点，构建所述节点调度拓扑图。6.根据权利要求1所述的方法，其特征在于，所述节点数据包括多业务维度信息，所述依据所述节点数据，确定节点任务流量指标的步骤包括：计算所述多业务维度信息加权和值，将所述加权和值进行归一化，确定所述节点任务流量指标。7.根据权利要求6所述的方法，其特征在于，所述多业务维度信息包括：节点当前作业运行网络流量、作业数量、数据集和镜像缓存状态，所述节点任务流量指标包括业务负载，所述计算所述多业务维度信息加权和值，将所述加权和值进行归一化，确定所述节点任务流量指标的步骤包括：计算所述节点当前作业运行网络流量、所述作业数量、所述数据集和所述镜像缓存状
态的加权和值，将所述加权和值进行归一化，确定所述节点业务负载。8.根据权利要求6所述的方法，其特征在于，所述方法还包括：基于所述节点类型和所述节点任务流量指标，确定节点间业务亲和性。9.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述作业请求的多维资源向量值，进行编码处理。10.根据权利要求9所述的方法，其特征在于，所述对所述作业请求的多维资源向量值，进行编码处理的步骤包括：针对所述多维资源向量值中的任一维度的资源向量特征值进行数值编...

【专利技术属性】
技术研发人员：王斌，荆荣讯，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：