一种应用于大数据领域的云调度的方法及系统技术方案

本发明专利技术揭露了一种应用于大数据领域的云调度的方法。本发明专利技术组建节点集，并利用预设筛选方案对所述节点集进行筛选，得到目标节点集，其中包括多个目标节点；对所述多个目标节点中各目标节点依次进行信息采集，得到多个目标节点资源；获得预设分数计算算法，并基于所述预设分数计算算法对所述多个目标节点资源进行处理，得到所述多个目标节点的多个目标节点分值；筛选所述多个目标节点分值得到最高目标节点分值，反向匹配所述最高目标节点分值的节点，记作第一节点；获得第一容器，并通过预设调度器将所述第一容器分配至所述第一节点进行调度绑定。相较于现有技术，本发明专利技术可提高节点利用率，同时提高资源分配均衡性。同时提高资源分配均衡性。同时提高资源分配均衡性。

【技术实现步骤摘要】
一种应用于大数据领域的云调度的方法及系统


[0001]本专利技术涉及计算机
，特别涉及一种应用于大数据领域的云调度的方法及系统。

技术介绍

[0002]随着互联网业务的发展和科技的进步，越来越多的服务为了高可用和灵活的伸缩性、扩展性迁移到了k8s平台，k8s平台也是适用大数据场景中比较优秀的平台之一。
[0003]由于海量数据存储等业务场景原因，传统算法为了兼顾平台的通用性而忽略了实际场景业务的特殊性和复杂性，进一步导致资源分配不均，大大的影响了系统运行的效率。总体来说，现有方法的缺陷在于，资源分配不均，大大影响系统运行效率。
[0004]因此，如何提高容器调度时的节点利用率、提高资源分配均衡性成为一个亟待解决的问题。

技术实现思路

[0005]本专利技术的主要目的是提供一种应用于大数据领域的云调度的方法，旨在提高容器调度时的节点利用率、提高资源分配均衡性。
[0006]为实现上述目的，本专利技术提出一种应用于大数据领域的云调度的方法，包括如下步骤：
[0007]组建步骤：组建节点集，并利用预设筛选方案对所述节点集进行筛选，得到目标节点集，其中，所述目标节点集包括多个目标节点；
[0008]采集步骤：对所述多个目标节点中各目标节点依次进行信息采集，得到多个目标节点资源；
[0009]处理步骤：获得预设分数计算算法，并基于所述预设分数计算算法对所述多个目标节点资源进行处理，得到所述多个目标节点的多个目标节点分值；
[0010]筛选步骤：筛选所述多个目标节点分值得到最高目标节点分值，反向匹配所述最高目标节点分值的节点，记作第一节点；
[0011]执行步骤：获得第一容器，并通过预设调度器将所述第一容器分配至所述第一节点进行调度绑定。
[0012]此外，为实现上述目的，本专利技术还提出一种应用于大数据领域的云调度的系统，所述一种应用于大数据领域的云调度的系统包括存储器和处理器，其特征在于，所述存储器上存储有一种应用于大数据领域的云调度的程序，所述一种应用于大数据领域的云调度的程序被所述处理器执行时实现如下步骤：
[0013]组建步骤：组建节点集，并利用预设筛选方案对所述节点集进行筛选，得到目标节点集，其中，所述目标节点集包括多个目标节点；
[0014]采集步骤：对所述多个目标节点中各目标节点依次进行信息采集，得到多个目标节点资源；
[0015]处理步骤：获得预设分数计算算法，并基于所述预设分数计算算法对所述多个目标节点资源进行处理，得到所述多个目标节点的多个目标节点分值；
[0016]筛选步骤：筛选所述多个目标节点分值得到最高目标节点分值，反向匹配所述最高目标节点分值的节点，记作第一节点；
[0017]执行步骤：获得第一容器，并通过预设调度器将所述第一容器分配至所述第一节点进行调度绑定。
[0018]此外，为实现上述目的，本专利技术还提出一种应用于大数据领域的云调度的系统，其中，包括处理器和存储器；
[0019]所述处理器，用于处理执行所述的应用于大数据领域的云调度的方法；
[0020]所述存储器，所述存储器与所述处理器耦合，用于存储所述应用于大数据领域的云调度的程序，当所述程序被所述处理器执行时，使系统以执行所述应用于大数据领域的云调度的方法的步骤。
[0021]此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储有应用于大数据领域的云调度的程序，所述应用于大数据领域的云调度的程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述任一项所述的应用于大数据领域的云调度的方法的步骤。
[0022]本专利技术通过组建节点集，并利用预设筛选方案对所述节点集进行筛选，得到目标节点集，其中，所述目标节点集包括多个目标节点；对所述多个目标节点中各目标节点依次进行信息采集，得到多个目标节点资源；获得预设分数计算算法，并基于所述预设分数计算算法对所述多个目标节点资源进行处理，得到所述多个目标节点的多个目标节点分值；筛选所述多个目标节点分值得到最高目标节点分值，反向匹配所述最高目标节点分值的节点，记作第一节点；获得第一容器，并通过预设调度器将所述第一容器分配至所述第一节点进行调度绑定。相较于现有技术，本专利技术通过预设调度器可以达到提高容器调度时的节点利用率，同时达到提高资源分配均衡性的效果。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0024]图1为本专利技术应用于大数据领域的云调度的方法的流程示意图；
[0025]图2为本专利技术应用于大数据领域的云调度的方法中得到所述预设筛选方案的流程示意图；
[0026]图3为本专利技术应用于大数据领域的云调度的方法中得到所述第一目标节点的第一目标节点资源的流程示意图；
[0027]图4为本专利技术应用于大数据领域的云调度的方法中得到所述第一目标节点分值的流程示意图；
[0028]图5为本专利技术应用于大数据领域的云调度的方法中对所述预设调度器进行评估的流程示意图；
[0029]图6为本专利技术应用于大数据领域的云调度的程序的运行环境示意图；
[0030]图7为本专利技术应用于大数据领域的云调度的程序的程序模块图。
[0031]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0032]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0033]本专利技术提出一种应用于大数据领域的云调度的方法。
[0034]如图1所示，图1为本专利技术应用于大数据领域的云调度的方法的流程示意图。
[0035]本实施例中，所述应用于大数据领域的云调度的方法应用于一种应用于大数据领域的云调度的系统，所述应用于大数据领域的云调度的系统包括预设调度器，该方法包括：
[0036]S100：组建节点集，并利用预设筛选方案对所述节点集进行筛选，得到目标节点集，其中，所述目标节点集包括多个目标节点；
[0037]如图2所示，本实施例中，上述S100，还包括以下步骤：
[0038]首先，获得所述第一容器的第一容器特征，并将所述第一容器特征作为第一筛选约束；
[0039]然后，获得预设阈值，其中，所述预设阈值包括第一预设阈值、第二预设阈值；
[0040]接着，将所述第一预设阈值作为第二筛选约束，将所述第二预设阈值作为第三筛选约束；
[0041]最后，基于所述第一筛选约束、所述第二筛选约束、所述第三筛选约束，得到所述预设筛选方案。
[0042]所述应用于大数据领域的云调度的方法应用于一种应用于大数据领域的云调度的系统，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于大数据领域的云调度的方法，其特征在于，所述方法包括：组建步骤：组建节点集，并利用预设筛选方案对所述节点集进行筛选，得到目标节点集，其中，所述目标节点集包括多个目标节点；采集步骤：对所述多个目标节点中各目标节点依次进行信息采集，得到多个目标节点资源；处理步骤：获得预设分数计算算法，并基于所述预设分数计算算法对所述多个目标节点资源进行处理，得到所述多个目标节点的多个目标节点分值；筛选步骤：筛选所述多个目标节点分值得到最高目标节点分值，反向匹配所述最高目标节点分值的节点，记作第一节点；执行步骤：获得第一容器，并通过预设调度器将所述第一容器分配至所述第一节点进行调度绑定。2.根据权利要求1所述的方法，其特征在于，所述组建步骤，具体包括：获得所述第一容器的第一容器特征，并将所述第一容器特征作为第一筛选约束；获得预设阈值，其中，所述预设阈值包括第一预设阈值、第二预设阈值；将所述第一预设阈值作为第二筛选约束，将所述第二预设阈值作为第三筛选约束；基于所述第一筛选约束、所述第二筛选约束、所述第三筛选约束，得到所述预设筛选方案。3.根据权利要求1所述的方法，其特征在于，所述采集步骤，具体包括：提取所述多个目标节点中的第一目标节点；组建资源类目集，其中，所述资源类目集包括CPU、内存、磁盘、网络；通过cache存储器对所述第一目标节点的所述CPU、所述内存、所述磁盘、所述网络依次进行采集，分别得到CPU资源、内存资源、磁盘资源、网络资源；将所述CPU资源、所述内存资源、所述磁盘资源、所述网络资源进行组合，得到所述第一目标节点的第一目标节点资源。4.根据权利要求1所述的方法，其特征在于，所述处理步骤，具体包括：提取所述多个目标节点资源中的第一目标节点资源；对所述第一目标节点资源进行标准化处理，得到第一目标节点信息；基于所述第一目标节点信息得到第一节点资源分值，并根据所述第一节点资源分值得到第一目标节点分值。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一目标节点信息得到第一节点资源分值，并根据所述第一节点资源分值得到第一目标节点分值，包括：基于所述预设分数计算算法获得第二容器，其中，所述第二容器与所述第一容器为同一调度任务中的待调度容器；获得所述第二容器的第二节点，其中，所述第二节点是指所述预设调度器为所述第二容器分配的节点；获得所述第二节点的第二占用资源分值，并结合所述第一节点资源分值计算得到所述第一目标节点分值，其中，所述第一目标节点分值的计算公式如下：...

【专利技术属性】
技术研发人员：秦永波，杨明，
申请(专利权)人：秦永波，
类型：发明
国别省市：