一种基于大数据的资源分配方法及系统技术方案

本申请公开了一种基于大数据的资源分配方法及系统，该方法包括：创建大数据资源管理池，并获取各个节点设备的资源参数及占用率；在所述大数据资源管理池中，生成资源占用模型，通过所述资源占用模型预测各个节点设备的资源占用情况，并将所述预测的各个节点设备的资源占用情况发送至资源分配器；所述资源分配器在各个节点设备之间进行资源调度，以实现负载均衡。载均衡。

【技术实现步骤摘要】
一种基于大数据的资源分配方法及系统


[0001]本申请属于大数据
，具体地，涉及一种基于大数据的资源分配方法及系统。

技术介绍

[0002]在大数据领域中，如何实现资源(如CPU、内存等算力资源)的合理分配是一个很大的技术难题。对于大数据管理系统而言，一方面要保证海量数据的高效处理，一方面也需要保证资源的能够得到合理的利用。
[0003]在现有技术中，通常需要一个资源调度器，在接收到某一节点设备的预警提示后，将该节点设备的负载转移给较低负载的其他设备，从而降低该节点设备的饱和度，但该方式极度依赖单一节点设备的主动预警提示，效率较低，且资源调度器需要实时不断地接收多个节点设备的心跳包，处理方式单一，不够灵活。

技术实现思路

[0004]本申请提供了一种基于大数据的资源分配方法及系统，有效解决了现有技术被动预警方式导致的效率低下和处理方式单一的问题。
[0005]为了实现上述目的，本申请实施例提供一种基于大数据的资源分配方法，包括：
[0006]创建大数据资源管理池，并获取各个节点设备的资源参数及占用率；
[0007]在所述大数据资源管理池中，生成资源占用模型，通过所述资源占用模型预测各个节点设备的资源占用情况，并将所述预测的各个节点设备的资源占用情况发送至资源分配器；
[0008]所述资源分配器在各个节点设备之间进行资源调度，以实现负载均衡。
[0009]可选地，所述资源分配器在各个节点设备之间进行资源调度，包括：
[0010]所述资源分配器基于所述预测的各个节点设备的资源占用情况，对所述各个节点设备的资源健康度进行预测；
[0011]基于所述预测的各个节点设备的资源健康度，设计任务分配比例和调度策略；
[0012]基于上述任务分配比例和调度策略，将任务分配给对应的节点设备处理。
[0013]可选地，基于所述预测的各个节点设备的资源健康度，设计任务分配比例和调度策略，包括：
[0014]创建哈希环，并将各个节点设备均匀设置在所述哈希环的各个节点上；
[0015]获取待分配任务，基于所述待分配任务的数量和所述预测的各个节点设备的资源健康度，确定待分配任务和各个节点设备的对应关系，其中，确定待分配任务和各个节点设备的对应关系，包括：
[0016]将各个节点设备按照预测的健康度由高到低进行排序；
[0017]将任务数量按照由高到低的比例依次分配给所述各个节点设备，以使所述各个节点设备依次处理对应的任务；
[0018]其中，所述资源分配器在各个节点设备之间进行资源调度，包括：
[0019]所述资源分配器按照待分配任务和各个节点设备的对应关系，调整所述哈希环上各个节点中的节点设备数量，并分配对应的任务数至对应的节点设备中。
[0020]可选地，所述对所述各个节点设备的资源健康度进行预测，包括：
[0021]通过如下资源占用率预测公式进行资源健康度预测：
[0022][0023]其中，R表示在第T+1个周期内的资源健康度预测值，T为正整数；
[0024]Ti表示在第i个节点设备上的总时间，i＝1...N,N为总节点设备数量；
[0025]Ri表示在第i个节点设备上的平均资源健康度。
[0026]可选地，通过所述资源占用模型预测各个节点设备的资源占用情况，包括：
[0027]建立预测模型，并使用历史数据对该预测模型进行训练，并对该模型进行评估和调整；
[0028]使用训练好的所述预测模型来预测所述各个节点设备的资源占用情况。
[0029]可选地，通过所述资源占用模型预测各个节点设备的资源占用情况，包括：
[0030]计算各个节点设备的负荷度指标ω
i
，所述负荷度指标描述所述各个节点设备的资源占用情况；
[0031]公式如下：
[0032][0033]其中N是节点设备运行时工作线程数，N
max
是设置的最大线程数，描述该节点设备工作线程的饱和度；T
cur
是当前采集时间窗口的任务数，T
pre
是上一采集时间窗口的任务数，Q是任务缓冲队列大小，描述当前任务饱和度，描述任务缓冲队列增长速率，ξ1，ξ2，ξ3是权重系数。
[0034]可选地，其特征在于，所述方法还包括：
[0035]计算所述大数据资源管理池当前的占用率，其中，所述大数据资源管理池的占用率等于已分配的任务数除以所述大数据资源管理池的容量；
[0036]根据占用率的大小自动调整所述大数据资源管理池的容量；
[0037]根据所述大数据资源管理池的占用率，估算出空闲算力的数量；
[0038]将空闲算力分配到其余网络算力节点中。
[0039]可选地，根据占用率的大小自动调整所述大数据资源管理池的容量，包括：
[0040]设定所述大数据资源管理池的容量和占用率阈值；
[0041]当新任务到达时，判断当前占用率是否超过预设阈值，如果超过，则自动增加资源管理池容量；
[0042]当所述大数据资源管理池中的任务执行完毕时，如果当前占用率低于一定阈值，缩减资源管理池的容量。
[0043]本专利技术实施例还提供一种基于大数据的资源分配系统，所述系统包括：
[0044]创建模块，用于创建大数据资源管理池，并获取各个节点设备的资源参数及占用率；
[0045]预测模块，用于在所述大数据资源管理池中，生成资源占用模型，通过所述资源占用模型预测各个节点设备的资源占用情况，并将所述预测的各个节点设备的资源占用情况发送至资源分配器；
[0046]所述资源分配器，用于在各个节点设备之间进行资源调度，以实现负载均衡。
[0047]一种基于大数据的资源分配系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
[0048]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述基于大数据的资源分配方法。
[0049]本申请实施例提出的方法及系统，通过大数据资源管理池进行资源收集，并生成资源占用模型，通过资源占用模型预测各个节点设备的资源占用情况，并将预测的各个节点设备的资源占用情况发送至资源分配器，以实现资源的合理分配，有效解决了现有技术被动预警方式导致的效率低下和处理方式单一的问题，提升了资源分配效率，提升了处理方式的灵活度。
附图说明
[0050]图1为一个实施例中基于大数据的资源分配方法的流程图；
[0051]图2为图1中步骤S103的细化流程图；
[0052]图3为一个实施例中哈希环的示意图；
[0053]图4为一个实施例中基于大数据的资源分配系统的结构框图；
[0054]图5为一个实施例中计算机设备的内部结构图。
具体实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的资源分配方法，其特征在于，所述方法包括：创建大数据资源管理池，并获取各个节点设备的资源参数及占用率；在所述大数据资源管理池中，生成资源占用模型，通过所述资源占用模型预测各个节点设备的资源占用情况，并将所述预测的各个节点设备的资源占用情况发送至资源分配器；所述资源分配器在各个节点设备之间进行资源调度，以实现负载均衡。2.根据权利要求1所述的方法，其特征在于，所述资源分配器在各个节点设备之间进行资源调度，包括：所述资源分配器基于所述预测的各个节点设备的资源占用情况，对所述各个节点设备的资源健康度进行预测；基于所述预测的各个节点设备的资源健康度，设计任务分配比例和调度策略；基于上述任务分配比例和调度策略，将任务分配给对应的节点设备处理。3.根据权利要求2所述的方法，其特征在于，基于所述预测的各个节点设备的资源健康度，设计任务分配比例和调度策略，包括：创建哈希环，并将各个节点设备均匀设置在所述哈希环的各个节点上；获取待分配任务，基于所述待分配任务的数量和所述预测的各个节点设备的资源健康度，确定待分配任务和各个节点设备的对应关系，其中，确定待分配任务和各个节点设备的对应关系，包括：将各个节点设备按照预测的健康度由高到低进行排序；将任务数量按照由高到低的比例依次分配给所述各个节点设备，以使所述各个节点设备依次处理对应的任务；其中，所述资源分配器在各个节点设备之间进行资源调度，包括：所述资源分配器按照待分配任务和各个节点设备的对应关系，调整所述哈希环上各个节点中的节点设备数量，并分配对应的任务数至对应的节点设备中。4.根据权利要求2所述的方法，其特征在于，所述对所述各个节点设备的资源健康度进行预测，包括：通过如下资源占用率预测公式进行资源健康度预测：其中，R表示在第T+1个周期内的资源健康度预测值，T为正整数；Ti表示在第i个节点设备上的总时间，i＝1...N,N为总节点设备数量；Ri表示在第i个节点设备上的平均资源健康度。5.根据权利要求1所述的方法，其特征在于，通过所述资源占用模型预测各个节点设备的资源占用情况，包括：建立预测模型，并使用历史数据对该预测模型进行训练，并对该模型进行评估和调整；使用训练好的...

【专利技术属性】
技术研发人员：母聪，邵海洋，
申请(专利权)人：山西邵嗨杨科技有限公司，
类型：发明
国别省市：