一种基于大数据的提高资源分配的资源调度方法技术

本发明专利技术公开了一种基于大数据的提高资源分配的资源调度方法，该方法包括以下步骤：对大数据中不同资源的状态信息及负载信息进行采集；分别对采集到的所述状态信息及所述负载信息进行预处理；将预处理后的结果基于因子分析模型进行分析；根据分析结果，基于优化算法模型制定调度策略；通过调度策略提高资源分配，完成资源的调度

【技术实现步骤摘要】
一种基于大数据的提高资源分配的资源调度方法


[0001]本专利技术涉及信息
，具体来说，涉及一种基于大数据的提高资源分配的资源调度方法
。

技术介绍

[0002]资源调度是指在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程
。
在当下的大数据时代，图片
、
视频和人工智能
AI
的计算成本逐渐成为不可承受之重
。
由于计算任务的多样化及资源的有限性，导致资源难以均衡用于各个计算任务；由于设备的购买
、
裁撤
、
流转形成了大量的短期空闲设备，导致整体资源利用并不充分，如何挖掘复用现有的空闲资源，以满足当前海量的计算业务的需求，成为大数据应用领域难题
。
[0003]目前，传统的资源调度方法主要是基于静态的资源分配策略，无法实现动态的资源调度和管理
。
因此，往往会导致资源的浪费和利用率不高，传统的资源调度方法通常只能处理简单的任务，无法处理复杂的任务和海量数据
。
而且，由于任务之间的相互影响，传统的资源调度方法往往会导致任务的阻塞和延迟，影响任务的处理效率和质量，可能会发生资源的冲突和竞争，导致任务的失败和系统的崩溃
。
而且，传统的资源调度方法缺乏监控和管理手段，无法及时发现和处理异常情况，影响系统的安全性和稳定性
。
[0004]针对相关技术中的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0005]针对相关技术中的问题，本专利技术提出一种基于大数据的提高资源分配的资源调度方法，以克服现有相关技术所存在的上述技术问题
。
[0006]为此，本专利技术采用的具体技术方案如下：
[0007]一种基于大数据的提高资源分配的资源调度方法，该基于大数据的提高资源分配的资源调度方法包括以下步骤：
[0008]S1、
对大数据中不同资源的状态信息及负载信息进行采集；
[0009]S2、
分别对采集到的所述状态信息及所述负载信息进行预处理；
[0010]S3、
将预处理后的结果基于因子分析模型进行分析；
[0011]S4、
根据分析结果，基于优化算法模型制定调度策略；
[0012]S5、
通过调度策略提高资源分配，完成资源的调度
。
[0013]进一步的，所述分别对采集到的所述状态信息及所述负载信息进行预处理包括以下步骤：
[0014]S21、
获取所述状态信息及所述负载信息相对应的重复数据，并对重复数据进行去噪
、
滤波及平滑处理；
[0015]S22、
将所述状态信息及所述负载信息中未处理的数据行进行联结，生成一个新的数据表，通过外部键值将不同的数据表进行关联，生成一个完整的数据表，并得到准确数
据；
[0016]S23、
对所述准确数据进行特征提取，并得到所述状态信息及所述负载信息的特征参数
。
[0017]进一步的，所述将预处理后的结果基于因子分析模型进行分析包括以下步骤：
[0018]S31、
通过主成分分析法提取特征参数的因子，得到每个观测变量的因子得分；
[0019]S32、
对提取的因子进行旋转，并解释提取的因子含义；
[0020]S33、
通过解释提取的因子含义，得到每个因子的含义及解释力度；
[0021]S34、
对提取的因子和模型进行验证，以确保因子分析模型的可靠性及稳定性
。
[0022]进一步的，所述根据分析结果，基于优化算法模型制定调度策略包括以下步骤：
[0023]S41、
根据分析结果，确定需要优化的目标函数及约束条件；
[0024]S42、
将需要优化的目标函数及约束条件转化为数学公式，并建立数学模型；
[0025]S43、
通过粒子群算法对数学模型进行优化，并得到最优解；
[0026]S44、
根据得到的最优解，并判断资源的负载状态制定调度策略并实施
。
[0027]进一步的，所述通过粒子群算法对数学模型进行优化，并得到最优解包括以下步骤：
[0028]S431、
定义粒子的位置和速度，并随机生成粒子的位置和速度；
[0029]S432、
将每个粒子的位置输入到目标函数中进行计算适应度；
[0030]S433、
根据粒子的位置和计算的适应度来计算出新的粒子速度；
[0031]S434、
根据新粒子速度和当前位置来更新粒子的位置；
[0032]S435、
在整个粒子群中选择适应度最高的粒子作为全局最优解；
[0033]S436、
当达到预设终止条件，则停止算法，并输出全局最优解
。
[0034]进一步的，所述粒子群算法包括：
[0035]设定目标搜索空间的维数及粒子群的粒子数；
[0036]分别求得粒子向量表达式
、
粒子历史最优位置向量表达式
、
粒子群最优位置向量表达式及粒子速度向量表达式；
[0037]通过迭代计算，得出粒子速度公式和粒子位置调整公式
。
[0038]具体的，设目标搜索空间的维数为
d
，粒子群的粒子数为
n
；
[0039]第
i
个粒子的表示为向量
x
i
＝
(x
i1
，
x
i2
，
...x
id
)
；
[0040]第
i
个粒子的历史最优位置表示为向量
p
i
＝
(p
i1
，
p
i2
，
...p
id
)
；
[0041]粒子群的最优位置表示为向量
p
g
＝
(p
g1
，
p
g2
，
...p
gd
)
，
p
g
为所有
p
i
(i
＝1，
2...
，
n)
中的最优值；
[0042]第
i
个粒子的速度表示为向量
v
g
＝
(v
i1
，
v
i2
，
...v
id
；
[0043]其中，在迭代过程中，得出粒子速度公式和粒子位置调整公式
。
[0044]粒子速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于大数据的提高资源分配的资源调度方法，其特征在于，该基于大数据的提高资源分配的资源调度方法包括以下步骤：
S1、
对大数据中不同资源的状态信息及负载信息进行采集；
S2、
分别对采集到的所述状态信息及所述负载信息进行预处理；
S3、
将预处理后的结果基于因子分析模型进行分析；
S4、
根据分析结果，基于优化算法模型制定调度策略；
S5、
通过调度策略提高资源分配，完成资源的调度；所述分别对采集到的所述状态信息及所述负载信息进行预处理包括以下步骤：
S21、
获取所述状态信息及所述负载信息相对应的重复数据，并对重复数据进行去噪
、
滤波及平滑处理；
S22、
将所述状态信息及所述负载信息中未处理的数据行进行联结，生成一个新的数据表，通过外部键值将不同的数据表进行关联，生成一个完整的数据表，并得到准确数据；
S23、
对所述准确数据进行特征提取，并得到所述状态信息及所述负载信息的特征参数；所述将预处理后的结果基于因子分析模型进行分析包括以下步骤：
S31、
通过主成分分析法提取特征参数的因子，得到每个观测变量的因子得分；
S32、
对提取的因子进行旋转，并解释提取的因子含义；
S33、
通过解释提取的因子含义，得到每个因子的含义及解释力度；
S34、
对提取的因子和模型进行验证，以确保因子分析模型的可靠性及稳定性；所述根据分析结果，基于优化算法模型制定调度策略包括以下步骤：
S41、
根据分析结果，确定需要优化的目标函数及约束条件；
S42、
将需要优化的目标函数及约束条件转化为数学公式，并建立数学模型；
S43、
通过粒子群算法对数学模型进行优化，并得到最优解；
S44、
根据得到的最优解，并判断资源的负载状态制定调度策略并实施
。2.
根据权利要求1所述的一种基于大数据的提高资源分配的资源调度方法，其特征在于，所述通过粒子群算法对数学模型进行优化，并得到最优解包括以下步骤：
S431、
定义粒子的位置和速度，并随机生成粒子的位置和速度；
S432、
将每个粒子的位置输入到目标函数中进行计算适应度；
S433、
根据粒子的位置和计算的适应度来计算出新的粒子速度；
S434、
根据新粒子速度和当前位置来更新粒子的位置；

【专利技术属性】
技术研发人员：刘子涵，孔成，万欣善，周馨扬，仇成群，
申请(专利权)人：盐城师范学院，
类型：发明
国别省市：