一种基于数据分析的最优资源分配方法组成比例

本发明专利技术提供了一种基于数据分析的最优资源分配方法，包括有以下步骤：

【技术实现步骤摘要】
一种基于数据分析的最优资源分配方法


[0001]本专利技术涉及资源分配
，具体而言，涉及一种基于数据分析的最优资源分配方法
。

技术介绍

[0002]使用多资源调度器共同管理所有的资源，进而实现实时的资源分配与动态调整
。
其主要目的是为了管理存储和计算资源，以减低工程师对基础设施的维护难度，并形成资源共享，提高资源的整体利用率，同时对资源进行统一管理和统一监控以维护安全
。
[0003]针对新型电力系统对优化资源调度的需求，提升资源利用率，支持电力场景的示范应用，提升在信创等体系下的云边协同能力；研究云边统一运维监控体系，全方位监管业务系统各个层面的运行状态和资源容量情况，实现云上业务的监控全覆盖，提升资源管理
、
系统监控和运行维护的能力
。
[0004]但是，现有的技术在进行资源分配处理的时候，仅仅是实现对资源进行分配处理，将任务分配下去后，就不在管理和过问，静待边缘云或者集群系统进行计算处理，得到最后的结果，造成计算过程复杂，以及资源分配过度或者是资源分配不够，不能够有效的实现对自动扩缩调节，造成资源的分配无法有效的达到按需分配，精准化控制等问题
。

技术实现思路

[0005]为了弥补以上不足，本专利技术提供了一种基于数据分析的最优资源分配方法，用于解决上述提出的现有的技术在进行资源分配处理的时候，仅仅是实现对资源进行分配处理，将任务分配下去后，就不在管理和过问，静待边缘云或者集群系统进行计算处理，得到最后的结果，造成计算过程复杂，以及资源分配过度或者是资源分配不够，不能够有效的实现对自动扩缩调节，造成资源的分配无法有效的达到按需分配，精准化控制等问题
。
[0006]本专利技术是这样实现的：一种基于数据分析的最优资源分配方法，包括有以下步骤：
S1、
资源分级分类：对各个异构网络内部的资源进行分级分类，为客体资源的库
、
表以及字段要素打上标签，理清全网资源的属性，建立客体数据资源目录，汇聚关联各类资源属性生成资源视图；
S2、
建立当前资源需求：基于长短期记忆网络模型实现对用户未来任务量及资源需求进行精准的预测处理，即通过用户未来任务量实现对资源需求进行预测处理，实现对当前资源需求的容量进行计算出来；
S3、
确定综合资源需求量：基于数据挖掘技术实现用户历史资源需求量的规律自动发现，并结合用户当前资源需求的情况，再基于加权平均算法实现综合资源需求量的评估和计算；
S4、
建立业务扩缩容代价模型：面向业务实际负载动态变化场景，基于数据分析方法实现最合理的资源分配策略推荐，即通过造成的资源碎片化代价
、
云平台管理实例数代
价和扩所容代价三个纬度，建立业务扩缩容代价模型；
S5、
根据综合资源需求量和业务扩缩容代价模型实现资源分配：将综合资源需求量输入到业务扩缩容代价模型中，基于横向扩展的弹性扩缩容技术实现资源的动态调整，实现真正的按需分配；
S6、
业务扩缩容代价模型的资源分配计算：基于资源分配经验初始化分配推荐值，并基于网格搜索生成所有可能的分配推荐值，将各个分配推荐值和业务实际负载曲线作为代价模拟仿真系统输入，得到每种分配推荐值下对应的扩缩容代价值，以扩缩容代价最小为目标函数，寻找全局最优的分配推荐值作为最终业务的最优资源分配推荐，实现自动化
、
智能化的最优资源分配推荐
。
[0007]本专利技术的一种实施例中，所述
S1
中的资源分级分类以元数据的形式管理资源分级分类的标签，基于各个网络的各种元数据，形成统一的资源视图，定义各网络元数据管理要求
、
开发和维护网络元数据标准
、
建设元数据管理工具平台支撑数据分级分类活动
、
整合元数据形成资源视图
、
基于资源视图制定数据访问策略
、
进行持续的元数据跟踪和分析，元数据一旦变更，驱动访问策略就进行动态调整
。
[0008]本专利技术的一种实施例中，所述
S2
中的长短期记忆网络模型是基于
LSTM
网络进行建立，并且通过
BP
神经网络实现对未来任务量进行计算确定，再通过关联分析技术的贝叶斯定理实现对未来任务量和资源需求之间进行映射处理，对未来任务量和资源需求之间建立关系
。
[0009]本专利技术的一种实施例中，所述未来任务量确定的资源需求既是当前资源需求，所述
S3
中的综合资源需求量既是当前资源需求和历史资源需求量之间通过加权平均算法进行计算得出，所述加权平均算法即将各数值乘以相应的权数，然后加总求和得到总体值，再除以总的单位数
。
[0010]本专利技术的一种实施例中，所述加权平均算法的计算公式如下：假设，当前资源需求表示为
x
，历史资源需求表示为
y
，并且权分别是
w
和
v
，则公式为：
。
[0011]本专利技术的一种实施例中，所述
S3
中的数据挖掘技术是从大量的数据中，提取隐藏在其中的，事先不知道的
、
但潜在有用的信息的过程，所述数据挖掘技术包括有数据清理
、
数据集成
、
数据选择
、
数据变换
、
数据挖掘
、
模式评估和知识表示，其中所述数据清理用于消除噪声和不一致的数据，所述数据集成用于将多种数据源组合在一起，所述数据选择用于从数据库中提取与分析任务相关的数据，所述数据变换通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式，所述数据挖掘使用智能方法提取数据模式，所述模式评估识别代表知识的真正有趣的模式，所述知识表示使用可视化和知识表示技术，向用户提供挖掘的知识
。
[0012]本专利技术的一种实施例中，所述数据挖掘技术采用的是循环神经网络，所述循环神经网络用于将当前资源需求和历史资源需求相结合，包含了信息融合的思想，当前资源需求反映了每个需求的独特特征，历史资源需求反映了历史需求中的共同特征；所述循环神经网络的计算公式如下：
；式中：
U
是输入层到隐藏层的参数矩阵，
S
是隐藏层的向量，
V
是隐藏层到输出层的参数矩阵，代表
t
时刻的输出，代表
t
时刻的隐藏层的值，
W
其实是每个时间点之间的权重矩阵，
X
是一个向量，是输出层激活函数，是隐藏层激活函数
。
[0013]本专利技术的一种实施例中，所述
S4
中的业务扩缩容代价模型采用的是横向扩展的弹性扩缩容技术，且横向扩展也叫水平扩展，用更多的节点支撑更大的请求，即多增几台
API<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数据分析的最优资源分配方法，其特征在于，包括有以下步骤：
S1、
资源分级分类：对各个异构网络内部的资源进行分级分类，为客体资源的库
、
表以及字段要素打上标签，理清全网资源的属性，建立客体数据资源目录，汇聚关联各类资源属性生成资源视图；
S2、
建立当前资源需求：基于长短期记忆网络模型实现对用户未来任务量及资源需求进行精准的预测处理，即通过用户未来任务量实现对资源需求进行预测处理，实现对当前资源需求的容量进行计算出来；
S3、
确定综合资源需求量：基于数据挖掘技术实现用户历史资源需求量的规律自动发现，并结合用户当前资源需求的情况，再基于加权平均算法实现综合资源需求量的评估和计算；
S4、
建立业务扩缩容代价模型：面向业务实际负载动态变化场景，基于数据分析方法实现最合理的资源分配策略推荐，即通过造成的资源碎片化代价
、
云平台管理实例数代价和扩所容代价三个纬度，建立业务扩缩容代价模型；
S5、
根据综合资源需求量和业务扩缩容代价模型实现资源分配：将综合资源需求量输入到业务扩缩容代价模型中，基于横向扩展的弹性扩缩容技术实现资源的动态调整，实现真正的按需分配；
S6、
业务扩缩容代价模型的资源分配计算：基于资源分配经验初始化分配推荐值，并基于网格搜索生成所有可能的分配推荐值，将各个分配推荐值和业务实际负载曲线作为代价模拟仿真系统输入，得到每种分配推荐值下对应的扩缩容代价值，以扩缩容代价最小为目标函数，寻找全局最优的分配推荐值作为最终业务的最优资源分配推荐，实现自动化
、
智能化的最优资源分配推荐
。2.
根据权利要求1所述的一种基于数据分析的最优资源分配方法，其特征在于，所述
S1
中的资源分级分类以元数据的形式管理资源分级分类的标签，基于各个网络的各种元数据，形成统一的资源视图，定义各网络元数据管理要求
、
开发和维护网络元数据标准
、
建设元数据管理工具平台支撑数据分级分类活动
、
整合元数据形成资源视图
、
基于资源视图制定数据访问策略
、
进行持续的元数据跟踪和分析，元数据一旦变更，驱动访问策略就进行动态调整
。3.
根据权利要求1所述的一种基于数据分析的最优资源分配方法，其特征在于，所述
S2
中的长短期记忆网络模型是基于
LSTM
网络进行建立，并且通过
BP
神经网络实现对未来任务量进行计算确定，再通过关联分析技术的贝叶斯定理实现对未来任务量和资源需求之间进行映射处理，对未来任务量和资源需求之间建立关系
。4.
根据权利要求3所述的一种基于数据分析的最优资源分配方法，其特征在于，所述未来任务量确定的资源需求既是当前资源需求，所述
S3
中的综合资源需求量既是当前资源需求和历史资源需求量之间通过加权平均算法进行计算得出，所述加权平均算法即将各数值乘以相应的权数，然后加总求和得到总体值，再除以总的单位数
。5.
根据权利要求4所述的一种基于数据分析的最优资源分配方法，其特征在于，所述加权平均算法的计算公式如下：假设，当前资源需求表示为
x
，历史资源需求表示为
y
，并且权分别是
w
和
v
，则公式为：
。6.
根据权利要求1所述的一种基于数据分析的最优资源分配方法，其特征在于，所述
S3
中的数据挖掘技术是从大量的数据中，提取隐藏在其中的，事...

【专利技术属性】
技术研发人员：李帅，刘海洋，党芳芳，李丁丁，冯媛，朱登勇，王瑞民，
申请(专利权)人：国网河南省电力公司信息通信分公司，
类型：发明
国别省市：