一种基于电网数字化业务的云计算资源预测系统及方法技术方案

本发明专利技术涉及一种基于电网数字化业务的云计算资源预测系统及方法，包括数据采集模块、学习系统模块、初分配预测模块及效率提升预测模块，数据采集模块负责收集各资源实例网络请求，计算实时tpmC值，构造数据集；学习系统模块以收集到的数据集为输入，建立基于决策树生成和剪枝算法的云计算资源预测模型，对数据集进行学习；初分配预测模块基于预测模型对业务系统规划上云阶段进行资源规格预测；效率提升预测模块基于预测模型对已运行系统的业务上云运行阶段进行资源规格调整，生成效率提升建议优化清单，摆脱了业务系统在初始分配与后期效率提升时存在的主观猜测，提高资源预测的科学性与客观性，使得资源分配更加合理，工作效率提升更加高效。提升更加高效。提升更加高效。

【技术实现步骤摘要】
一种基于电网数字化业务的云计算资源预测系统及方法


[0001]本专利技术属于电力信息
，涉及云计算资源预测技术，尤其是一种基于电网数字化业务的云计算资源预测系统及方法。

技术介绍

[0002]随着云计算规模的不断扩张，其资源管理过程也变得更加复杂，同时也产生了资源浪费的情况。据统计，使用云计算的组织存在着30％的成本浪费，其中一个重要的原因就是资源利用率过低。提高资源利用率可以有效节省企业运营成本，同时减少因空闲资源导致的能耗开销。如何合理管理和分配云资源，有效提高资源利用率已经成为当前研究需要面对和解决的主要挑战之一。
[0003]现有技术中规划上云时，系统的资源需求主要由业务人员根据系统的实际情况给出。正常情况下，资源需求情况应建立在系统测试的基础之上。但是，在实际工作过程中，由于种种原因，很多上云系统并没有进行完整的系统测试，因此其申请资源的依据不够客观，提出的资源需求也会存在虚高的情况，这是造成资源利用率不高的重要原因。
[0004]另外，在系统上云后，随着业务的升级以及用户规模的变化，原先分配给系统的资源有可能不再满足实际需求，非常有必要根据业务系统的实际性能数据对资源配置进行调整，这是效率提升工作的主要内容。效率提升工作需求首先给出资源配置优化建议，目前的优化建议算法主要基于某段时间内资源平均利用率进行折半或按比例调整，调整效果并不理想，无法一次调整到位。
[0005]因此，需要找到一种科学、客观、合理的基于电网数字化业务的云计算资源预测系统及方法。

技术实现思路
r/>[0006]本专利技术的目的在于克服现有技术的不足之处，提供一种基于电网数字化业务的云计算资源预测系统及方法，该系统及方法以已上云的业务系统产生的性能数据为基础，学习到业务性能需求与资源规格配置的映射关系，这样就可以抛弃现有的主观判断，得到满足云平台现状态的资源测算结果；另一方面，上述系统及方法能够对效率提升产生指导作用，在进行效率提升时，能够根据项目已产生的性能数据，根据测算模型得到合理的虚拟机规格，这种规格的调整是相对客观的。只要业务的性能数据不产生重大变化，就能省去重复的效率提升操作。
[0007]本专利技术解决其技术问题是采取以下技术方案实现的：
[0008]一种基于电网数字化业务的云计算资源预测系统，该系统包括数据采集模块、学习系统模块、初分配预测模块及效率提升预测模块，数据采集模块负责收集各资源实例网络请求，计算实时tpmC值，构造学习系统模块所需要的数据集，为训练做好准备；学习系统模块以收集到的数据集为输入，建立基于决策树生成和剪枝算法的云计算资源预测模型，实现对数据集的学习；初分配预测模块基于云计算资源预测模型对业务系统规划上云阶段
进行资源规格预测，主要包括新业务系统云资源性能需求输入，以及预测结果展示；效率提升预测模块基于云计算资源预测模型对已运行系统的业务上云运行阶段进行资源规格调整，生成效率提升建议优化清单，为后续的效率提升工作奠定基础。
[0009]一种利用上述系统实现基于电网数字化业务的云计算资源预测方法，包括如下方法步骤：
[0010](1)利用数据采集模块收集各资源实例网络请求，计算实时tpmC值，构造模型训练数据集；
[0011](2)利用学习系统模块中的云计算资源预测模型对步骤(1)得到的数据集进行训练，所述的云计算资源预测模型基于决策树生成算法和剪枝算法，所述的云计算资源预测模型，数据集可表示为D＝{(x1，y1)，(x2，y2)，...，(x
N
，y
N
)}，
[0012]其中为输入实例，n为特征个数，为类标记，表示云资源实例的CPU核数，表示云资源实例的内存容量GB；
[0013](3)上述学习系统模块对数据采集模块采集的数据进行学习后，将进入后续的预测模块，该预测模块根据业务系统规划上云阶段和业务系统上云运行阶段分别利用初分配预测模块和效率提升预测模块进行云计算资源的预测，其主要应用于业务系统初始资源分配预测及其效率提升资源调整预测。
[0014]而且，数据采集模块中业务系统各资源实例均需要部署专门的性能监控代理，用于收集业务系统在运行期间的性能数据，将已运行的所有资源实例的代理数据进行汇总并进行预处理，计算资源实例实际tpmC值。
[0015]而且，计算资源实例实际tpmC值具体方法包括：以时间为序，将各资源实例的性能数据按资源利用率进行分割，从中挑选出满足利用率评价标准且时长大于十分钟的数据段，然后计算每段数据的平均tpmC值，最后连同学习算法的其他特征值一起构成训练数据的一条输入，为了实施提升预测效率，需要将各资源实例在过去一段时间内实时的性能数据进行处理，首先计算其平均资源利用率是否满足评价标准，如果满足，则无需要进行资源规格调整，如果不满足，则计算其平均tpmC值，连同其他特征数据一起构成一条输入数据，代入到预测系统进行计算，得到变更后的资源规格。
[0016]而且，所述的云计算资源预测模型的特征选择过程采用信息增益算法，信息增益定义为g(D，A)＝H(D)
‑
H(D|A)，其中D为训练数据集，H(D)为D的经验熵，H(D|A)为给定特征A之后的经验条件熵。
[0017]而且，所述的决策树生成算法采用ID3算法或C4.5算法，剪枝算法主要考虑决策树整体的损失函数C
α
为极小化，损失函数可定义为
[0018]而且，所述的初分配预测模块，基于预测方法对新业务系统进行资源规格预测，主要包括新业务系统云资源性能需求输入，以及预测结果展示，在业务系统规划上云阶段，业务侧需要按照前述学习系统模块的算法得出的特征提供具体的特征值，其中，tpmC值的计算源自事务处理性能委员会公布的TPC
‑
C基准测试。
[0019]而且，所述的效率提升预测模块，基于预测方法对已运行系统进行资源规格调整，
生成效率提升建议优化，为后续的效率提升工作奠定基础，在业务上云运行阶段，预测系统会依据业务系统运行期间的性能数据对已运行系统进行资源规格调整，生成效率提升建议优化清单，优化清单应该以业务系统进行分组，对其下属的各资源实例的实际利用率等性能数据进行展示，对于不满足资源利用率的资源实例，按前述数据采集过程构造输入数据，然后重新输入进行预测，得到变更后的资源实例规格。
[0020]一种基于电网数字化业务的云计算资源预测系统应用于实现可能的软件部署架构，实现可采用容器云部署，其业务组件主要包括三个服务和一个作业，具体的包括：数据采集服务、初分配预测服务、效率提升预测服务及训练作业。
[0021]而且，数据采集服务用于获取部署到云平台每个资源实例的监控代理数据，按前述预处理过程构造训练数据和效率提升预测的输入数据；得到训练数据后，即可启动训练作业，训练结束后得到预测模型，此过程为一次性过程，因而采用作业的形式进行部署；初分配预测服务和效率提升预测服务分别用于提供新业务系统的资源预分配和已有业务系统的效率提升工本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于电网数字化业务的云计算资源预测系统，其特征在于：该系统包括数据采集模块、学习系统模块、初分配预测模块及效率提升预测模块，数据采集模块负责收集各资源实例网络请求，计算实时tpmC值，构造学习系统模块所需要的数据集，为训练做好准备；学习系统模块以收集到的数据集为输入，建立基于决策树生成和剪枝算法的云计算资源预测模型，实现对数据集的学习；初分配预测模块基于云计算资源预测模型对业务系统规划上云阶段进行资源规格预测，主要包括新业务系统云资源性能需求输入，以及预测结果展示；效率提升预测模块基于云计算资源预测模型对已运行系统的业务上云运行阶段进行资源规格调整，生成效率提升建议优化清单，为后续的效率提升工作奠定基础。2.一种如权利要求1所述的基于电网数字化业务的云计算资源预测系统的预测方法，其特征在于：包括如下方法步骤：(1)利用数据采集模块收集各资源实例网络请求，计算实时tpmC值，构造模型训练数据集；(2)利用学习系统模块中的云计算资源预测模型对步骤(1)得到的数据集进行训练，所述的云计算资源预测模型基于决策树生成算法和剪枝算法，所述的云计算资源预测模型，数据集可表示为D＝{(x1，y1)，(x2，y2)，
…
，(x
N
，y
N
)}，其中为输入实例，n为特征个数，为类标记，表示云资源实例的CPU核数，表示云资源实例的内存容量GB；(3)上述学习系统模块对数据采集模块采集的数据进行学习后，将进入后续的预测模块，该预测模块根据业务系统规划上云阶段和业务系统上云运行阶段分别利用初分配预测模块和效率提升预测模块进行云计算资源的预测，其主要应用于业务系统初始资源分配预测及其效率提升资源调整预测。3.根据权利要求2所述的一种基于电网数字化业务的云计算资源预测方法，其特征在于：数据采集模块中业务系统各资源实例均需要部署专门的性能监控代理，用于收集业务系统在运行期间的性能数据，将已运行的所有资源实例的代理数据进行汇总并进行预处理，计算资源实例实际tpmC值。4.根据权利要求3所述的一种基于电网数字化业务的云计算资源预测方法，其特征在于：计算资源实例实际tpmC值具体方法包括：以时间为序，将各资源实例的性能数据按资源利用率进行分割，从中挑选出满足利用率评价标准且时长大于十分钟的数据段，然后计算每段数据的平均tpmC值，最后连同学习算法的其他特征值一起构成训练数据的一条输入，为了实施提升预测效率，需要将各资源实例在过去一段时间内实时的性能数据进行处理，首先计算其平均资源利用率是否满足评价标准，如果满足，则无需要进行资源规格调整...

【专利技术属性】
技术研发人员：李振振，张秀峰，陈雪振，周佳禾，王晋瑶，张荣杰，党宏，贺欣，赵威，
申请(专利权)人：国网天津市电力公司国家电网有限公司，
类型：发明
国别省市：