存储容量预测方法及存储容量预测系统技术方案

本发明专利技术涉及一种存储容量预测方法，包括以下步骤：S1、获取待选公式集；S2、获取原始数据样本；S3、获取数据样本；S4、划分所述数据样本；S5、划分训练集；S6、选取预测公式；S7、对预测公式进行参数求解；S8、利用预测公式预测。本发明专利技术还公开了一种存储容量预测系统，包括：系统管理模块、存储资源实时监控模块、存储数据处理模块、预测模型学习模块以及未来趋势预测模块。采用本发明专利技术的技术方案能够实现IT资源的存储容量的准确预测，从而提升资源利用率，减少故障率，提升运维质量。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种存储容量预测方法，包括以下步骤：S1、获取待选公式集；S2、获取原始数据样本；S3、获取数据样本；S4、划分所述数据样本；S5、划分训练集；S6、选取预测公式；S7、对预测公式进行参数求解；S8、利用预测公式预测。本专利技术还公开了一种存储容量预测系统，包括：系统管理模块、存储资源实时监控模块、存储数据处理模块、预测模型学习模块以及未来趋势预测模块。采用本专利技术的技术方案能够实现IT资源的存储容量的准确预测，从而提升资源利用率，减少故障率，提升运维质量。【专利说明】存储容量预测方法及存储容量预测系统
本专利技术涉及存储容量的规划领域，特别涉及一种针对企业IT资源的存储容量预测方法及存储容量预测系统。
技术介绍
随着信息化的飞速发展、业务需求的变化、信息系统建设的不断提出以及数据量的高速增长，对于数据统计与预测分析的需求日益增加，对网络、软硬件平台和应用软件的性能要求越来越高。为保证系统稳定性和高性能，通常是在硬件配置、持续的程序版本改造等方面投入大量资金，以保证信息系统最大访问量时的需要。然而信息系统的运行就如电力系统，有峰谷值之分，如果都按访问量或计算量峰值时来分配IT资源(包括网络、软硬件平台和应用软件资源)，将会造成极大的浪费。因此，如何提高IT资源的可伸缩性、扩展性和灵活性、合理规划和预测资源，成为IT系统建设上水平必须要解决的问题。传统的“竖井式”的项目建设方式缺乏统一的规划，各项目资源形成孤岛，资源利用率不足或非常紧张，对运维造成了越来越重的压力。存储资源作为承载企业生产运行数据的载体，如何在不浪费投资的前提下合理预测一定时间范围内的资源需求，从而动态调整资源配置非常必要。而目前企业一般采取根据业务系统的需求，对整个数据中心的存储容量进行统一规划，业务需求提出方为保障业务运行质量，通常提出较大的冗余资源需求。对于前期规划的容量，往往存在过度冗余，也无法充分利用现有的存储容量使用情况，有效进行下一个阶段的容量规划，从而及时对资源进行调整，最大化资源利用率，提前预判可能因为存储容量不足引起的故障，提前做好资源规划。另一方面，业务系统由于其业务特性，存储容量体现的趋势也具有多样性和复杂性，缺乏能覆盖存储容量多样化特性的有效预测方法和手段，预测准确度不高。
技术实现思路
本专利技术所要解决的技术问题是由于缺乏对IT资源的存储容量的预测手段导致的资源浪费以及高故障率问题。为此目的，本专利技术提出了一种存储容量预测方法，包括以下步骤:S1、获取待选公式集:设定用以对存储容量的趋势进行预测的方法所对应的公式的集合作为待选公式集；S2、获取原始数据样本:获取存储容量信息数据作为原始数据样本；S3、获取数据样本:剔除所述步骤S2中的噪点并将所述原始数据样本中剔除噪点后的数据作为数据样本；S4、划分所述数据样本:将骤S3中的数据样本划分为用以从所述待选公式集中选取用以预测的预测公式的训练集以及用以对所述预测公式进行参数求解的预测集；S5、划分所述训练集:将所述训练集划分为用以对所述待选公式集中的各公式进行参数求解的参数学习子集以及用以对代入求得参数后的所述待选公式集中的各公式以选取所述预测公式的公式选取子集；S6、选取预测公式:将所述参数学习子集中的数据代入所述待选公式集中的各公式中进行参数求解，将所述公式选取子集中的数据代入求得参数的所述待选公式集中的各公式中并取计算结果与真实值方差最小的公式作为预测公式；S7、对所述预测公式进行参数求解:将所述预测集内的数据代入步骤S6中选取得到的所述预测公式进行参数求解；S8、利用所述预测公式预测:将步骤S6求得的参数代入所述预测公式并用该预测公式预测存储容量的趋势。优选的，步骤SI中用以对存储容量的趋势进行预测的方法包括一次移动平均、二次移动平均、一次指数平滑、二次指数平滑、一元一次线性回归，带log的线性回归、带虚变量的线性回归中的至少一种。优选的，步骤S2中所述存储容量信息数据包括存储设备、资源容量及网络资源信息的数据。优选的，步骤S4中训练集以及预测集分别为所述数据样本的前1/2部分与后1/2部分。优选的，步骤S5中所述参数学习子集以及公式选取子集分别为所述训练集中的前2/3部分及后1/3部分。优选的，步骤S3中的数据样本的数据不少于30个。本专利技术还公开了一种存储容量预测系统，包括:系统管理模块，用以设定对存储容量的趋势进行预测的方法所对应的公式的集合并将该集合作为待选公式集；存储资源实时监控模块，用以获取存储容量信息数据作为原始数据样本，为下一步数据挖掘提供充足、准确的数据样点，该存储容量信息数据包括存储设备、资源容量及网络资源彳目息等；存储数据处理模块，用以将所述存储资源实时监控模块获取的原始数据样本中的噪点剔除并取该原始数据样本中剔除噪点后的数据作为数据样本，并将所述数据样本划分为用以从所述待选公式集中选取用以预测的预测公式的训练集以及用以对所述预测公式进行参数求解的预测集，进一步将所述训练集划分为用以对所述待选公式集中的各公式进行参数求解的参数学习子集以及用以对代入求得参数后的所述待选公式集中的各公式以选取所述预测公式的公式选取子集；预测模型学习模块，用以从所述系统管理模块设定的待选公式集中选取预测公式；未来趋势预测模块，用以对所述预测模型学习模块选取的预测公式进行参数求解并用该求得参数后的预测公式预测系统存储容量的增长趋势。优选的，所述存储资源实时监控模块包括:存储设备管理子模块，用以管理硬件设备的硬盘大小、硬盘块数、RAID划分、具体位置以及扩容操作；资源容量监控子模块，用以监控存储容量总容量、已用容量、剩余容量以及涉及系统；存储网络监控子模块，用以监控存储网络情况。优选的，本专利技术的存储容量预测系统还包括存储特征数据挖掘模块，用以根据资源容量监控子模块积累的历史数据挖掘具有系统存储特征的数据，进而所述存储数据处理模块根据所述存储特征数据挖掘模块所提供的这些具有系统存储特征的数据进行剔除噪点操作，该具有系统存储特征的数据包括每天系统高峰期数据、低峰期数据、平均数据。 优选的，所述未来趋势预测模块包括:视图展示子模块，用以通过曲线的形式显示预测得出的存储容量增长趋势；扩容建议子模块，用以根据所述视图展示子模块中的存储容量增长趋势结合客户自定义的容量扩容基准，输出扩容建议，并给出具体扩容存储设备的具体位置、硬盘插槽空位等信息；报警提示子模块，用以将所述扩容建议子模块的扩容建议发送给系统管理员。采用本专利技术的存储容量预测方法将剔除噪点后得到的数据样本进行划分并进行不同操作，能够实现IT资源的存储容量的准确预测，从而提升资源利用率，减少故障率，提升运维质量。同时，采用本专利技术所公开的存储容量预测系统通过存储资源实时监控模块保证设备和网络稳定的情况下，实时监控存储资源使用情况，保证了数据的真实准确性；通过存储特征数据挖掘模块保证模型输入数据是具有系统业务代表性的；通过预测模型学习模块多公式预测，并取误差最小的公式作为未来预测模型，保证了预测误差率最低；未来趋势预测模块通过曲线视图展示，提供扩容建议，以及友好的提示提醒功能，使得用户能更加准确、真实的了解存储容量预测的结果。【专利附图】【附图说明】通过参考附图会更加清楚的理解本专利技术的特征和本文档来自技高网...

【技术保护点】
一种存储容量预测方法，其特征在于，包括以下步骤：S1、获取待选公式集：设定用以对存储容量的趋势进行预测的方法所对应的公式的集合作为待选公式集；S2、获取原始数据样本：获取存储容量信息数据作为原始数据样本；S3、获取数据样本：剔除所述步骤S2中的噪点并将所述原始数据样本中剔除噪点后的数据作为数据样本；S4、划分所述数据样本：将骤S3中的数据样本划分为用以从所述待选公式集中选取用以预测的预测公式的训练集以及用以对所述预测公式进行参数求解的预测集；S5、划分所述训练集：将所述训练集划分为用以对所述待选公式集中的各公式进行参数求解的参数学习子集以及用以对代入求得参数后的所述待选公式集中的各公式以选取所述预测公式的公式选取子集；S6、选取预测公式：将所述参数学习子集中的数据代入所述待选公式集中的各公式中进行参数求解，将所述公式选取子集中的数据代入求得参数的所述待选公式集中的各公式中并取计算结果与真实值方差最小的公式作为预测公式；S7、对所述预测公式进行参数求解：将所述预测集内的数据代入步骤S6中选取得到的所述预测公式进行参数求解；S8、利用所述预测公式预测：将步骤S6求得的参数代入所述预测公式并用该预测公式预测存储容量的趋势。...

【技术特征摘要】

【专利技术属性】
技术研发人员：林强，黄剑文，姜唯，周开东，彭泽武，王甜，曾初阳，罗欢，李娜，蔡利勉，
申请(专利权)人：广东电网公司信息中心，广州博纳信息技术有限公司，
类型：发明
国别省市：广东;44