一种数据仓库数据量的预测和监控方法技术

本发明专利技术公开了一种数据仓库数据量的预测和监控方法，包括根据选定的数据特征和时间粒度，获取数据仓库的各数据分层的时间序列集合。本数据仓库数据量的预测和监控方法通过对数据仓库的各数据分层建立不同的预测网络模型，得到各数据分层最优的时间周期和预测步长，得到各数据分层的数据量预测值，进而得到数据仓库总数据量预测值，提高了预测的准确度，解决了现有技术中通过人工进行预测，工作量大且预测不准确的问题；本数据仓库数据量的预测和监控方法在监控时将预测结果和当前实际数据进行对比，当相差程度不在波动率范围内时，当前数据设定为问题数据，触发告警机制，进行异常信息推送，提高了监控的准确度。提高了监控的准确度。提高了监控的准确度。

【技术实现步骤摘要】
一种数据仓库数据量的预测和监控方法


[0001]本专利技术属于数据预测监控领域，具体涉及一种数据仓库数据量的预测和监控方法。

技术介绍

[0002]在大数据领域，数据仓库技术在不断发展，其重要的作用之一是对数据进行更好的组织和存储；在实际应用中，随着业务的发展，产生的数据越来越多，对存储空间的需求也越来越大。对数据仓库数据量的分析和监控是存储管理和优化中重要的一部分。
[0003]目前一般是对数据仓库中新增数据量和历史数据量进行对比、统计分析的方式进行监控。当新增周期数据量与历史周期数据量相差程度超过预设范围，则判定为异常数据；对历史数据量的均值、分位数、方差等统计指标进行分析和监控，寻找异常数据。通过人工经验评估的方式预估未来数据量大致范围。
[0004]以上方式是基于现有存储情况进行分析和监控，不能对未来数据存储情况进行感知；在数据仓库数据量预测方面，一般是开发人员根据经验进行范围估计，无具体数值估计，存在精确度不高的问题；在监控机制设定方面，一般采用人为配置，不仅增加了人员工作量，且不能根据实际情况进行动态调整，人为调整存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库数据量的预测和监控方法，其特征在于：所述数据仓库数据量的预测和监控方法，包括：根据选定的数据特征和时间粒度，获取数据仓库的各数据分层的时间序列集合；初始化粒子位置和速度，根据粒子初始位置得到预测网络模型初始输入节点数、隐层节点数和输出节点数，并初始化各数据分层的预测网络模型；对各数据分层的时间序列集合进行重构后，输入至预测网络模型中进行迭代训练，将得到的预测网络模型训练误差作为粒子的适应度值，并更新个体极值和种群极值，以及粒子的位置和速度，直到达到迭代次数；得到各数据分层的最优粒子适应度值对应的粒子位置，进而得到最优的时间周期和预测步长；然后预测网络模型根据最优的时间周期和预测步长对数据进行预测，得到各数据分层的数据量预测值，进而得到数据仓库总数据量预测值；监控时，设置各数据层数据量和总数据量的波动率范围，获取当前时间预测网络模型的预测结果，并获取当前实际数据，将预测结果和当前实际数据进行对比，判断相差程度是否在波动率范围内。2.如权利要求1所述的数据仓库数据量的预测和监控方法，其特征在于：所述预测网络模型为LSTM网络模型。3.如权利要求1所述的数据仓库数据量的预测和监控方法，其特征在于：所述数据仓库的数据分层包括操作数据层、数据明细层、汇总数据层、应用数据层和维表层。4.如权利要求1所述的数据仓库数据量的预测和监控方法，其特征在于：对各数据分层的时间序列集合进行标准化：T＝{T1,
…
,T
j
,
…
,T
J
}其中，T表示各数据分层的时间序列集合，T'表示对各数据分层的时间序列集合进行标准化，σ表示特征均值，u表示特征标准差，J表示时间序列总长度。5.如权利要求1所述的数据仓库数据量的预测和监控方法，其特征在于：所述粒子位置表示为X
id<...

【专利技术属性】
技术研发人员：朱涵琪，李朋云，苏天翔，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：