基于融合学习和假设检验的内存回收趋势预警装置及方法制造方法及图纸

本发明专利技术实施方式提供了一种基于融合学习和假设检验的内存回收趋势预警装置、方法及设备。其中基于融合学习和假设检验的内存回收趋势预警装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量，所述监测量为内存回收事件；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M

【技术实现步骤摘要】
基于融合学习和假设检验的内存回收趋势预警装置及方法


[0001]本专利技术涉及GC故障
，具体地涉及一种基于融合学习和假设检验的内存回收趋势预警装置、一种基于融合学习和假设检验的内存回收趋势预警方法、一种基于融合学习和假设检验的内存回收趋势预警设备以及对应的存储介质。

技术介绍

[0002]趋势预测，一般是针对具有时间属性的数据进行分析，根据事物发展的连续性原理，应用机器学习或者数理统计方法对历史资料进行建模分析，来推测、预计分析目标的近期或中远期的趋势变化规律。趋势预测分析方法，在证劵市场分析、房地产市场分析、超市销量分析等领域都存在较广泛的应用，特别地，在IT系统智能监控领域，有一些业务场景需要提前知道何时会达到预警值而告警，如FullGC(Full Garbage Collection)何时会大幅增长，从而提醒运维人员提前做好应急准备，其它的应用场景很多，如CPU利用率的预测、磁盘使用率的预测、网络流量预测、系统容量预测等。
[0003]趋势分析的相关技术主要有传统方法，如移动平均法、ARIMA、Holt
‑
Winters法(即三次指数平滑)、Prophet法(对STL模型的改进)等；以及深度学习方法，如长短期记忆网络模型(Long Short
‑
Term Memory，LSTM)等。传统趋势预测方法效果一般不太好，实践中有较多限制，例如ARIMA算法主要是针对单变量趋势分析，并且需要对序列进行平稳化处理，而真实的数据一般难以达到平稳化要求。
专利技术内容
[0004]本专利技术实施例的目的是提供一种基于融合学习和假设检验的内存回收趋势预警装置、方法及设备，其采用LSTM与XGBoost算法的融合学习。因为LSTM算法能充分考虑到时间记忆，符合时序数据特点，并且能结合多维度的影响因素进行综合预测分析。
[0005]XGBoost(eXtreme Gradient Boosting)是一种基于树模型的随机梯度提升算法，是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost方法也可用于多维时间序列的回归预测问题。与LSTM的预测原理不同，经过两者的融合学习可以提升预测效果。
[0006]本专利技术实施方式针对IT系统中内存回收的监控GC日志序列数据，拟采用LSTM和XGBoost的融合学习算法实现多维多步预测，即考虑监控日志多维度特征数据之间的综合影响，利用前若干时刻的数据预测后若干步数据，如前100个时刻的数据预测后20个时刻的数据，从而得到当前时刻后面20个时刻点的趋势预测图。另一方面，对于预测序列趋势，考虑到固定阈值过于依赖经验，因此采用假设检验方法确认是否存在统计意义上的异常趋势拐点，为异常趋势的出现提前预警。为了实现上述目的，本专利技术第一方面提供一种基于融合学习和假设检验的内存回收趋势预警装置，所述装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M
‑
K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
[0007]优选的，所述特征工程模块包括：变量提取子模块，用于从数据文件中提取变量；数据切片子模块，用于根据预设粒度将提取的变量进行时间切片；以及相关性分析子模块，用于通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
[0008]优选的，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
[0009]优选的，所述多维多步LSTM模型通过以下步骤得到；构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；对所述LSTM模型进行训练，包括：获取训练样本，将所述训练样本分为训练集和测试集；采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
[0010]优选的，所述趋势预警模块包括：预警计算子模块，用于将所述变量的预测值根据时序得到检验序列；异常告警子模块，用于根据M
‑
K检验方法确定所述检验序列为上升趋势，则对所述监测量进行预警。
[0011]优选的，所述趋势预警模块还包括：以所述检验序列中的第一个预测值所对应的时间为所述预警的发生时间。
[0012]在本专利技术的第二方面，还提供了一种基于融合学习和假设检验的内存回收趋势预警方法，所述方法包括：通过关联分析确定与监测量存在相关关系的变量；根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；根据M
‑
K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。
[0013]优选的，所述通过关联分析确定与监测量存在相关关系的变量，包括：从数据文件中提取变量；根据预设粒度将提取的变量进行时间切片；通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。
[0014]优选的，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。
[0015]优选的，所述多维多步LSTM模型通过以下步骤得到；构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；对所述LSTM模型进行训练，包括：获取训练样本，将所述训练样本分为训练集和测试集；采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。
[0016]优选的，所述根据M
‑
K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警，包括：将所述变量的预测值根据时序得到检验序列；根据M
‑
K检验方法
确定所述检验序列为上升趋势，则对所述监测量进行预警。
[0017]优选的，所述方法还包括：以所述检验序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合学习和假设检验的内存回收趋势预警装置，其特征在于，所述装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量；所述监测量为内存回收事件；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M
‑
K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。2.根据权利要求1所述的装置，其特征在于，所述特征工程模块包括：变量提取子模块，用于从数据文件中提取变量；数据切片子模块，用于根据预设粒度将提取的变量进行时间切片；以及相关性分析子模块，用于通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。3.根据权利要求1所述的装置，其特征在于，所述融合学习模型包括：多维多步LSTM模型和XGBoost模型；所述多维多步LSTM模型的输入参数的维度和与监测量存在相关关系的变量的数量相关，所述多维多步LSTM模型输出的变量的预测值的步数为多个；所述XGBoost模型输入参数的维度和与监测量存在相关关系的变量的数量相关，所述XGBoost模型输出的变量的预测值为时间序列；对应的，所述变量的预测值通过所述多维多步LSTM模型的预测值和所述XGBoost模型的预测值经过融合后得到。4.根据权利要求3所述的装置，其特征在于，所述多维多步LSTM模型通过以下步骤得到；构建LSTM模型和确定所述LSTM模型中的参数，所述参数包括：总维度数量、网络层数、Dropout、损失函数、迭代次数、学习率、激活函数；对所述LSTM模型进行训练，包括：获取训练样本，将所述训练样本分为训练集和测试集；采用所述训练集对所述LSTM模型进行训练，采用所述测试集对训练后的LSTM模型进行验证，若验证通过，则将训练后的LSTM模型作为所述融合学习模型。5.根据权利要求3所述的装置，其特征在于，所述趋势预警模块包括：预警计算子模块，用于将所述变量的预测值根据时序得到检验序列；异常告警子模块，用于在根据M
‑
K检验方法确定所述检验序列为上升趋势的情况下对所述监测量进行预警。6.根据权利要求5所述的装置，其特征在于，所述趋势预警模块还用于将所述检验序列中的第一个预测值所对应的时间作为所述预警的发生时间。7.一种基于融合学习和假设检验的内存回收趋势预警方法，其特征在于，所述方法包括：通过关联分析确定与监测量存在相关关系的变量，所述监测量为内存回收事件；根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；
根据M
‑
K检验方法对所述变量的预测值进行检测，根...

【专利技术属性】
技术研发人员：金勇，吴泽君，雷发林，王艳华，苑志云，李国莹，简拥军，高阳，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：