基于梯度提升回归的GC预警方法、系统及存储介质技术方案

本发明专利技术涉及人工智能，提供一种基于梯度提升回归的GC预警方法，通过进行样本处理，利用基于梯度提升回归的GC预测模型进行是否发生majorpause判定，进而通过基于无监督聚类算法的归因分析模型对判定为发生majorpause的GC指标数据进行归因分析后，将归因分析结果输出，并进行预警。本发明专利技术的基于梯度提升回归的GC预警方法实现了GC运维的智能控制，达到了处理速度快，准确率高，内存占用小，业务可用性强的的技术效果。的的技术效果。的的技术效果。

【技术实现步骤摘要】
基于梯度提升回归的GC预警方法、系统及存储介质


[0001]本专利技术涉及人工智能
，涉及一种基于梯度提升回归的GC预警方法、系统、电子设备及计算机可读存储介质。

技术介绍

[0002]随着智能手机、平板电脑、智能家电等智能终端的普及和功能的增强，用户对于智能终端的性能要求越来越高，因此，对于AI智能运维也提了较高的要求。但是，目前针对AI智能运维的研究，多数是针对CPU和内存，而对于智能运维中较为重要的GC(Garbage Collection，垃圾收集)运维环节，缺少有效地控制。
[0003]目前的GC运维场景中存在的弊端如下：
[0004]1)获取运维数据过程中，因为各进程的采样频率不同，很难得到相近时间段的全部字段数据；
[0005]2)运维数据中的要素字段较多，且字段间相关性较大，筛选并保留可解释的字段信息成为一大难题；
[0006]3)利用运维数据建模过程中，负样本占比太少，例如发生Major Pause的样本仅仅只占0.1％；导致模型极度偏向正样本、对负样本识别不佳。
[0007]因此，亟需一种精准率较高的GC预警方法。

技术实现思路

[0008]本专利技术提供一种基于梯度提升回归的GC预警方法、系统、电子设备及计算机可读存储介质，用于解决现有技术中GC预警精准率低的问题。
[0009]为实现上述目的，本专利技术提供的一种基于梯度提升回归的GC预警方法，方法包括：
[0010]通过JAVA层面的API接口获取原始的GC指标数据；
[0011]将所述原始的GC指标数据进行归一化处理、特征化处理，获得GC特征向量；
[0012]将所获得的GC特征向量输入预先训练的基于梯度提升回归的GC预测模型；通过所述基于梯度提升回归的GC预测模型进行是否发生超过预设时间阈值的停顿的判定；
[0013]对判定为超过预设时间阈值的停顿进行预警。
[0014]进一步，优选的，所述方法还包括：对判定为发生超过预设时间阈值的停顿的GC指标数据进行归因分析，并将归因分析结果进行展示。
[0015]进一步，优选的，所述基于梯度提升回归的GC预测模型的训练过程包括：
[0016]将GC数据源数据经过基于时间模糊匹配的数据提取方法，形成基于时间匹配的GC训练数据集；
[0017]对所述基于时间匹配的GC训练数据集中的欠采样样本进行新样本合成，直至所述GC训练数据集中的正负样本比例达到设定值；
[0018]对所述GC训练数据集进行数据归一化处理以及进行特征处理获得GC特征向量；
[0019]将所述GC特征向量输入原始的GC预测模型，设置迭代步数、大梯度数据采样率、小
梯度数据采样率，以MSE为损失函数进行模型训练，获得训练好的基于梯度提升回归的GC预测模型。
[0020]进一步，优选的，所述将GC数据源数据经过基于时间模糊匹配的数据提取方法，形成基于时间匹配的GC训练数据集，包括：
[0021]通过GC数据源的数据表字段，获取各数据表的连接主键；
[0022]根据所述连接主键的时间字段构建具有时间差的数据表序列；
[0023]对所述具有时间差的数据表序列进行数据提取，获取相邻时间内的数据样本；
[0024]利用所述相邻时间内的数据样本形成基于时间匹配的GC训练数据集。
[0025]进一步，优选的，所述对所述基于时间匹配的GC训练数据集中的欠采样样本进行新样本合成，包括：
[0026]以欧氏距离为标准计算少数类中的每个样本到其他少数类样本的距离；
[0027]通过所述距离确定各少数类x的K个近邻的集合Xn，其中，n＝1，2
…
K；
[0028]根据预设的样本不平衡比例确定采样倍率N；
[0029]对每个少数类x依次选出其k个近邻，重复N
‑
1次；按照新样本公式进行新样本合成；其中，
[0030]所述新样本公式如下：
[0031]x
new
＝x+rand(0,1)*|x
‑
x
n
|
[0032]其中，x为选定的少数类样本；x
n
为x的k近邻集合中随机选出的样本。
[0033]进一步，优选的，所述以欧氏距离为标准计算少数类中的每个样本到其他少数类样本的距离通过如下公式实现：
[0034][0035]其中，X为选定的少数类样本集合；Y为其他的少数类样本集合；x
i
为x的第i个维度特征；y
i
为y的第i个维度特征；n为维度特征总数。
[0036]进一步，优选的，在对所述GC训练数据集进行数据归一化处理以及进行特征处理获得GC特征向量的步骤中，通过特征处理算法对GC特征向量进行特征处理；所述特征处理算法包括特征直方图、基于梯度的单边采样和互斥特征捆绑。
[0037]为了解决上述问题，本专利技术还提供一种基于梯度提升回归的GC预测预警系统，所述系统包括：
[0038]数据获取单元，用于通过JAVA层面的API接口获取原始的GC指标数据；
[0039]GC特征向量获取单元，将所述原始的GC指标数据进行归一化处理、特征化处理，获得GC特征向量；
[0040]基于梯度提升回归的GC预测模型处理单元，将所获得的GC特征向量输入预先训练的基于梯度提升回归的GC预测模型；通过所述基于梯度提升回归的GC预测模型进行是否发生超过预设时间阈值的停顿的判定；
[0041]预警单元，对判定为超过预设时间阈值的停顿进行预警。
[0042]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现上述所述的基于梯度提升回归的GC预警方法中的步骤。
[0043]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于梯度提升回归的GC预警方法。
[0044]本专利技术的一种基于梯度提升回归的GC预测预警方法、系统、电子设备以及存储介质，通过JAVA层面的API接口获取原始的GC指标数据；将所述原始的GC指标数据进行归一化处理、特征化处理，获得GC特征向量；将所获得的GC特征向量输入预先训练的基于梯度提升回归的GC预测模型；通过所述基于梯度提升回归的GC预测模型进行是否发生超过预设时间阈值的停顿的判定；对判定为超过预设时间阈值的停顿进行预警。具有的有益效果如下：通过对原始的GC指标数据进行特征化和归一化处理，得到相近时间段的字段数据；并实现筛选并保留可解释的字段信息；通过基于梯度提升回归的GC预测模型模型筛选出超过预设时间阈值的停顿；然后进一步对超过预设时间阈值的停顿进行根因分析任务，可以在发生GC时找出原因，以供后续快速解决相应问题。可适用于业务上大规模GC预警的项目。
...

【技术保护点】

【技术特征摘要】
1.一种基于梯度提升回归的GC预警方法，其特征在于，方法包括：通过JAVA层面的API接口获取原始的GC指标数据；将所述原始的GC指标数据进行归一化处理、特征化处理，获得GC特征向量；将所获得的GC特征向量输入预先训练的基于梯度提升回归的GC预测模型；通过所述基于梯度提升回归的GC预测模型进行是否发生超过预设时间阈值的停顿的判定；对判定为超过预设时间阈值的停顿进行预警。2.如权利要求1所述的基于梯度提升回归的GC预警方法，其特征在于，所述方法还包括：对判定为发生超过预设时间阈值的停顿的GC指标数据进行归因分析，并将归因分析结果进行展示。3.如权利要求1所述的基于梯度提升回归的GC预警方法，其特征在于，所述基于梯度提升回归的GC预测模型的训练过程包括：将GC数据源数据经过基于时间模糊匹配的数据提取方法，形成基于时间匹配的GC训练数据集；对所述基于时间匹配的GC训练数据集中的欠采样样本进行新样本合成，直至所述GC训练数据集中的正负样本比例达到设定值；对所述GC训练数据集进行数据归一化处理以及进行特征处理获得GC特征向量；将所述GC特征向量输入原始的GC预测模型，设置迭代步数、大梯度数据采样率、小梯度数据采样率，以MSE为损失函数进行模型训练，获得训练好的基于梯度提升回归的GC预测模型。4.如权利要求3所述的基于梯度提升回归的GC预警方法，其特征在于，所述将GC数据源数据经过基于时间模糊匹配的数据提取方法，形成基于时间匹配的GC训练数据集，包括：通过GC数据源的数据表字段，获取各数据表的连接主键；根据所述连接主键的时间字段构建具有时间差的数据表序列；对所述具有时间差的数据表序列进行数据提取，获取相邻时间内的数据样本；利用所述相邻时间内的数据样本形成基于时间匹配的GC训练数据集。5.如权利要求3所述的基于梯度提升回归的GC预警方法，其特征在于，所述对所述基于时间匹配的GC训练数据集中的欠采样样本进行新样本合成，包括：以欧氏距离为标准计算少数类中的每个样本到其他少数类样本的距离；通过所述距离确定各少数类x的K个近邻的集合Xn，其中，n＝1，2
…
K；根据预设的样本不平衡比例确定采样倍率N；对每个少数类x依次选出其k个近邻，重复N
...

【专利技术属性】
技术研发人员：谢静文，王一凡，阮晓雯，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：