本发明专利技术涉及人工智能技术，揭露一种多维网络数据异常检测方法、装置、设备及介质，所述方法包括：按照时间窗口获取目标历史网络数据，并标注历史异常点；对目标历史网络数据进行特征提取并按时间排序，得到目标历史网络数据特征序列，并用此数据预训练异常检测模型，得到初始模型；拟合历史异常点对应的异常值，得到预设时间段异常点分数区间；提取实时网络数据的实时网络数据特征，根据实时网络数据特征对初始模型进行遗忘操作，得到更新模型；计算更新模型及初始模型的目标复杂度差异，得到实时网络数据的实时异常值；基于实时异常值及预设时间段异常点分数区间，确定实时网络数据是否为异常网络数据。本发明专利技术可提高网络异常数据检测的效率。
1、随着网络技术的发展，各个公司数据中心访问量急剧上升，对数据中心网络的高吞吐、低延迟的要求日益提高，软件滥用、配置错误、操作失误、系统或设备故障等都会造成网络数据异常，面对日益增大的网络数据，如何快速高效的检测出网络数据中的异常数据变得越发重要。
2、当前网络数据异常检测主要采用多特征的机器学习算法或多层深度学习算法，首先，由于网络情况具有很强的时效性和瞬时性，网络数据不仅多维而且海量，当前的算法多直接将网络数据输入到算法中，导致网络异常数据检测的准确度不高，其次这些算法需要大量的训练时间，并且在模型变化时还需要反复重新训练，需要较长的时间才能得到检测结果，导致网络异常数据检测的效率不高。
>6、获取实时网络数据，提取所述实时网络数据的实时网络数据特征，根据所述实时网络数据特征对所述初始异常检测模型进行遗忘操作，得到更新异常检测模型；7、计算所述更新异常检测模型及所述初始异常检测模型的目标复杂度差异，得到实时网络数据的实时异常值；
8、基于所述实时异常值及所述预设时间段异常点分数区间，根据预设规则确定所述实时网络数据是否为异常网络数据。
9、可选地，所述按照预设时间窗口获取目标历史网络数据，包括：
10、按照预设时间窗口抓取目标日志，从所述目标日志中提取初始历史网络数据；
11、对所述初始历史网络数据进行数据清洗，得到目标历史网络数据。
12、可选地，所述对所述目标历史网络数据进行特征提取并按时间进行排序，得到目标历史网络数据特征序列，包括：
13、对所述目标历史数据进行字符分析及词汇分词，得到字符序列及目标词语序列；
14、分别对所述字符序列及所述目标词语序列进行编码，得到字符编码序列及词汇编码序列；
15、融合所述字符编码序列及所述词汇编码序列，得到融合向量；
16、将所述融合向量进行横向等宽度切分成特征序列，对所述特征序列进行标签预测，得到所述特征序列的初步标签序列；
17、对所述初步标签序列进行分类，得到所述目标历史数据的特征类别；
18、根据所述特征类别对所述融合向量进行打标，得到融合向量标签；
19、综合所述融合向量标签及所述融合向量，得到初步目标历史网络数据特征序列；
20、根据所述目标历史数据的采样时间点对所述初步目标历史网络数据特征序列进行排序，得到目标历史网络数据特征序列。
21、可选地，所述利用所述目标历史网络数据特征序列训练预设的异常检测模型，得到初始异常检测模型，包括：
22、将所述目标历史网络数据特征序列转换为历史网络数据空间点集；
23、对所述历史网络数据空间点集进行采样，得到满足预设的异常检测模型中随机树数量及叶子节点数量的目标历史网络数据空间点集；
24、根据所述异常检测模型中随机树数量，将所述目标历史网络数据空间点集进行分区，得到空间点分区集；
25、根据所述空间点分区集及所述异常检测模型构建第一异常检测模型；
26、分别删除所述第一异常检测模型中各个目标历史网络数据空间点，得到第二异常检测模型集；
27、分别计算所述第一异常检测模型与所述第二异常检测模型集中各个模型的复杂度差异值，将所有所述复杂度差异值作为目标历史网络数据的异常值；
28、选择满足预设阈值的异常值对应的目标历史网络数据作为预测异常点；
29、计算所述预测异常点与所述历史异常点之间的损失值，根据所述损失值调整所述异常检测模型的参数，并对所述异常检测模型进行迭代更新，直至所述损失值满足预设损失值，得到初始异常检测模型。
30、可选地，所述拟合所述历史异常点对应的异常值，得到预设时间段异常点分数区间，包括：
31、利用最小二乘法拟合所述历史异常点对应的异常值，得到异常值总区间；
32、选择最近预测时间段的所述异常值总区间，得到预设时间段异常点分数区间。
33、可选地，所述根据所述实时网络数据特征对所述初始异常检测模型进行遗忘操作，得到更新异常检测模型，包括：
34、判断所述初始异常检测模型中的随机树的叶子节点数是否达到最大预设值；
35、当所述初始异常检测模型中的随机树的叶子节点数达到最大预设值时，将所述初始异常检测模型中的随机树中时间最远的叶子节点删除，将所述实时网络数据特征插入到所述初始异常检测模型中对应的位置，得到更新异常检测模型；
36、当所述初始异常检测模型中的随机树的叶子节点数没有达到最大预设值时，将所述实时网络数据特征插入到所述初始异常检测模型的随机树中，得到更新异常检测模型。
37、可选地，所述基于所述实时异常值及所述预设时间段异常点分数区间，根据预设规则确定所述实时网络数据是否为异常网络数据，包括：
38、比较所述实时异常值与所述预设时间段异常点分数区间的上限值及下限值的大小；
39、当所述实时异常值小于所述预设时间段异常点分数区间的下限值时，所述实时网络数据的检测结果为正常网络数据；
40、当所述实时异常值大于等于所述预设时间段异常点分数区间的下限值且小于等于所述预设时间段异常点分数区间的上限值时，所述实时网络数据的检测结果为异常网络数据；
41、当所述实时异常值大于所述预设时间段异常点分数区间的上限值时，所述实时网络数据的检测结果为异常网络数据。
42、为了解决上述问题，本专利技术还提供一种多维网络数据异常检测装置，所述装置包括：
43、模型训练模块，用于按照预设时间窗口获取目标历史网络数据，并标注所述目标历史网络数据中的历史异常点，对所述目标历史网络数据进行特征提取并按时间进行排序，得到目标历史网络数据特征序列，利用所述目标历史网络数据特征序列训练预设的异常检测模型，得到初始异常检测模型，拟合所述历史异常点对应的异常值，得到预设时间段异常点分数区间
44、模型更新模块，用于获取实时网络数据，提取所述实时网络数据的实时网络数据特征，根据所述实时网络数据特征对所述初始本文档来自技高网...
【技术保护点】
1.一种多维网络数据异常检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述按照预设时间窗口获取目标历史网络数据，包括：
3.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述对所述目标历史网络数据进行特征提取并按时间进行排序，得到目标历史网络数据特征序列，包括：
4.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述利用所述目标历史网络数据特征序列训练预设的异常检测模型，得到初始异常检测模型，包括：
5.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述拟合所述历史异常点对应的异常值，得到预设时间段异常点分数区间，包括：
6.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述根据所述实时网络数据特征对所述初始异常检测模型进行遗忘操作，得到更新异常检测模型，包括：
7.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述基于所述实时异常值及所述预设时间段异常点分数区间，根据预设规则确定所述实时网络数据是否为异常网络数据，包括：
8.一种多维网络数据异常检测装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的多维网络数据异常检测方法。
...
【技术特征摘要】
1.一种多维网络数据异常检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述按照预设时间窗口获取目标历史网络数据，包括：
3.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述对所述目标历史网络数据进行特征提取并按时间进行排序，得到目标历史网络数据特征序列，包括：
4.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述利用所述目标历史网络数据特征序列训练预设的异常检测模型，得到初始异常检测模型，包括：
5.如权利要求1所述的多维网络数据异常检测方法，其特征在于，所述拟合所述历史异常点对应的异常值，得到预设时间段异常点分数区间，包括...
【专利技术属性】
技术研发人员：喻霜，唐婉如，刘屹，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。