System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于操作日志的风险预测方法技术_技高网

一种基于操作日志的风险预测方法技术

技术编号:41209650 阅读:2 留言:0更新日期:2024-05-09 23:31
本发明专利技术公开了一种基于操作日志的风险预测方法,涉及风险预测领域,包括采集计算机系统操作日志数据转化为数值向量,并进行数据预处理;根据预处理得到的数值向量进行日志序列建模,并对模型进行训练形成异常检测模型;计算机系统利用异常检测模型进行日志条目预测,并根据模型预测与实际日志条目差异判断风险并实施措施;将所有数据生成检测记录进行存储。本发明专利技术所述方法通过深度学习模型准确地模型化日志数据中的复杂模式和依赖关系,并定期更新和再训练模型,使模型适应计算机系统和应用程序的变化,提高异常检测的准确性,减少了对手工规则和模式匹配的依赖,大幅提升了风险检测效率。

【技术实现步骤摘要】

本专利技术涉及风险预测,特别是一种基于操作日志的风险预测方法


技术介绍

1、随着现代计算环境的复杂性增加,计算机系统和应用程序产生的操作日志数量也在急剧增加。这些日志包含了大量的信息,可以用来监控计算机系统的健康状况、诊断问题和预测潜在的风险,传统的自动化工具往往无法有效地处理这种规模的数据并且随着软件的迭代更新和配置的变化,计算机系统的行为也在不断变化,这意味着日志的模式和结构可能会随时间而变化,使得基于规则的分析方法变得过时或不准确,对于许多关键应用程序,即使是短暂的停机时间或性能下降也是不可接受的,这要求日志分析工具能够实时地检测和响应潜在的问题。


技术实现思路

1、鉴于上述现有的基于操作日志的风险预测方法中存在的问题,提出了本专利技术。

2、因此,本专利技术所要解决的问题在于如何提供一种基于操作日志的风险预测方法。

3、为解决上述技术问题,本专利技术提供如下技术方案:一种基于操作日志的风险预测方法,其包括,采集计算机系统操作日志数据转化为数值向量,并进行数据预处理;

4、根据预处理得到的数值向量进行日志序列建模,并对模型进行训练形成异常检测模型;

5、计算机系统利用异常检测模型进行日志条目预测,并根据模型预测与实际日志条目差异判断风险并实施措施;

6、将所有数据生成检测记录进行存储。

7、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:所述采集计算机系统操作日志数据转化为数值向量包括使用编程语言的文件读取功能,打开并读取日志文件的内容,使用正则表达式匹配,从每一行日志中提取时间戳、事件id和日志消息,使用nlp库加载预训练的ner模型,提取每一条日志消息的关键词和短语,使用nlp库加载预训练的词嵌入模型,对提取的关键词和短语应用词嵌入模型,将其转化为数值向量。

8、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:所述数据预处理包括对数据进行清洗去除数据中的异常值并补全缺失值,计算数值向量的均值和标准差,将均值加减3倍标准差作为异常判断阈值,将超出阈值范围的数值向量标记为异常并从数据中进行删除,若数值向量中存在缺失值,则使用均值或中位数进行填充补全。

9、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:所述根据预处理得到的数值向量进行日志序列建模,并对模型进行训练形成异常检测模型包括如下步骤:

10、将预处理步骤中得到的数值向量作为输入,通过嵌入层得到模型的输入表示;

11、添加位置编码给模型提供序列中的位置信息;

12、将多个transformer编码器层堆叠在一起,每个编码器层包含一个多头注意力子层和一个前馈神经网络子层;

13、将一个全连接层将transformer的输出转化为预测结果;

14、使用交叉熵损失函数来衡量模型的预测与真实日志条目之间的差异;

15、使用adam优化器进行模型的参数更新;

16、使用训练数据集进行模型训练,每次迭代都更新模型的参数以最小化损失函数;

17、在每个训练周期结束后,使用验证数据集评估模型的性能;

18、如果在连续的三个训练周期中,验证损失没有明显下降则停止模型训练,获得异常检测模型。

19、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:将日志序列导入异常检测模型预测下一个日志条目,并通过均方误差计算模型预测与实际日志条目之间差异:

20、

21、其中mse为单个模型预测与实际日志条目之间的均方误差,yi为实际日志条目数值向量,ym为模型预测日志条目数值向量,n为日志条目数量;

22、计算出所有均方误差后得出均值mean(mse′)和标准差std(mse′),通过均值和标准差确定风险判断阈值:

23、threshold={mean(mse′)-3*std(mse′),mean(mse′)+3*std(mse′)}

24、其中threshold代表计算得出的风险判断阈值,通过将mse与threshold进行对比判断实际日志条目状态:

25、若mse处于风险判断阈值区间,则标记该实际日志条目为正常;

26、若mse超过风险判断阈值区间,则标记该实际日志条目为异常;

27、得出所有实际日志条目状态后计算实际日志条目异常占比k。

28、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:得出实际条目异常占比k后,通过与判断值k1和k2进行对比判断日志风险状态,其中k1和k2为由工作人员设定且k1≤k2:

29、若k<k1,则判断日志处于低风险状态,计算机系统将异常检测模型进行存储并保持对日志数据进行监控,定期对日志数据进行检测生成检测记录;

30、若k1≤k<k2,则判断日志处于中风险状态,计算机系统对标记为异常的日志条目进行记录,提高计算机系统数据备份频率,保持对新生成日志条目的监管并通过异常预测模型对新生成日志条目进行异常检测,若检测到异常,则分析日志异常原因并进行异常处理;

31、若k≥k2,则判断日志处于高风险状态,计算机系统向管理员发出警报,管理员对计算机系统运行进行人工监管,同时对计算机系统和数据进行临时访问限制,计算机系统同步综合所有异常日志条目分析日志异常原因并进行处理,处理完毕后进行复盘分析,根据异常原因更新计算机系统防护策略。

32、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:所述分析日志异常原因包括:

33、选择一个固定的时间窗口,捕获异常前后的日志条目;

34、从日志数据库中提取该时间窗口内的所有日志条目;

35、使用余弦相似度公式计算异常日志条目与上下文中的每一个日志条目之间的相似度;

36、根据与异常的余弦相似度,对上下文中的日志条目进行排序;

37、选择一个余弦相似度的阈值,将相似度高于阈值的日志条目添加到根因候选列表中;

38、使用正则表达式查找根因候选列表中的常见错误模式;

39、将确定的根因提交给计算机系统管理员进行验证处理。

40、作为本专利技术所述基于操作日志的风险预测方法的一种优选方案,其中:所述计算机系统将所有数据进行收集并按数据特征进行分类存储,并对数据进行加密,设置数据访问权限,同时在计算机系统查看存储数据时生成记录同步存储。

41、一种智能计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现上述基于操作日志的风险预测方法的步骤。

42、一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述基于操作日志的风险预测方法的步骤。

43本文档来自技高网...

【技术保护点】

1.一种基于操作日志的风险预测方法,其特征在于:包括,

2.如权利要求1所述的基于操作日志的风险预测方法,其特征在于:所述数据预处理包括对数据进行清洗去除数据中的异常值并补全缺失值,计算数值向量的均值和标准差,将均值加减3倍标准差作为异常判断阈值,将超出阈值范围的数值向量标记为异常并从数据中进行删除,若数值向量中存在缺失值,则使用均值或中位数进行填充补全。

3.如权利要求2所述的基于操作日志的风险预测方法,其特征在于:将日志序列导入异常检测模型预测下一个日志条目,并通过均方误差计算模型预测与实际日志条目之间差异:

4.如权利要求3所述的基于操作日志的风险预测方法,其特征在于:得出实际条目异常占比K后,通过与判断值K1和K2进行对比判断日志风险状态,其中K1和K2为由工作人员设定且K1≤K2:

5.如权利要求4所述的基于操作日志的风险预测方法,其特征在于:所述分析日志异常原因包括:

6.如权利要求5所述的基于操作日志的风险预测方法,其特征在于:计算机系统将所有数据进行收集并按数据特征进行分类存储,并对数据进行加密,设置数据访问权限,同时在计算机系统查看存储数据时生成记录同步存储。

...

【技术特征摘要】

1.一种基于操作日志的风险预测方法,其特征在于:包括,

2.如权利要求1所述的基于操作日志的风险预测方法,其特征在于:所述数据预处理包括对数据进行清洗去除数据中的异常值并补全缺失值,计算数值向量的均值和标准差,将均值加减3倍标准差作为异常判断阈值,将超出阈值范围的数值向量标记为异常并从数据中进行删除,若数值向量中存在缺失值,则使用均值或中位数进行填充补全。

3.如权利要求2所述的基于操作日志的风险预测方法,其特征在于:将日志序列导入异常检测模型预测下一个日志条目,并通过均方误差计算模型预测与实际日...

【专利技术属性】
技术研发人员:石龙何立娟于珍
申请(专利权)人:北京谷器数据科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1