一种基于异质信息网络的软件故障预测方法及系统技术方案

本发明专利技术提供一种基于异质信息网络的软件故障预测方法及系统，方法包括：搭建ELK平台，收集各个节点产生的日志；使用Logparser对上文收集的日志进行模板提取；对处理后的日志数据进行异质信息网络快照的构建；以日志的Level对日志分类，其中Info代表正常日志，WARN代表警告日志，ERROR代表错误日志；将S中的序列按照时间顺序依次使用LSTM编码器，动态学习随时间变化的图的进化模式，并预测下一个时间戳的拓扑结构；使用多层LSTM模型搭建的编码器以及处理流程中，每层部署m个LSTM单元，将隐藏信息沿着序列和层级传递给相邻下一个单元，不断学习更新。本发明专利技术解决了预测准确率低以及适用性较差的技术问题。用性较差的技术问题。用性较差的技术问题。

【技术实现步骤摘要】
一种基于异质信息网络的软件故障预测方法及系统


[0001]本专利技术涉及软件故障预测领域，具体涉及一种基于异质信息网络的软件故障预测方法及系统。

技术介绍

[0002]随着互联网使用人数的不断上升，计算系统处理数据的规模也不断增大，百万、千万甚至亿级数据也屡见不鲜。需求的增加带来技术的更新迭代，催生出了适用于大规模并行计算的分布式计算和存储平台，比如Apache Spark分布式计算系统和Hadoop分布式存储技术HDFS。分布式系统以其更快的计算速度、高并行性和高可靠性而被广泛使用，但由于系统被分布式部署，将更加难以评价系统的可靠性和性能，并且每个分布式节点都产生日志，大量且分散的日志给系统运行维护带来很大麻烦。海量的日志文件由人工处理已不再现实，因此智能运维技术(Artificial Intelligence for IT Operations,AIOps)应运而生。智能运维技术旨在通过智能化手段分析系统运行产生的日志数据以自动化地实现系统的异常检测、故障预测、根因诊断等功能。由于分布式系统集群规模不断地增长，系统故障发生也愈加频繁，因此故本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异质信息网络的软件故障预测方法，其特征在于，所述方法包括：S1、搭建ELK平台，收集各个节点产生的日志；S2、使用Logparser日志分析工具，对所述日志进行模板提取，以得到日志数据；S3、按照时间戳构建各个时刻下的异质信息网络快照，据以获取异质信息网络快照合集，所述步骤S3包括：S31、将所述日志数据按照时间戳的顺序排序；S32、以预设时刻t之前的所有所述日志涉及的节点，以及每条所述日志涉及的Java函数类包作为图顶点，以所述日志的事件类型作为图关系，根据所述图顶点和所述图关系，构建所述预设时刻t的异质信息网络快照G
t
；S33、从初始时刻至所述预设时刻t，循环执行前述步骤S31至S32，以得到所述异质信息网络快照合集G＝{G1,G2,
…
,G
t
}；S4、学习各个异质信息网络快照的嵌入表示，所述步骤S4包括：S41、利用所述日志的等级信息Level，将所述日志分为正常日志、警告日志及错误日志，以所述警告日志及所述错误日志代表的事件作为元路径，据以构成元路径集；S42、基于Metapath2Vec方法，学习所述异质信息网络快照合集G＝{G1,G2,
…
,G
t
}的低维嵌入表示；S5、使用LSTM长短期记忆模型编码，学习上述步骤中异质信息网络快照的进化模式，并预测下一时刻的状态，得到进化序列S
t+1
，以作为软件故障预测结果；S6，解码并分析所述软件故障预测结果，以获取获得t+1时刻图，以得到新增节点软件故障信息。2.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法，其特征在于，所述步骤S2包括：S21、汇总所述日志的原始日志数据，以得到原始日志文件；S22、使用所述Logparser日志分析工具中的Logcluster算法，模式挖掘所述原始日志文件，以得到日志挖掘数据；S22、根据所述日志挖掘数据获取结构化的日志文件，并记录每行所述日志涉及的参与者。3.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法，其特征在于，所述步骤S3中，利用下述逻辑定义有向图：式中，V
→
A为对象类型映射，ψ:E
→
R为关系类型映射，每个对象v∈V属于对象类型集合A:中的一个特定对象类型，每条链接e∈E属于关系类型集合R:ψ(e)∈R中的一个特定关系类型。4.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法，其特征在于，所述步骤S41中，利用下述逻辑定义所述元路径：式中，A
i
代表网络中的节点，R
i
代表A
i
和A
i+1
节点之间的关系。5.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法，其特征在于，所
述步骤S42包括：S421、依次遍历所述所述异质信息网络快照合集G＝{G1,G2,
…
,G
t
}；使用metapath2Vec对G
j
(1≤j≤t)进行低维表示学习，按照所述元路径集对异质信息网络进行基于所述元路径的随机游走操作，以得到所述异质信息网络中的点vi和点vi+1的转移概率；S422、使用Skip
‑
Gram算法对经所述随机游走操作的所述节点进行表示学习，据以得到所述异质信息网络G
j
的低维向量表示序列S
j
；S423、将所述低维向量表示序列S
j
依次加入图嵌入合集S＝{S1,S2,
…
,S
t
}。6.根据权利要求1所述的一种基于异质信息网络的软件故障预测方法，其特征在于，所述步骤S421中，利用下述逻辑处理得到所述异质信息网络G
j
中任意两点vi和vi+1的转移概率ρ：式中，所述异质信息网络G
j
中节点类型种类合集为C，C
l
为v
i
节点类型，C
l+1

【专利技术属性】
技术研发人员：王庆人，于海洋，鲁明，张以文，
申请(专利权)人：安徽大学，
类型：发明
国别省市：