System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机处理,尤其涉及一种故障预测模型的训练方法、装置、设备及存储介质。
技术介绍
1、随着互联网技术的发展,互联网网站组成越来越复杂。网站的结构(如物理层、传输层、数据层、应用层结构)变得十分复杂。并且网站内的各个层之间存在强关联的耦合关系,当系统内单个节点发生故障时,会影响到其他的各个节点,继而出现故障传播、级联失效甚至整个系统瘫痪。传统的故障分析手段只能针对单一故障源和简单场景,无法对复杂网络内的故障进行快速、可靠的故障分析和故障根因定位。目前,引入深度学习的神经网络进行故障诊断,则面临着网络结构复杂、数据维度多、计算量大、计算精度低等问题。
技术实现思路
1、本申请提供一种故障预测模型的训练方法、装置、设备及存储介质,训练好的故障预测模型能够更精准的预测故障类型,并降低计算成本。
2、本申请的技术方案是这样实现的:
3、本申请提供一种故障预测模型的训练方法,该方法包括:从全链路日志数据中,获取多个服务节点的告警状态样本矩阵;所述告警状态样本矩阵用于表征第一时间单元内各采样时刻下各服务节点的告警状态;对告警状态样本矩阵进行故障分析降维处理,得到第一特征样本矩阵;第一特征样本矩阵用于表征各采样时刻下告警状态对应的第一告警特征;将第一特征样本矩阵和预设的各采样时刻的故障原因标签输入故障预测模型,得到第一告警特征对应的故障原因标签的概率分布;故障原因标签用于指示多个服务节点出现故障的原因;基于概率分布,对故障预测模型进行迭代训练,直至故障预测模型收敛
4、在一些可能的实施方式中,对告警状态样本数据进行故障分析降维处理,得到第一特征样本矩阵,包括:将告警状态样本矩阵输入主成分分析模型进行主成分分析处理,得到第二特征样本矩阵,第二告警特征的数量小于告警状态的数量;将第二特征样本矩阵输入因子分析模型进行因子分析降维处理,得到第一特征样本矩阵,第一告警特征的数量小于第二告警特征的数量。
5、在一些可能的实施方式中,将第一特征样本矩阵和预设的各采样时刻的故障原因标签输入故障预测模型,得到第一告警特征对应的故障原因标签的概率分布,包括:提取第一特征样本矩阵中的一部分元素作为训练数据;通过深度学习算法,对训练数据和故障原因标签进行特征提取,得到第一告警特征对应的故障原因标签的概率分布。
6、在一些可能的实施方式中,该方法还包括:提取第一特征样本矩阵中除训练数据以外的另一部分元素作为校验数据;将校验数据输入故障预测模型,得到校验结果;将校验结果与训练结果进行相似度计算,得到相似度计算结果,相似度计算结果用于表示故障预测模型的准确率。
7、在一些可能的实施方式中,从全链路日志数据中,获取多个服务节点的告警状态样本矩阵,包括:对第一时间单元内的全链路日志数据进行序列化处理,得到第一时间单元内的序列化样本数据;对序列化样本数据进行归一化处理,得到告警状态样本矩阵。
8、本申请提供一种故障预测方法,该方法包括:从全链路日志数据中,获取多个服务节点的告警状态矩阵,告警状态矩阵用于表征第二时间单元内各采样时刻下各服务节点的告警状态;对告警状态矩阵进行故障分析降维处理,得到第一特征矩阵,第一特征矩阵用于表征各采样时刻下所述告警状态对应的第一告警特征;将第一特征矩阵输入故障预测模型,得到多个服务节点中的故障节点以及故障节点对应的故障原因标签的概率分布;概率分布用于指示故障节点出现故障的概率;故障原因标签用于指示故障节点出现故障的原因;故障预测模型是根据上述的训练方法训练得到的;根据概率分布,对故障节点进行故障告警。
9、在一些可能的实施方式中,将第一特征矩阵输入故障预测模型,得到多个服务节点中的故障节点以及故障节点对应的故障原因标签的概率分布,包括:将第一特征矩阵输入故障预测模型;通过深度学习算法,对第一特征矩阵中的元素进行特征提取,得到多个服务节点中的故障节点以及故障节点对应的故障原因标签的概率分布。
10、本申请提供一种故障预测模型的训练装置,该装置包括:样本数据采集模块,用于从全链路日志数据中,获取多个服务节点的告警状态样本矩阵;告警状态样本矩阵用于表征第一时间单元内各采样时刻下各服务节点的告警状态;样本数据处理模块,用于对告警状态样本矩阵进行故障分析降维处理,得到第一特征样本矩阵,第一特征样本矩阵用于表征各采样时刻下告警状态对应的第一告警特征;训练模块,将第一特征样本矩阵和预设的各采样时刻的故障原因标签输入故障预测模型,得到第一告警特征对应的故障原因标签的概率分布;故障原因标签用于指示多个服务节点出现故障的原因;基于概率分布,对故障预测模型进行迭代训练,直至故障预测模型收敛,得到训练后的故障预测模型;故障预测模型用于预测多个服务节点中的故障节点以及故障节点出现故障的原因。
11、在一些可能的实施方式中,样本数据处理模块,用于将告警状态样本矩阵输入主成分分析模型进行主成分分析处理,得到第二特征样本矩阵,第二特征样本矩阵用于表征各采样时刻下告警状态对应的第二告警特征,第二告警特征的数量小于告警状态的数量;将第二特征样本矩阵输入因子分析模型进行因子分析降维处理,得到第一特征样本矩阵,第一告警特征的数量小于第二告警特征的数量。
12、在一些可能的实施方式中,样本数据采集模块,还用于提取第一特征样本矩阵中的一部分元素作为训练数据;训练模块,还用于通过深度学习算法,对训练数据和故障标签进行特征提取,得到第一告警特征对应的故障原因标签的概率分布。
13、在一些可能的实施方式中,样本数据采集模块,还用于提取第一特征样本矩阵中的另一部分元素作为校验数据;样本数据处理模块,还用于将校验数据输入故障预测模型,得到校验结果;将校验结果与训练结果进行相似度计算,得到相似度计算结果,相似度计算结果用于表示故障预测模型的准确率。
14、在一些可能的实施方式中,样本数据处理模块,还用于对第一时间单元内的全链路日志数据进行序列化处理,得到第一时间单元内的序列化样本数据;对序列化样本数据进行归一化处理,得到告警状态样本矩阵。
15、本申请提供一种故障预测装置,该装置包括:数据采集模块,用于从全链路日志数据中,获取多个服务节点的告警状态矩阵,告警状态矩阵用于表征第二时间单元内各采样时刻下各服务节点的告警状态;数据处理模块,用于对告警状态矩阵进行故障分析降维处理,得到第一特征矩阵,第一特征矩阵用于表征各采样时刻下告警状态对应的第一告警特征;预测模块,用于将第一特征矩阵输入故障预测模型,得到多个服务节点中的故障节点以及故障节点对应的故障原因标签的概率分布;概率分布用于指示故障节点出现故障的概率;故障原因标签用于指示故障节点出现故障的原因;故障预测模型是根据如上述的训练方法训练得到;告警模块,用于根据概率分布,对故障节点进行故障告警。
16、本申请提供一种电子设备,包括:存储器,用于存储可执行本文档来自技高网...
【技术保护点】
1.一种故障预测模型的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的训练方法,其特征在于,所述对所述告警状态样本数据进行故障分析降维处理,得到第一特征样本矩阵,包括:
3.根据权利要求1所述的训练方法,其特征在于,所述将所述第一特征样本矩阵和预设的各采样时刻的故障原因标签输入故障预测模型,得到所述第一告警特征对应的故障原因标签的概率分布,包括:
4.根据权利要求3所述的训练方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的训练方法,其特征在于,所述从全链路日志数据中,获取多个服务节点的告警状态样本矩阵,包括:
6.一种故障预测方法,其特征在于,所述方法包括:
7.根据权利要求6所述的方法,其特征在于,所述将所述第一特征矩阵输入故障预测模型,得到所述多个服务节点中的故障节点以及所述故障节点对应的故障原因标签的概率分布,包括:
8.一种故障预测模型的训练装置,其特征在于,所述装置包括:
9.一种故障预测装置,其特征在于,所述装置包括:
10.一种电子设
11.一种计算机存储介质,存储有可执行指令或者计算机程序,其特征在于,所述可执行指令被处理器执行时实现权利要求1至5或6至7任一项所述的方法。
...【技术特征摘要】
1.一种故障预测模型的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的训练方法,其特征在于,所述对所述告警状态样本数据进行故障分析降维处理,得到第一特征样本矩阵,包括:
3.根据权利要求1所述的训练方法,其特征在于,所述将所述第一特征样本矩阵和预设的各采样时刻的故障原因标签输入故障预测模型,得到所述第一告警特征对应的故障原因标签的概率分布,包括:
4.根据权利要求3所述的训练方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的训练方法,其特征在于,所述从全链路日志数据中,获取多个服务节点的告警状态样本矩阵,包括:
【专利技术属性】
技术研发人员:王腾贺,邱春武,聂彦超,马超,
申请(专利权)人:新浪技术中国有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。