大数据网络系统的故障诊断方法和装置制造方法及图纸

本发明专利技术实施例提供一种大数据网络系统的故障诊断方法和装置，该方法包括：从网络系统中的历史数据中提取故障信息，形成训练样本数据，训练得到能够进行故障诊断的深层和积网络模型，基于该深层和积网络模型对网络系统的故障进行诊断。本发明专利技术实施例解决了大数据网络系统故障诊断难的问题。

Fault diagnosis method and device for large data network system

The embodiment of the invention provides a method and a device for fault diagnosis of a large data network system, the method includes: extracting fault information from the historical data network system in the form of training data, the training can get deep fault diagnosis and integrated network model, based on the deep and product network model of the network system the diagnosis. The embodiment of the invention solves the problem that the fault diagnosis of the large data network system is difficult.

【技术实现步骤摘要】

本专利技术实施例涉及大数据处理领域，并且更为具体地，涉及一种大数据网络系统的故障诊断方法和装置。
技术介绍
故障诊断是指利用各种检查和测试方法，对系统的状态和异常情况进行判断、并对故障的类型或故障产生的原因进行定位，最终给出解决方案，实现故障恢复的过程。故障诊断是很多工业系统中的重要过程。近年来，随着现代工业呈现不断大型化、复杂化的趋势，故障诊断越来越重要，同时对于故障诊断技术的挑战也越来越大。传统的故障诊断方式主要有两种，一种是建立精确的故障诊断模型，另一种是基于专家的经验进行诊断，以上两种故障诊断模式主要适用于简单系统的故障诊断。但是，大数据网络系统(例如电信运营商的网络、大型数据中心网络等)数据种类多种多样，既包括结构化数据，如数据库中的数据，也包括非结构化数据，如图形，文本等。此外，大数据网络系统每天会产生海量的数据，网络系统故障表现的症状以及导致网络系统故障的原因也多种多样，很难依靠传统的故障诊断方法进行诊断。
技术实现思路
本专利技术实施例提供一种大数据网络系统的故障诊断方法和装置，以解决大数据网络系统的故障诊断难的问题。第一方面，提供一种大数据网络系统的故障诊断方法，包括：获取所述网络系统的历史数据，所述历史数据为异质数据，所述异质数据包括结构化数据和非结构化数据，所述历史数据包括故障信息，用于描述所述网络系统的多次故障的原因和症状；从所述结构化数据的结构化字段、以及所述非结构化数据的数据内容中获取所述故障信息，以确定故障相关的随机变量的多组取值，其中，所述故障相关的随机变量的一组取值用于指示所述网络系统的一次故障的症状和原因的关联关系，所述故障相关的随机变量包括第一类随机变量和第二类随机变量，所述第一类随机变量用于表征所述网路系统的故障的症状，所述第二类随机变量用于表征所述网络系统的故障的原因；将所述故障相关的随机变量的多组取值作为训练样本数据，训练深层和积网络模型；根据所述网络系统的当前故障所表现的症状，为所述第一类随机变量赋值；根据所述第一类随机变量的赋值，通过所述深层和积网络模型，确定所述第二类随机变量的边缘概率或条件概率；根据所述第二类随机变量的边缘概率或条件概率，推断所述当前故障的原因。结合第一方面，在第一方面的一种实现方式中，所述将所述故障相关的随机变量的多组取值作为训练样本数据，训练深层和积网络模型，包括：根据所述多组取值，生成数值矩阵，所述数值矩阵的每一行对应所述网络系统的多次故障中的一次故障，所述数值矩阵的每一列对应所述故障相关的随机变量中的一个变量；将所述数值矩阵划分成大小相等的m×n个第一子矩阵，其中，m和n均为正整数，且m和n之和大于等于2；根据所述m×n个第一子矩阵，采用分布式训练的方式，得到m×n个和积网络模型；根据所述m×n个和积网络模型，确定所述深层和积网络模型。结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述m×n个和积网络模型，确定所述深层和积网络模型，包括：将所述m×n个第一子矩阵中的位于同一行的第一子矩阵训练而成的和积网络模型求积，得到m个中间和积网络模型；将所述m个中间和积网络模型求和，得到所述深层和积网络模型。结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述m×n个和积网络模型，确定所述深层和积网络模型，包括：将所述m×n个第一子矩阵中的位于同一列的第一子矩阵训练而成的和积网络模型求和，得到n个中间和积网络模型；将所述n个中间和积网络模型求积，得到所述深层和积网络模型。结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述m×n个和积网络模型，确定所述深层和积网络模型，包括：生成以所述m×n个和积网络模型为元素的目标矩阵；基于随机变量的独立性检验和混合概率模型估计，递归地对所述目标矩阵进行分裂，得到所述深层和积网络模型，其中，所述深层和积网络以所述m×n个和积网络模型为叶子节点。结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述从所述结构化数据的结构化字段、以及所述非结构化数据的数据内容中获取所述故障信息，以确定故障相关的随机变量的多组取值，包括：根据所述结构化数据中的结构化字段的取值范围，将所述结构化字段中的信息离散化，以确定所述故障相关的随机变量的取值；和/或利用命名实体识别算法、关键词抽取算法、关系抽取算法、文本分类算法中的至少一种，对所述非结构化数据的数据内容进行信息抽取，以确定所述故障相关的随机变量的取值。结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述结构化数据为数据库中的数据，所述根据所述结构化数据中的结构化字段的取值范围，将所述结构化字段中的信息离散化，以确定所述故障相关的随机变量的取值，包括：根据所述数据库中的每一列对应的字段的取值范围，将所述数据库逐列进行离散化，得到所述故障相关的随机变量的取值。第二方面，提供一种大数据网络系统的故障诊断装置，包括：获取模块，用于获取所述网络系统的历史数据，所述历史数据为异质数据，所述异质数据包括结构化数据和非结构化数据，所述历史数据包括故障信息，用于描述所述网络系统的多次故障的原因和症状；提取模块，用于从所述结构化数据的结构化字段、以及所述非结构化数据的数据内容中获取所述故障信息，以确定故障相关的随机变量的多组取值，其中，所述故障相关的随机变量的一组取值用于指示所述网络系统的一次故障的症状和原因的关联关系，所述故障相关的随机变量包括第一类随机变量和第二类随机变量，所述第一类随机变量用于表征所述网路系统的故障的症状，所述第二类随机变量用于表征所述网络系统的故障的原因；训练模块，用于将所述故障相关的随机变量的多组取值作为训练样本数据，训练深层和积网络模型；赋值模块，用于根据所述网络系统的当前故障所表现的症状，为所述第一类随机变量赋值；确定模块，用于根据所述第一类随机变量的赋值，通过所述深层和积网络模型，确定所述第二类随机变量的边缘概率或条件概率；推断模块，用于根据所述第二类随机变量的边缘概率或条件概率，推断所述当前故障的原因。结合第二方面，在第二方面的一种实现方式中，所述训练模块具体用于根据所述多组取值，生成数值矩阵，所述数值矩阵的每一行对应所述网络系统的多次故障中的一次故障，所述数值矩阵的每一列对应所述故障相关的随机变量中的一个变量；将所述数值矩阵划分成大小相等的m×n个第一子矩阵，其中，m和n均为正整数，且m和n之和大于等于2；根据所述m×n个第一子矩阵，采用分布式训练的方式，得到m×n个和积网络模型；根据所述m×n个和积网络模型，确定所述深层和积网络模型。结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述训练模块具体用于将所述m×n个第一子矩阵中的位于同一行的第一子矩阵训练而成的和积网络模型求积，得到m个中间和积网络模型；将所述m个中间和积网络模型求和，得到所述深层和积网络模型。结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述训练模块具体用于将所述m×n个第一子矩阵中的位于同一列的第一子矩阵训练而成的和积网络模型求和，得到n个中间和积网络模型；将所述n个中间和积网络模型本文档来自技高网...

【技术保护点】
一种大数据网络系统的故障诊断方法，其特征在于，包括：获取所述网络系统的历史数据，所述历史数据为异质数据，所述异质数据包括结构化数据和非结构化数据，所述历史数据包括故障信息，所述故障信息用于描述所述网络系统的多次故障的原因和症状；从所述结构化数据的结构化字段、以及所述非结构化数据的数据内容中获取所述故障信息，以确定故障相关的随机变量的多组取值，其中，所述故障相关的随机变量的一组取值用于指示所述网络系统的一次故障的症状和原因的关联关系，所述故障相关的随机变量包括第一类随机变量和第二类随机变量，所述第一类随机变量用于表征所述网路系统的故障的症状，所述第二类随机变量用于表征所述网络系统的故障的原因；将所述故障相关的随机变量的多组取值作为训练样本数据，训练深层和积网络模型；根据所述网络系统的当前故障所表现的症状，为所述第一类随机变量赋值；根据所述第一类随机变量的赋值，通过所述深层和积网络模型，确定所述第二类随机变量的边缘概率或条件概率；根据所述第二类随机变量的边缘概率或条件概率，推断所述当前故障的原因。

【技术特征摘要】
1.一种大数据网络系统的故障诊断方法，其特征在于，包括：获取所述网络系统的历史数据，所述历史数据为异质数据，所述异质数据包括结构化数据和非结构化数据，所述历史数据包括故障信息，所述故障信息用于描述所述网络系统的多次故障的原因和症状；从所述结构化数据的结构化字段、以及所述非结构化数据的数据内容中获取所述故障信息，以确定故障相关的随机变量的多组取值，其中，所述故障相关的随机变量的一组取值用于指示所述网络系统的一次故障的症状和原因的关联关系，所述故障相关的随机变量包括第一类随机变量和第二类随机变量，所述第一类随机变量用于表征所述网路系统的故障的症状，所述第二类随机变量用于表征所述网络系统的故障的原因；将所述故障相关的随机变量的多组取值作为训练样本数据，训练深层和积网络模型；根据所述网络系统的当前故障所表现的症状，为所述第一类随机变量赋值；根据所述第一类随机变量的赋值，通过所述深层和积网络模型，确定所述第二类随机变量的边缘概率或条件概率；根据所述第二类随机变量的边缘概率或条件概率，推断所述当前故障的原因。2.如权利要求1所述的方法，其特征在于，所述将所述故障相关的随机变量的多组取值作为训练样本数据，训练深层和积网络模型，包括：根据所述多组取值，生成数值矩阵，所述数值矩阵的每一行对应所述网络系统的多次故障中的一次故障，所述数值矩阵的每一列对应所述故障相关的随机变量中的一个变量；将所述数值矩阵划分成大小相等的m×n个第一子矩阵，其中，m和n均为正整数，且m和n之和大于等于2；根据所述m×n个第一子矩阵，采用分布式训练的方式，得到m×n个和积网络模型；根据所述m×n个和积网络模型，确定所述深层和积网络模型。3.如权利要求2所述的方法，其特征在于，所述根据所述m×n个和积
\t网络模型，确定所述深层和积网络模型，包括：将所述m×n个第一子矩阵中的位于同一行的第一子矩阵训练而成的和积网络模型求积，得到m个中间和积网络模型；将所述m个中间和积网络模型求和，得到所述深层和积网络模型。4.如权利要求2所述的方法，其特征在于，所述根据所述m×n个和积网络模型，确定所述深层和积网络模型，包括：将所述m×n个第一子矩阵中的位于同一列的第一子矩阵训练而成的和积网络模型求和，得到n个中间和积网络模型；将所述n个中间和积网络模型求积，得到所述深层和积网络模型。5.如权利要求2所述的方法，其特征在于，所述根据所述m×n个和积网络模型，确定所述深层和积网络模型，包括：生成以所述m×n个和积网络模型为元素的目标矩阵；基于随机变量的独立性检验和混合概率模型估计，递归地对所述目标矩阵进行分裂，得到所述深层和积网络模型，其中，所述深层和积网络以所述m×n个和积网络模型为叶子节点。6.如权利要求1-5中任一项所述的方法，其特征在于，所述从所述结构化数据的结构化字段、以及所述非结构化数据的数据内容中获取所述故障信息，以确定故障相关的随机变量的多组取值，包括：根据所述结构化数据中的结构化字段的取值范围，将所述结构化字段中的信息离散化，以确定所述故障相关的随机变量的取值；和/或利用命名实体识别算法、关键词抽取算法、关系抽取算法、文本分类算法中的至少一种，对所述非结构化数据的数据内容进行信息抽取，以确定所述故障相关的随机变量的取值。7.如权利要求6所述的方法，其特征在于，所述结构化数据为数据库中的数据，所述根据所述结构化数据中的结构化字段的取值范围，将所述结构化字段中的...

【专利技术属性】
技术研发人员：蒋欣，李航，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44