【技术实现步骤摘要】
本专利技术涉及计算机网络，尤其涉及一种基于分布式挖掘的告警数据处理方法、装置、设备及介质。
技术介绍
1、随着网络规模的迅速扩大以及云计算大数据技术的快速发展，大规模数据的存储、实时分析成为可能。然而，当前的移动通信支撑网是2/3/4/5g共存的异构网络，网络的分层异构特点使得传统的集中处理告警数据方法难以满足现有实时分析的要求。因此，现有技术采用分布式挖掘方法对支撑网告警数据进行实时处理。传统的分布式挖掘方法通常采用缩小增量学习和共享式投票的分布式算法实现告警频繁模式建模，这些方法虽然能够对分布式的数据进行实时分析，然而没有从全局的角度考虑数据样本分布的情况，因此容易导致由于告警事务数据分布不均匀造成的告警频繁相关性系数变动频繁问题，从而导致模型精度不高。
技术实现思路
1、本专利技术实施例提出一种基于分布式挖掘的告警数据处理方法、装置、设备及介质，通过采用多种算法以及贝叶斯神经网络模型与长短期记忆模型对告警数据进行处理，减少了现有算法的计算量，实现了从全局角度进行告警数据处理，提高了告警数据处理的精度。
2、为了实现上述目的，本专利技术实施例提供了一种基于分布式挖掘的告警数据处理方法，包括以下步骤：
3、获取各个服务器的第一告警事务数据；
4、对所述第一告警事务数据进行预处理，并采用关联规则算法得到局部频繁项集，以及所述局部频繁项集中各项集的支持度和置信度；
5、将预设的故障类型的标签值、所述局部频繁项集、所述支持度以及所述置信度
6、根据所述支持度分布以及所述置信度分布确定最小支持度以及最小置信度，并从所述局部频繁项集中筛选所述支持度不小于所述最小支持度且所述置信度不小于所述最小置信度的项集，得到全局频繁项集；
7、将所述全局频繁项集输入预设的长短期记忆模型，得到所述长短期记忆模型输出的告警故障类型以及对应的告警故障概率。
8、作为上述方案的改进，所述对所述第一告警事务数据进行预处理，并采用关联规则算法得到局部频繁项集，以及所述局部频繁项集中各项集的支持度和置信度，具体为：
9、根据聚类算法对所述第一告警事务数据进行聚类，得到第二告警事务数据；
10、根据滑动时间窗口算法对所述第二告警事务数据进行过滤，得到第三告警事务数据；
11、根据基于文本相似度的告警信息聚合算法对所述第三告警事务数据进行压缩，得到第四告警事务数据；
12、对所述第四告警事务数据采用所述关联规则算法，得到所述局部频繁项集，以及所述局部频繁项集中各项集的所述支持度和所述置信度。
13、作为上述方案的改进，所述根据基于文本相似度的告警信息聚合算法对所述第三告警事务数据进行压缩，得到第四告警事务数据，具体为：
14、根据基于文本相似度的告警信息相似度公式对所述第三告警事务数据进行计算，得到所述第三告警事务数据之间的告警信息相似度；
15、将所述告警信息相似度大于预设的相似度阈值的所述第三告警事务数据进行聚合，得到所述第四告警事务数据。
16、作为上述方案的改进，所述预设的贝叶斯神经网络模型的训练方法包括以下步骤：
17、获取所述局部频繁项集以及所述各项集的所述支持度和所述置信度，得到每一所述局部频繁项集对应的参数值以及神经网络的初始参数分布；
18、获取所述故障类型的标签值，根据所述标签值、所述局部频繁项集以及所述初始参数分布得到所述标签值与所述故障类型的预测值的交叉熵；
19、根据所述参数值、所述初始参数分布以及所述交叉熵得到损失函数，采用反向传播算法对贝叶斯深度学习神经网络进行多轮训练，输出支持度分布和置信度分布。
20、作为上述方案的改进，所述损失函数的计算公式为：
21、
22、其中，
23、
24、
25、
26、其中，q(wi|θi)为所述神经网络的参数分布，p(wi)为所述局部频繁项集对应的所述参数值，p(yj|w,xj)为所述预测值与所述标签值的所述交叉熵；wi为某一类告警事务项集的参数分布，服从均值为μi，方差为δi的高斯分布；δ1、δ2、δ、π为预设的超参数；ypred为根据局部频繁项集得出的所述故障类型的预测值；yj为基于告警事务项集所设定的所述故障类型的标签值。
27、作为上述方案的改进，所述根据所述支持度分布以及所述置信度分布确定最小支持度以及最小置信度，具体为：
28、根据所述支持度分布计算得到支持度均值以及支持度标准值；根据所述支持度均值以及所述支持度标准值计算得到最小支持度；
29、根据所述置信度分布计算得到置信度均值以及置信度标准值；根据所述置信度均值以及所述置信度标准值计算得到最小置信度。
30、作为上述方案的改进，所述预设的长短期记忆模型的训练方法包括以下步骤：
31、获取所述全局频繁项集；
32、将所述全局频繁项集输入隐含层进行训练；所述隐含层包括多个长短期记忆层；
33、将所述隐含层的输出结果输入激活函数，得到分类结果及其概率，输出所述告警故障类型以及对应的所述告警故障概率。
34、本专利技术实施例还提供了一种基于分布式挖掘的告警数据处理装置，包括：
35、数据获取模块，用于获取各个服务器的第一告警事务数据；
36、局部处理模块，用于对所述第一告警事务数据进行预处理，并采用关联规则算法得到局部频繁项集，以及所述局部频繁项集中各项集的支持度和置信度；
37、贝叶斯神经网络模块，用于将预设的故障类型的标签值、所述局部频繁项集、所述支持度以及所述置信度输入预设的贝叶斯神经网络模型，得到所述贝叶斯神经网络模型输出的支持度分布以及置信度分布；
38、全局筛选模块，用于根据所述支持度分布以及所述置信度分布确定最小支持度以及最小置信度，并从所述局部频繁项集中筛选所述支持度不小于所述最小支持度且所述置信度不小于所述最小置信度的项集，得到全局频繁项集；
39、长短期记忆模块，用于将所述全局频繁项集输入预设的长短期记忆模型，得到所述长短期记忆模型输出的告警故障类型以及对应的告警故障概率。
40、本专利技术实施例还提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，且所述计算机程序被配置为由所述处理器执行，所述处理器执行所述计算机程序时实现上述任一实施例所述的基于分布式挖掘的告警数据处理方法。
41、本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现上述任一实施例所述的基于分布式挖掘的告警数据处理方法。
42、相对于现有技术，本专利技术实施例提供的一种基于分布式本文档来自技高网...
【技术保护点】
1.一种基于分布式挖掘的告警数据处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述对所述第一告警事务数据进行预处理，并采用关联规则算法得到局部频繁项集，以及所述局部频繁项集中各项集的支持度和置信度，具体为：
3.如权利要求2所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述根据基于文本相似度的告警信息聚合算法对所述第三告警事务数据进行压缩，得到第四告警事务数据，具体为：
4.如权利要求1所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述预设的贝叶斯神经网络模型的训练方法包括以下步骤：
5.如权利要求4所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述损失函数的计算公式为：
6.如权利要求1所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述根据所述支持度分布以及所述置信度分布确定最小支持度以及最小置信度，具体为：
7.如权利要求1所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述预设的长短期记忆模型的训练方法包括以下步骤：
8.一种基于分布式挖掘的告警数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，且所述计算机程序被配置为由所述处理器执行，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于分布式挖掘的告警数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如权利要求1至7中任意一项所述的基于分布式挖掘的告警数据处理方法。
...【技术特征摘要】
1.一种基于分布式挖掘的告警数据处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述对所述第一告警事务数据进行预处理，并采用关联规则算法得到局部频繁项集，以及所述局部频繁项集中各项集的支持度和置信度，具体为：
3.如权利要求2所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述根据基于文本相似度的告警信息聚合算法对所述第三告警事务数据进行压缩，得到第四告警事务数据，具体为：
4.如权利要求1所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述预设的贝叶斯神经网络模型的训练方法包括以下步骤：
5.如权利要求4所述的基于分布式挖掘的告警数据处理方法，其特征在于，所述损失函数的计算公式为：
6.如权利要求1所述的基于分布式挖掘的告警数据...
【专利技术属性】
技术研发人员：万能，杜翠凤，曾进，唐天彪，罗春艳，宫辉，
申请(专利权)人：中电科普天科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。