System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于近似依赖规则的无线通信网络异常检测方法技术_技高网
当前位置: 首页 > 专利查询>云南大学专利>正文

一种基于近似依赖规则的无线通信网络异常检测方法技术

技术编号:41140983 阅读:23 留言:0更新日期:2024-04-30 18:10
本发明专利技术涉及智慧运维技术领域,具体提出一种基于近似依赖规则的无线通信网络异常检测方法,该方法包括以下步骤:基于网络运维数据及关键特征指标类别信息,高效构建描述关键特征指标间依赖关系及其不确定性的运维概率图;根据关键特征指标之间的可信互信息实现近似函数依赖挖掘,使用运维概率图结构对冗余依赖进行剪枝、使用评分上界对低评分依赖进行剪枝,以提升挖掘效率;选择对网络状态异常样本敏感的近似函数依赖作为近似依赖规则;使用核心元组和高频元组两种策略对网络监控工具采集的网络参数数据进行异常检测。本发明专利技术能准确检测出状态异常的网络,还可根据规则推断产生网络异常的原因。

【技术实现步骤摘要】

本专利技术涉及智慧运维,具体提出了一种基于近似依赖规则的无线通信网络异常检测方法


技术介绍

1、无线通信网络异常检测,旨在从网络监控工具采集到的参数数据中及时准确地发现状态异常的无线通信网络,帮助网络管理及运维人员准确定位并解决网络故障,为无线通信网络稳定运行提供技术保障。然而,无线通信网络的特征指标众多、且指标间存在复杂的关联,正常网络状态和异常网络状态下指标间的规则也不相同。传统的无线通信网络异常检测,主要基于网络运维人员的工作经验,对人工认定重要的网络特征指标设定门限值,根据数据是否超过门限值进行异常检测,当面对数量多且存在复杂关联的网络特征指标时,其准确性和人工成本已无法满足当前新基建快速推进的需求,也无法满足网络维护人员精准发现网络异常并快速定位异常原因的需要。如何通过数据分析和规则挖掘方法,对网络运行的参数数据进行异常检测,成为了目前亟待解决的问题,具有重要的现实意义。

2、基于关联规则的方法根据待检测数据是否违反关联规则进行异常检测,网络维护人员可通过规则推断网络异常原因,从而更好地解决网络故障。例如,马帅等(专利<(一种面向控制过程的异常检测系统)202011276874.1>,2020)通过无监督的方式从正常数据中挖掘非冗余的关联规则,对违背关联规则的测试数据,根据数据连续违背规则的时长和容忍度,判断数据是否异常,能有效减少误报并提高检测效率。杜嘉伟等(<智能计算机与应用(基于改进模糊fp-growth的异常检测算法)>,2022)构建两层频繁模式树来挖掘关联规则,第一层通过随机采样挖掘长频繁项集,第二层根据长频繁项集挖掘强关联规则集,使用该方法挖掘的关联规则对黑箱数据异常检测有较高的准确率和召回率。然而,此类方法不适用于有监督的异常检测,难以有效利用网络运行日志中网络状态异常的样本,只对网络异常数据挖掘敏感关联规则,导致异常检测准确率较低,且此类方法只能对训练数据中存在的属性值挖掘关联规则,对新数据会出现规则缺失的问题,导致异常检测召回率较低。

3、基于深度神经网络的异常检测方法,使用深度神经网络可学习到复杂的数据特征,从而具有较高的准确率和召回率。例如,尚文利等(<电子学报(基于sae-lstm的工艺数据异常检测方法)>,2021)对工艺数据进行相关性分析和向量映射等处理,采用堆叠自编码神经网络对工艺数据特征进行降维,并基于长短期记忆神经网络设计异常检测模型,有效提高了工艺数据异常检测的准确率。周业瀚等(<南京大学学报(基于生成式对抗网络的自监督多元时间序列异常检测方法)>,2023)首先使用对比学习方法得到多元时序数据的表示向量,再将具有先验信息的表示向量作为输入来训练生成对抗网络,通过生成对抗网络的重构误差来确定异常,该方法针对异常点和异常段两种不同类型的异常检测具有良好的表现。然而,此类方法存可解释性差、且无法推断产生异常的原因。

4、基于关联规则的异常检测方法,由于关联规则描述的是属性值之间的依赖关系,导致规则缺失、不适用于有监督的异常检测,针对无线通信网络异常检测任务的准确率和召回率都较低。近似函数依赖(approximate functional dependency,afd)描述了属性之间的依赖关系,可解决上述关联规则在无线通信网络异常检测任务中存在的问题,然而现有的afd挖掘方法效率较低,难以处理具有较多网络特征指标的运维数据的分析及相应的异常检测任务。

5、为克服上述公知方法准确率和召回率较低、无法推断无线通信网络异常原因,以及现有afd挖掘方法效率低的问题,本专利技术公开了一种基于近似依赖规则(approximatedependency rule, adr)的无线通信网络异常检测方法。


技术实现思路

1、针对基于关联规则的异常检测方法准确率和召回率较低、基于深度神经网络的异常检测方法无法推断网络异常原因的问题,本专利技术提出了一种基于近似依赖规则的无线通信网络异常检测方法,结合概率图模型、条件独立性分析及可信互信息,高效地挖掘近似依赖规则,并利用近似依赖规则对无线通信网络运行日志的参数数据进行异常检测,为网络运维人员精准发现状态异常的网络并推断异常原因提供科学依据。

2、为实现以上目的,本专利技术通过以下技术方案予以实现:一种基于近似依赖规则的无线通信网络异常检测方法,该方法包括以下步骤:

3、step1、运维概率图的构建:从网络监控工具采集的网络参数和故障日志构建网络运维数据集,从网络特征指标中选出与网络状态强相关的关键特征指标集,对连续型关键特征指标的数据进行离散化处理,得到关键运维数据集,并根据关键特征指标的类别信息及关键运维数据集中网络状态为“正常”的样本,分别构建区域内和区域间概率图(probabilistic graph, pg),得到描述关键特征指标依赖关系及其不确定性的运维概率图(operation pg, opg);

4、step2、近似函数依赖搜索:先根据opg的结构,将关键特征指标间afd的搜索限制在各个相关指标组中,基于条件独立性分析方法对冗余afd进行剪枝并生成候选afd集,根据关键运维数据集中的正常样本计算候选afd的可信互信息(believablemutualinformation, bmi)评分,并使用评分上界对低评分的候选afd进行剪枝,最后为每个关键特征指标选择评分最高的k个候选afd;

5、step3、近似依赖规则筛选:根据关键运维数据集中网络状态为“异常”的样本对afd的影响度,筛选step2中的afd,得到对异常样本敏感的adr;

6、step4、无线通信网络异常检测:使用待检测的网络参数样本和运维数据中的正常样本构造测试数据集,根据step3中的adr,在正常样本中挖掘核心元组、在测试数据集中挖掘高频元组,对违反核心元组的样本判断其网络状态为异常,对违反高频元组的样本使用异常代价判断其网络状态是否异常。

7、优选的,step1具体包括,关键特征指标筛选、连续型关键特征指标数据离散化和运维概率图的构建;

8、step1.1关键特征指标筛选

9、无线通信网络运行过程中,多种平台的网络监控工具定时采集网络参数数据,包括采集时间、网络标识、网络所在地区等公共字段及反映网络运行状况的参数,当用户投诉或运维人员发现网络故障时,故障日志记录了故障网络的网络标识和故障发生时间等信息。基于网络参数和故障日志构建网络运维数据集,,,,,,为中任一网络参数样本,,,,为正常样本,,,,为异常样本,每条网络参数样本都记录了网络特征指标集,,,,,的取值,其中,表示第个网络特征指标,,,,中网络特征指标的取值为连续型数据,,,,中网络特征指标的取值为离散型数据。

10、在网络特征指标集中只有部分网络特征指标与网络状态是否异常相关,不相关的网络特征指标对异常检测效果无益且会导致效率低下。因此,本专利技术使用relief算法筛选对网络状态具有重要影响的关键特征指标,具体步本文档来自技高网...

【技术保护点】

1.一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述Step1具体包括,关键特征指标筛选、连续型关键特征指标数据离散化和运维概率图的构建;

3.根据权利要求2所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

4.根据权利要求3所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

5.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述Step2具体包括,近似函数依赖搜索空间剪枝和候选近似函数依赖评分计算;

6.根据权利要求5所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

7.根据权利要求6所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

8.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述Step3具体为基于影响度的近似依赖规则筛选,按照公式(11)计算AFD集中每条AFD:的影响度,并设定阈值,通过检索找到所有满足的AFD,构建用于无线通信网络异常检测的ADR集,,,,其中,为第条ADR;

9.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述Step4具体包括测试数据集构造、基于核心元组异常检测和基于高频元组异常检测。

10.根据权利要求9所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

...

【技术特征摘要】

1.一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述step1具体包括,关键特征指标筛选、连续型关键特征指标数据离散化和运维概率图的构建;

3.根据权利要求2所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

4.根据权利要求3所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

5.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述step2具体包括,近似函数依赖搜索空间剪枝和候选近似函数依赖评分计算;

6.根据权利要求5所述的一种基于近似依赖规则的无线通信网络...

【专利技术属性】
技术研发人员:姚子杰段亮陈睿杰岳昆普宏林孙磊
申请(专利权)人:云南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1