一种用于电力通信网的智能化告警归并方法及系统技术方案

本发明专利技术提出一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；先对数据进行告警特征提取、向量化、一次聚类、二次聚类，然后进行告警规则细化过程，最后完成告警分类与增量更新；本发明专利技术能克服现有电力通讯网中现有告警归并技术的缺陷，解决现有告警归并技术人力成本高昂、依赖于特定的应用场景以及难以跟上技术迭代的速度等问题，是一种高效率、高精度、高召回和强适应的智能化告警归并技术。应的智能化告警归并技术。应的智能化告警归并技术。

【技术实现步骤摘要】
一种用于电力通信网的智能化告警归并方法及系统


[0001]本专利技术涉及数据处理技术，尤其是一种用于电力通信网的智能化告警归并方法及系统。

技术介绍

[0002]电力通信网作为我国电力系统信息化的重要产物，为我国经济安全、快速、稳定发展的能源保障。而作为电力通信网的核心管理系统，电力通信管理系统(State Grid Telecom Management System，以下简称TMS系统)不仅为整个电力系统中的电网调度、自动化、继电保护、安全自动控制、电力市场交易以及企业信息化等提供安全的信息传输通道，同时还为电力通信网智能化运维提供了平台基础。TMS系统提供了大量关于电力通信网异常的数据，主要涉及SDH、OTN设备，覆盖光缆(传输光路)、传输设备、通信电源和机房环境数据。总的来说，这部分数据可以分为告警和缺陷单。告警是由于异常直接或间接相关的设备(端口、网元等)自动生成。由于电力通信网规模庞大、制造商告警规则缺少统一标准等复杂原因，告警数据具有数量繁多、种类复杂、表述不统一等特点。缺陷单是某一异常直接原因和间接原因的集合，能反映出异常发生的根本原因，同时也是分析电力通信网异常的重要依据。
[0003]电力通信网的告警归并技术是指将告警数据通过分类、筛查等方法生成多个告警簇的方法，其中每个告警簇中的告警应当大概率由同一缺陷导致。现有的告警归并技术主要依靠操作员的专家知识和从业经验，通过确定时间窗口大小，将时间窗口内的告警按照设备之间的业务、产权单位、子系统等关系进行告警的关联，再经过筛查、决策、核验、反馈等流程生成。
[0004]现有的告警归并方法存在以下的问题：
[0005](1)人力成本高昂：基于规则的告警归并方法需要运维人员依据运维经验人为总结规则，在归并过程当中核验矫正人工规则。因此这种基于规则的归并方法需要大规模的人力资源投入才能够始终维持规则的准确和完备。(2)依赖于特定的应用场景：由于组网方式的不同，设备的制造商不同，业务需求的不同，告警归并中依赖的规则需要结合不同的环境进行调整。这就导致了基于人工规则的告警归并方法的准确性和完备性高度依赖于应用场景。(3)迭代更新能力弱：随着电力通讯网信息化建设加深，新技术、新设备得到快速而广泛的应用，而现有归并技术需要操作员及时补足相关知识和从业经验以更新归并规则，这就导致目前的告警归并迭代更新能力弱。
[0006]如何解决上述问题，如何快速适应新技术，实现电力系统告警归并处理的自动化和智能化成为电力信息
一个亟待解决的技术难题。

技术实现思路

[0007]本专利技术提出一种用于电力通信网的智能化告警归并方法及系统，能克服现有电力通讯网中现有告警归并技术的缺陷，解决现有告警归并技术人力成本高昂、依赖于特定的
应用场景以及难以跟上技术迭代的速度等问题，是一种高效率、高精度、高召回和强适应的智能化告警归并技术。
[0008]本专利技术采用以下技术方案。
[0009]一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；各模块的功能如下：
[0010]告警特征提取模块的功能是：根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；告警向量化模块的功能是：从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；
[0011]告警一次聚类模块的功能是：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；
[0012]告警二次聚类模块的功能是：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；
[0013]告警规则细化模块的功能是：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内存在关联关系的设备；
[0014]告警分类与增量更新模块的功能是：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；
[0015]如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。
[0016]所述的告警规则细化模块功能的具体内容是：对于告警一次聚类模块所产生的每一个一次簇，把该一次簇中的告警数据按照告警时间进行排序，然后从第一条告警数据开始，在该一次簇中找出与第一条告警数据属于同一设备产权单位、同一设备子系统并且告
警时间在设定的时间段T1内的告警数据，把这些找出来的告警数据构成一个数据集S；在该数据集S中，找出与所述的第一条告警数据属于相同的设备并且告警时间差不超过设定阈值T2的告警数据，找出与所述的第一条告警数据存在端口有相同业务并且告警时间差不超过设定阈值T3的告警数据，找出与所述的第一条告警数据存在告警衍生关系并且告警时间差不超过设定阈值T4的告警数据，把前述找出来的告警数据和所述的第一条告警数据归并在一起，形成一个细化簇；把所述的细化簇里的告警数据从前述的数据集S和所述的一次簇中删除；对于当前的一次簇，重复前述操作，直到该一次簇中所有的告警数据完成细化归并。
[0017]所述的告警一次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于电力通信网的智能化告警归并系统，用于对告警数据库内的告警数据进行归并处理，其特征在于：所述系统包括告警特征提取模块、告警向量化模块、告警一次聚类模块、告警二次聚类模块、告警规则细化模块和告警分类与增量更新模块；各模块的功能如下：告警特征提取模块的功能是：根据告警流水号从告警数据库中提取出半结构化的告警数据，然后对告警数据进行去重、空值处理、数据对齐操作；再采用模块匹配的方法，把所述的告警数据生成结构化文本，提取出告警特征，所述告警特征包括如下字段：设备ID、设备类型、设备网元ID、设备网元名、告警种类、告警等级、告警时间、网络体系类型、告警流水号、设备产权单位、设备子系统；告警向量化模块的功能是：从所述的告警特征提取模块所提取的告警特征中，选取设备类型、设备网元ID、告警种类、网络体系类型4个非时间参数和告警时间1个时间参数一共5参数进行向量化处理；具体方法是：对所述的4个非时间参数按照独热编码的方式进行向量化，对所述的1个时间参数按照Unix时间戳毫秒精确度的格式进行向量化；最后把所述的5个参数的向量化结果顺序连接起来，构成告警数据向量；告警一次聚类模块的功能是：对所述的告警数据向量进行无监督一次聚类处理，把所有的告警数据向量分为不同的一次簇，每个一次簇对应一个设备缺陷；选取告警特征中所述的4个非时间参数和告警时间1个时间参数，构造一次簇聚类空间，每个一次簇在该一次簇聚类空间中有确定的一次簇边界，一次簇边界由一次簇边界点确定，所述的一次簇边界点即是处于一次簇边缘位置处的告警数据；告警二次聚类模块的功能是：基于簇间距离，对所述的告警一次聚类模块所产生的一次簇进行无监督二次聚类处理，生成二次簇和噪声，每个二次簇对应一类设备缺陷；选取设备类型、告警种类、告警等级、网络体系类型4个参数，构造二次簇聚类空间，每个二次簇在该二次簇聚类空间中有确定的二次簇边界，二次簇边界由二次簇边界点确定，所述的二次簇边界点即是处于二次簇边缘位置处的一次簇；告警规则细化模块的功能是：对告警一次聚类模块所产生的每一个一次簇里的告警数据进行细化归并，形成细化簇，以定位在设定的时间窗口内存在关联关系的设备；告警分类与增量更新模块的功能是：当新告警数据达到预定的数量后，由所述的告警一次聚类模块对新告警数据进行一次聚类，然后计算这些新产生的每一个一次簇与所述的告警二次聚类模块所产生的二次簇的二次簇边界点之间的簇间距离；如果该一次簇与二次簇的二次簇边界点之间的簇间距离小于设定的阈值，则完成该一次簇的分类即该一次簇内的告警数据与所述二次簇内的告警数据属于同一类别；如果该一次簇与二次簇的二次簇边界点之间的簇间距离不小于设定的阈值，则把该一次簇作为增量簇保留下来，当所述的增量簇在所述的二次簇聚类空间满足设定的分布条件后，则把这些增量簇合并为新的二次簇，完成增量更新；所述的设定的分布条件是指在二次簇聚类空间中设定空间大小的空间范围内，增量簇的数目大于预定值。2.根据权利要求1所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的告警规则细化模块功能的具体内容是：对于告警一次聚类模块所产生的每一个一次簇，把该一次簇中的告警数据按照告警时间进行排序，然后从第一条告警数据开始，在该一次簇中找出与第一条告警数据属于同一设备产权单位、同一设备子系统并且告警时间在设定的时间段T1内的告警数据，把这些找出来的告警数据构成一个数据集S；在该数据集S中，找出与所述的第一条告警数据属于相同的设备并且告警时间差不超过设定阈值T2的告警
数据，找出与所述的第一条告警数据存在端口有相同业务并且告警时间差不超过设定阈值T3的告警数据，找出与所述的第一条告警数据存在告警衍生关系并且告警时间差不超过设定阈值T4的告警数据，把前述找出来的告警数据和所述的第一条告警数据归并在一起，形成一个细化簇；把所述的细化簇里的告警数据从前述的数据集S和所述的一次簇中删除；对于当前的一次簇，重复前述操作，直到该一次簇中所有的告警数据完成细化归并。3.根据权利要求1所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的告警一次聚类模块对告警数据进行无监督一次聚类的具体内容是：对于告警数据集合D1中的所有告警数据，计算两告警数据向量之间的告警距离；以从告警数据中找出所有种子点，所述的种子点是指在其点邻域内的该种子点的邻点的数量超过设定数目N1的告警数据；所述的点邻域是指在告警数据向量空间中，以种子点为中心，告警距离不超过设定值R的空间范围；所述的邻点是指位于该种子点的邻域内的告警数据点；拿出一个种子点q1，放到一个空集合C1中；把种子点q1点邻域内的所有邻点放入集合C1中；如果种子点q1的邻点中p11也是种子点，则把p11的所有邻点也放入集合C1中；如果种子点p11的邻点中p12也是种子点，则把p12的所有邻点也放入集合C1中，依次类推；直到所有符合上述条件的告警数据都放入集合C1中，于是集合C1构成一个一次簇；从告警数据集合D1中删除集合C1，对新的告警数据集合D1，重复上述操作，直到所有种子点都完成一次聚类；最后，对于告警数据集合D1中剩余的告警数据作为噪声数据，不做处理。4.根据权利要求3所述的一种用于电力通信网的智能化告警归并系统，其特征在于：所述的计算两告警数据向量之间的距离的计算方法如下：设A和B是两个告警数据向量，A1和B1分别是两个告警数据中的设备类型分量，A2和B2分别是两个告警数据中的设备网元ID分量，A3和B3分别是两个告警数据中的告警种类分量，A4和B4分别是两个告警数据中的网络体系类型分量，A5和B5分别是两个告警数据向量中的告警时间分量，则A和B两个告警数据向量的距离按照如下公式计算：上式子中，d
AB
...

【专利技术属性】
技术研发人员：陈端云，施加轮，吴季桦，吴志康，王敬宇，朱鹏宇，巢玉坚，蔡新忠，徐士元，曹雄志，张昊，杨剑，陈功伯，苏素燕，吴子辰，李霁轩，丁士长，郭焘，
申请(专利权)人：北京邮电大学国网电力科学研究院有限公司国网江苏省电力有限公司，
类型：发明
国别省市：