一种基于大数据的自愈规则挖掘方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于大数据的自愈规则挖掘方法及装置，其中，方法包括：采集业务数据、性能数据以及日志数据作为样本数据；对所述样本数据进行预处理，将所述样本数据转换为适用于数据挖掘的形式；对预处理后的样本数据进行关联规则挖掘，获得一定数量的强关联规则，每一条强关联规则中至少包括业务数据和性能数据；对所述强关联规则进行验证，若所述强关联规则必然对应异常现象出现，则将所述强关联规则作为自愈规则。本发明专利技术实施例极大程度减少对人为经验的依赖，同时减少专业人员的精力投入，节省了大量人力。

A self-healing rule mining method and device based on big data

【技术实现步骤摘要】
一种基于大数据的自愈规则挖掘方法及装置
本专利技术涉及数据挖掘
，更具体地，涉及基于大数据的自愈规则挖掘方法及装置。
技术介绍
电信行业为适应用户数不断增长，以及业务类型不断扩展，业务受理系统设计也随之发展，呈现出架构关系复杂、节点规模庞大、系统更新频繁等特点。面对如此复杂、庞大又多变的“超级”系统，运维人员仍要保持异常快速恢复的目标，是一项巨大的挑战。如何在复杂、庞大、多变的系统中快速定位细微异常并快速解决，现行主流方案是通过运维自动化方式来实现，针对此类情况的自动化方式主要采用的是自愈手段，自愈过程依赖于自动化流程驱动，其中判定自愈的规则依据是整个自愈的内核，如何制定规则目前常见的解决方式如下：方案一：引用业界通用规则，基于业界公认的运行指标信息作为依据，生成自愈规则，例如硬件的运行指标CPU使用率、内存使用率等。但目前被业界广泛认可的只有主机、网络等通用设备的规则指标，而超出这个范畴的其他异常点则是盲区，在实际应用中，往往这些盲区是异常高发点，从规则适用范围来看，引用通用规则的自愈比较片面，规则适用范围较少。方案二：本文档来自技高网...

【技术保护点】
1.一种自愈规则的挖掘方法，其特征在于，包括：/n采集业务数据、性能数据以及日志数据作为样本数据；/n对所述样本数据进行预处理，将所述样本数据转换为适用于数据挖掘的形式；/n对预处理后的样本数据进行关联规则挖掘，获得一定数量的强关联规则，每一条强关联规则中至少包括业务数据和性能数据；/n对所述强关联规则进行验证，若所述强关联规则必然对应异常现象出现，则将所述强关联规则作为自愈规则。/n

【技术特征摘要】
1.一种自愈规则的挖掘方法，其特征在于，包括：
采集业务数据、性能数据以及日志数据作为样本数据；
对所述样本数据进行预处理，将所述样本数据转换为适用于数据挖掘的形式；
对预处理后的样本数据进行关联规则挖掘，获得一定数量的强关联规则，每一条强关联规则中至少包括业务数据和性能数据；
对所述强关联规则进行验证，若所述强关联规则必然对应异常现象出现，则将所述强关联规则作为自愈规则。


2.根据权利要求1所述的挖掘方法，其特征在于，所述对所述样本数据进行预处理，之前还包括：
通过流式处理将采集的指标值进行标签化，并根据标签化的类型将样本数据存储在对应的数据库表中；
相应地，所述对预处理后的样本数据进行关联规则挖掘，具体为：
根据用户确定的标签，从所述确定的标签对应的数据库表中提取样本数据进行关联规则挖掘。


3.根据权利要求1所述的挖掘方法，其特征在于，所述关联规则挖掘的算法为Apriori算法。


4.根据权利要求1所述的挖掘方法，其特征在于，所述对所述强关联规则进行验证，具体为采用随机森林模型对强关联规则进行验证。


5.根据权利要求1所述的挖掘方法，其特征在于，所述对所述样本数据进行预处理，具体为：
对所述样本数据进行数据清理，包括：删除重复数据和无关数据、对噪声数据进行平滑处理以及对异常数据和缺失数据进行插补；
对数据清理后的样本数据进行维归约处理，舍弃的样本数据；
通过平滑聚集和数据概化的方式将维归约处理后剩余的样本数据转换为适用...

【专利技术属性】
技术研发人员：王璇，舒锋，戴安妮，竺士杰，
申请(专利权)人：中国移动通信集团浙江有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：浙江;33