一种运维数据挖掘及合规检查方法与系统技术方案

本申请提供了一种运维数据挖掘及合规检查方法及系统，所述方法包含：获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。

【技术实现步骤摘要】
一种运维数据挖掘及合规检查方法与系统
本专利技术涉及数据管理，尤指代一种运维数据挖掘及合规检查方法与系统。
技术介绍
在当前数据管理领域中，随着业务范围的不断扩充以及新增应用系统陆续投产，维护部面临人力资源紧张，生产合规压力加重的问题。其中数据管理领域中，生产运维活动会产生大量告警、事件等运维数据。其以结构化或半结构化的形式存在。即使相似的报警，由于内容的差别无法直接合并统计；同时，对使用自然语言描述的事件内容，无法通过简单提炼语义规则进行识别。这都给运维行为分析带来困扰；由于海量运维行为数据的存在，安全合规检查多采用抽查方式进行，难以做到全量覆盖。而即使选择抽查，往往还会被形式各异的同类型告警或事件所困扰，人力成本和时间成本消耗较大。同时现有传统的数据维护方法也存在如下问题：1.现有问题因人工处理效率较低，无法及时曝光；2.原始数据不够直观，一线人员乃至管理人员无法直接从原始明细记录把握关键信息和趋势，无法得到参照和关联分析，形式不够动态，因此数据可利用率低；3.系统隐患未提前知悉；4.合规检查工作压力繁重，随着社会各行各业对生产安全合规工作的高度重视，监控和事件作为重点关注项目，本文档来自技高网...

【技术保护点】
1.一种运维数据挖掘及合规检查方法，其特征在于，所述方法包含：获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。

【技术特征摘要】
2018.04.24 CN 20181037116241.一种运维数据挖掘及合规检查方法，其特征在于，所述方法包含：获取运维数据信息，根据所述运维数据信息计算获得所述运维数据信息中非结构化数据；对所述非结构化数据进行分词处理，并将分词处理后的获得的文本模型转换为数字向量模型；根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型；根据所述运维数据处理模块对所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点；根据所述运维数据信息中结构化数据与所述数字向量模型进行聚类处理和/或获得所述数字向量模型的关键要素点获得结构化的运维数据，根据所述结构化的运维数据获得运维数据检查结果。2.根据权利要求1所述的运维数据挖掘及合规检查方法，其特征在于，对所述非结构化数据进行分词处理包含：通过jieba分词系统对所述非结构化数据进行分词。3.根据权利要求1所述的运维数据挖掘及合规检查方法，其特征在于，根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型包含：获取所述数字向量模型中的告警信息，根据所述告警信息和预设的期望相似度，通过二分K均值算法获得告警信息的聚类，根据所述告警信息的聚类获得运维数据处理模型。4.根据权利要求3所述的运维数据挖掘及合规检查方法，其特征在于，根据所述告警信息和预设的期望相似度，通过二分K均值算法获得告警信息的聚类包含：对低于所述预设的期望相似度的所述数字向量模型进行拆分，当所述数字向量模型大于或等于所述预设的期望相似度时，获得所述数字向量模型的归类信息；根据所述数字向量模型的归类信息获得告警信息的聚类。5.根据权利要求1所述的运维数据挖掘及合规检查方法，其特征在于，根据所述数字向量模型通过机器学习算法训练获得运维数据处理模型包含：获取所述数字向量模型的事件描述信息，通过朴素贝叶斯分类方法和预存训练集对所述事件描述信息进行类别标记，获得所述事件描述信息的类别；根据所述事件描述信息的类别获得所述事件描述信息中的关键要素点，根据所述...

【专利技术属性】
技术研发人员：赵林，郑佳卫，胡京，刘云涛，王欢，刘艳梅，刘伟民，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11