一种基于智能运维平台大数据的数据采集方法技术

本发明专利技术涉及一种基于智能运维平台大数据的数据采集方法，智能运维平台对多种类型设备进行数据采集，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据，将采集的数据均进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储到数据库，定义并存储所有数据对象信息和数据对象，根据数据之间的紧密程度进行聚类，对聚类后的数据实现雷达图，在雷达图上显示不同设备对应的数据，进而与标准数据相对比，获得多种设备的故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理，实现不同设备的快速处置和分析预测，能及时发现多种类型设备的故障，方便平台统一告警管理。方便平台统一告警管理。方便平台统一告警管理。

【技术实现步骤摘要】
一种基于智能运维平台大数据的数据采集方法


[0001]本专利技术涉及数据采集
，具体为一种基于智能运维平台大数据的数据采集方法。

技术介绍

[0002]智能运维是一种将人工智能(AI)、机器学习(ML)或其他高级分析技术应用于业务和运营数据以建立关联并实时提供规范性和预测性答案的软件。这些洞察力产生实时的业务绩效KPI，使团队能够更快地解决事件，并帮助完全避免事件。
[0003]智能运维平台通过“监、管、控、智”助力运维及时预警、快速定位、故障自愈，保障业务系统的可用性，现有的智能运维平台不方便对不同设备相关信息数据进行分类分析处理，不能及时发现多种设备的故障，不能及时告警所关联的项目信息，不能统一地预先通知系统记录的具体处理人进行告警故障处理，无法可视化掌控设备相关态势，提前部署消除安全隐患，统筹管理困难，服务管理效率较低。

技术实现思路

[0004]本专利技术的目的在于提供一种基于智能运维平台大数据的数据采集方法，以解决不同设备的统筹管理困难，服务管理效率低的问题。
[0005]本专利技术提供了一种基于智能运维平台大数据的数据采集方法，其特征在于，包括以下步骤：S1、智能运维平台进行数据采集，所述数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台；智能运维平台对采集的数据进行分析，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据；S2、将结构化的数据进行标准化处理得到统一的标准数据；将非结构化或半结构化的数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储到数据库，将所有的标准数据按照数据类型的属性，定义并存储所有数据对象信息和数据对象；S3、将存储在数据库中的无用的标准数据过滤并剔除，将大量的标准数据分类并进行管理；根据数据之间的紧密程度进行聚类，通过数据的密度来考虑数据之间的可连接性；S4、对数据进行离线的智能化分析，对聚类后的数据形成雷达图，在雷达图上显示不同设备对应的数据，进而与标准数据相对比，获得多种设备的故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理。
[0006]进一步地，在所述步骤S1中，所述智能运维平台对设备进行数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台，收集智能运维平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用；同时在智能运维平台的采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片。
[0007]进一步地，所述步骤S1中的数据采集具体为，通过网络爬虫从一个或若干个初始网页的URL开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足设置的停止条件为止；在各个网页上收集相关数据将结构化的数据、非结构化和/或半结构化的数据从网页中提取出来。
[0008]进一步地，在所述步骤S2中，将结构化的数据进行标准化处理得到统一的标准数据，将从网页中提取出来的非结构化数据和/或半结构化数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储在本地的存储系统中。
[0009]进一步地，在所述步骤S2中，数据的标准化处理是通过归一化对所有数据点进行处理获得归一化数据点值，将所有数据定义为不同数据点，设定核心数据点阈值为Z，计算归一化数据点值z，z的计算方式为：；其中，X是其中一个数据点的值，Y为所有数据点的平均值，α为调节系数，β为所有数据点的标准偏差。
[0010]进一步地，所述步骤S3中将无用的标准数据过滤并剔除具体为，选取步骤S2中归一化数据点值z的绝对值大于核心数据点阈值Z的所有数据点保留，剔除其余不符合要求的数据点。
[0011]进一步地，将保留的数据点分类并进行管理，并根据数据之间的紧密程度进行聚类，保留的数据点即符合要求的数据点；首先整理数据点，所述数据点为保留的标准数据，根据输入的相似矩阵的生成方式构建数据点的相似矩阵S；根据相似矩阵S构建邻接矩阵W，构建度矩阵D；计算出拉普拉斯矩阵L；构建标准化后的拉普拉斯矩阵D
−
1/2
LD
−
1/2
；计算D
−
1/2
LD
−
1/2
最小的k1个特征值所各自对应的特征向量f；将各自对应的特征向量f组成的矩阵按行标准化，最终组成n
×
k1维的特征矩阵F；对特征矩阵F中的每一行作为一个k1维的数据点，共n个数据点，用输入的聚类方法进行聚类，聚类维数为k2；得到簇划分C(c1,c2,...c
k2
)。
[0012]进一步地，在步骤S4中，对得到的簇划分C进行离线的智能化分析，获取簇的数值特征均值同时标准化处理，此处标准化处理的步骤与所述步骤S2中标准化处理的步骤相同，绘制各簇对应的点线图，添加说明标签并显示雷达图。
[0013]进一步地，在步骤S4中，所述离线的智能化分析包括根因分析、趋势分析和日志分析。
[0014]进一步地，在步骤S1中，所述多种类型设备包括调度服务器、交换机、报警箱、防火墙、蓄电池、交换机、磁阵、Linux服务器、温湿度传感器和电源分配单元PDU。
[0015]与现有技术相比，本专利技术所达到的有益效果是：基于智能运维平台采集多种类型设备进行数据采集，对采集的结构化数据、非结构化和/或半结构化的数据均进行标准化处理，过滤去除无用或重复的数据，将数据进行聚类，并对数据进行离线的智能分析；通过对数据进行离线的智能化分析，深度挖掘数据，提升数据价值密度，对聚类后的数据实现雷达图，分类分析处理不同设备相关信息数据，进行同比环比统计作业，结合大数据统分功能，实现不同设备的快速处置和分析预测，能及时发现设备故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理，方便平台统一告警管理，从更高维度实现告警响应能力的统筹管理，从更高维度支持多个关联告警的合并开单，提升服务管理效率，可视化掌控设备相关态势，提前部署消除安全隐患。
附图说明
[0016]图1是本专利技术的方法流程示意图。
具体实施方式
[0017]在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。
[0018]请参阅图1，本专利技术提供一种技术方案，具体为一种基于智能运维平台大数据的数据采集方法，包括以下步骤：S1、智能运维平台进行数据采集，所述数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台；智能运维平台对采集的数据进行分析，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据；S2、将结构化的数据进行标准化处理得到统一的标准数据；将非结构化或半结构化的数据进行结构化处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能运维平台大数据的数据采集方法，其特征在于，包括以下步骤：S1、智能运维平台进行数据采集，所述数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台；智能运维平台对采集的数据进行分析，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据；S2、将结构化的数据进行标准化处理得到统一的标准数据；将非结构化或半结构化的数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储到数据库，将所有的标准数据按照数据类型的属性，定义并存储所有数据对象信息和数据对象；S3、将存储在数据库中的无用的标准数据过滤并剔除，将大量的标准数据分类并进行管理；根据数据之间的紧密程度进行聚类，通过数据的密度来考虑数据之间的可连接性；S4、对数据进行离线的智能化分析，对聚类后的数据形成雷达图，在雷达图上显示不同设备对应的数据，进而与标准数据相对比，获得多种设备的故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理。2.如权利要求1所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，在所述步骤S1中，所述智能运维平台对设备进行数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台，收集智能运维平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用；同时在智能运维平台的采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片。3.如权利要求2所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，所述步骤S1中的数据采集具体为，通过网络爬虫从一个或若干个初始网页的URL开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足设置的停止条件为止；在各个网页上收集相关数据将结构化的数据、非结构化和/或半结构化的数据从网页中提取出来。4.如权利要求3所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，在所述步骤S2中，将结构化的数据进行标准化处理得到统一的标准数据，将从网页中提取出来的非结构化数据和/或半结构化数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储在本地的存储系统中。5.如权利要求4所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，在所述步骤S2中，数据的标准化处理是通过归...

【专利技术属性】
技术研发人员：王兵，俞涛，罗述珍，
申请(专利权)人：中兴系统技术有限公司，
类型：发明
国别省市：