一种用于智慧运维基础设施数据采集的方法技术

本发明专利技术公开了一种用于智慧运维基础设施数据采集的方法，包括以下步骤：步骤1，对多元数据采集协议进行集中封装；步骤2，对集中封装后的数据采集协议的通道模版进行配置；步骤3，基于算法及计算框架，对已封装好的数据采集协议的通道进行自适应组合调用；步骤4，基于弹性伸缩的方式进行具备自动负载均衡能力的分布式数据采集；步骤5，数据采集后通过标准化数据输出格式并提供统一对外接口API供使用者进行数据使用。本方法具有可集中、智能化、自动弹性伸缩、自动负载均衡、性能冗余、性能智能计算及采集任务自动分配等优点，适用于智慧运维领域多品牌多类型多协议的基础设施数据采集场景。多品牌多类型多协议的基础设施数据采集场景。多品牌多类型多协议的基础设施数据采集场景。

【技术实现步骤摘要】
一种用于智慧运维基础设施数据采集的方法


[0001]本专利技术涉及一种数据采集的方法，特别是一种用于智慧运维基础设施数据采集的方法。

技术介绍

[0002]近年来，在智慧运维管理领域中，随着IT维护工作量和工作难度越来越大，各行业用户业务正常开展对IT基础设施的可用性、稳定性要求越来越高，依赖性也越来越强。随着信息化水平不断提高。IT基础设施软硬件资源将变得更加复杂，对运维支撑能力、资源支撑能力等提出更高的要求。
[0003]另一方面，各行业用户不断引进了大量不同厂商、品牌、型号的软硬件资源，如：服务器/主机、网络设备、安全设备、存储、虚拟化、数据库、中间件、安防摄像头、物联网设备等基础设施资源设备，大规模的IT基础设施带来海量的IT运维基础数据，半结构和完全非结构化的运维数据快速涌现(文本日志、视频、Dump文件)，亟待整合到日常的运维数据中。然而，在当今环境越来越复杂的情况下，传统的基础设施运维管理方式无法满足当前复杂、异构、海量运维数据的运维场景。频繁的故障对IT基础设施的投入和效益越来越不成正比，严重地制约了信息化建设成果的发挥。同时，数据采集方式繁多且复杂，导致IT基础设施内部环境非常的复杂，管理难度大，难以实现IT基础设施资源适配及集中管理，难以实现统一的决策和支撑，耗费大量的时间精力。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种用于智慧运维基础设施数据采集的方法。
[0005]为了解决上述技术问题，本专利技术公开了一种用于智慧运维基础设施数据采集的方法，包括以下步骤：
[0006]步骤1，对多元数据采集协议进行集中封装，具体包括：
[0007]步骤1
‑
1，对待封装的多元数据采集协议，进行自定义格式；
[0008]步骤1
‑
2，对数据采集协议进行压缩；
[0009]步骤1
‑
3，使用对称加密算法对压缩后的数据采集协议进行加密；
[0010]步骤1
‑
4，将加密后的数据采集协议按照自定义格式进行封装。
[0011]所述的多元数据采集协议，包括但不限于智慧运维基础设施管理中所涉及的数据采集协议，具体包括：JDBC/ODBC、SNMP(V1/V2/V3)、SSH、TELNET、IPMI、ILO、HTTP、ICMP、SMI
‑
S、WMI、JMX、Web
‑
service、Syslog、Trap、Onvif以及SDK数据采集协议。
[0012]步骤2，对集中封装后的数据采集协议的通道模版进行配置，具体包括：
[0013]对步骤1中封装好的数据采集协议，形成标准化可复用的协议通道模板，对基础设施管理对象及管理指标自定义取值；
[0014]所述基础设施管理对象，包括但不限于：网络设备、安全设备、主机或服务器、数据
库、中间件、存储以及虚拟化设备；
[0015]所述管理指标，包括但不限于：ICMP响应时间、CPU利用率、内存利用率、输入/输出速率、操作系统类型、mac地址、进程pid、硬盘状态、表空间
‑
读次数、死锁、用户连接数、指定EJB池运行时Bean使用数、会话中断数、连接池池大小、分配容量、磁盘组异常状态个数、主机存储状态以及子机已用空间；
[0016]所述协议通道模板中包括：指标名称、指标类型、取值类型及是否取表；其中，是否取表即：根据数据类型进行选择，选择是，则取一维数组或二维数组；选择否，则只能取单值。
[0017]步骤3，基于算法及计算框架，对已封装好的数据采集协议的通道进行自适应组合调用；
[0018]所述的算法，包括：Holt
‑
winters时序计算模型以及线性回归+高斯核；
[0019]所述的计算框架，包括：Metis异常检测框架、scikit
‑
learn算法库、ARIMA时序特征提取、xg
‑
boost以及Tsfresh。
[0020]所述的对已封装好的数据采集协议的通道进行自适应组合调用，具体包括以下步骤：
[0021]步骤3
‑
1，基于Holt
‑
winters时序计算模型，利用三次指数平滑法，将采集得到的历史时序数据输入三个递推序列，再由三个序列的递推值来推算出预测数据的值，对不同类别及不同规模基础设施管理对象的数据采集协议的线性趋势和周期波动的非平稳序列进行有效预测；
[0022]步骤3
‑
2，基于线性回归+高斯核的方法，生成一个协方差矩阵即相关系数矩阵，用于衡量任意协议通道模版之间的相似程度；
[0023]步骤3
‑
3，结合Metis异常检测框架，判断协议通道模版选取是否存在异常；
[0024]步骤3
‑
4，在Metis异常检测框架的基础上，进行协议通道模版的特征提取、构建以及选择动作，进行对协议通道模板的选择和优化；
[0025]步骤3
‑
5，应用ARIMA时序特征提取方法，进行协议通道模板的数据查看和时间序列特征提取，使用决策树进行训练，对协议通道模板的调用进行预测和评估；
[0026]步骤3
‑
6，应用分布式梯度增强库xg
‑
boost，解决协议封装后相关协议通道模板调用判别问题；
[0027]步骤3
‑
7，利用scikit
‑
learn算法库，识别与协议通道模板数据相关的类别，将具有相似特征的管理对象的协议通道模板以集的形式进行分组，对不适用相关管理对象的数据采集协议进行降维，完成协议通道模板调用的特征提取和归一化，并对协议通道模板自动调用方式进行比较、验证和选择。
[0028]步骤4，基于弹性伸缩的方式进行具备自动负载均衡能力的分布式数据采集，即采用容器化部署，以微服务的形式定义已完成封装的协议通道模板，应用DevOps体系，实现协议模板自动化发布管道，快速部署到使用者生产环境。
[0029]所述的容器化部署，具体包括：
[0030]采用容器化技术Docker，将任意大小的协议通道模板进行容器化，并部署于使用者所提供的云资源池，适配不同的操作系统，通过Docker image镜像的方式，将已定义好的协议通道模板部署于容器上，并通过Docker compse实现容器管理。
[0031]所述的以微服务的形式定义已完成封装的协议通道模板，具体包括：
[0032]以微服务架构实现协议通道模板的发布，在微服务架构中的协议通道模板作为单一的独立部署的组件，强制实现协议通道模板的模块化；同时基于协议通道模板之间的松耦合性，不同协议通道模板之间的交互采用API完成。
[0033]所述的应用DevOps体系，具体包括：
[0034]以软件形式固化协议通道模板开发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于智慧运维基础设施数据采集的方法，其特征在于，包括以下步骤：步骤1，对多元数据采集协议进行集中封装；步骤2，对集中封装后的数据采集协议的通道模版进行配置；步骤3，基于算法及计算框架，对已封装好的数据采集协议的通道进行自适应组合调用；步骤4，基于弹性伸缩的方式进行具备自动负载均衡能力的分布式数据采集；步骤5，数据采集后通过标准化数据输出格式并提供统一对外接口API供使用者进行数据使用。2.根据权利要求1所述的一种用于智慧运维基础设施数据采集的方法，其特征在于，步骤1中所述的对多元数据采集协议进行集中封装，具体包括：步骤1
‑
1，对待封装的多元数据采集协议，进行自定义格式；步骤1
‑
2，对数据采集协议进行压缩；步骤1
‑
3，使用对称加密算法对压缩后的数据采集协议进行加密；步骤1
‑
4，将加密后的数据采集协议按照自定义格式进行封装。3.根据权利要求2所述的一种用于智慧运维基础设施数据采集的方法，其特征在于，步骤2中所述的对集中封装后的数据采集协议的通道模版进行配置，具体包括：对步骤1中封装好的数据采集协议，形成标准化可复用的协议通道模板，对基础设施管理对象及管理指标自定义取值；所述基础设施管理对象，包括但不限于：网络设备、安全设备、主机或服务器、数据库、中间件、存储以及虚拟化设备；所述管理指标，包括但不限于：ICMP响应时间、CPU利用率、内存利用率、输入/输出速率、操作系统类型、mac地址、进程pid、硬盘状态、表空间
‑
读次数、死锁、用户连接数、指定EJB池运行时Bean使用数、会话中断数、连接池池大小、分配容量、磁盘组异常状态个数、主机存储状态以及子机已用空间；所述协议通道模板中包括：指标名称、指标类型、取值类型及是否取表；其中，是否取表即：根据数据类型进行选择，选择是，则取一维数组或二维数组；选择否，则只能取单值。4.根据权利要求3所述的一种用于智慧运维基础设施数据采集的方法，其特征在于，步骤3中所述的算法，包括：Holt
‑
winters时序计算模型以及线性回归+高斯核；所述的计算框架，包括：Metis异常检测框架、scikit
‑
learn算法库、ARIMA时序特征提取、xg
‑
boost以及Tsfresh。5.根据权利要求4所述的一种用于智慧运维基础设施数据采集的方法，其特征在于，步骤3中所述的对已封装好的数据采集协议的通道进行自适应组合调用，具体包括以下步骤：步骤3
‑
1，基于Holt
‑
winters时序计算模型，利用三次指数平滑法，将采集得到的历史时序数据输入三个递推序列，再由三个序列的递推值来推算出预测数据的值，对不同类别及不同规模基础设施管理对象的数据采集协议的线性趋势和周期波动的非平稳序列进行有效预测；步骤3
‑
2，基于线性回归+高斯核的方法，生成一个协方差矩阵即相关系数矩阵，用于衡量任意协议通道模版之间的相似程度；步骤3
...

【专利技术属性】
技术研发人员：张传达，吴德兵，李腾飞，刘加强，屈刚，杨建，查先毅，
申请(专利权)人：中通服咨询设计研究院有限公司，
类型：发明
国别省市：