利用异构数据源进行IT运维排查的方法及装置制造方法及图纸

利用异构数据源进行IT运维故障排查的方法及装置涉及信息技术领域。本发明专利技术由历史数据采集器、实时数据采集器、数据分类器、数据整合器、特征提取器、梯度决策树生成器和多梯度决策树应用模块组成。通过整合异构数据源的数据，进行多梯度决策树计算，通过历史数据得出各种故障对应的决策树，从而当实时数据输入各决策树进行预测时，可以很快速的确定故障位置，无需人工参与判断，提高了自动化IT运维的效率。效率。效率。

【技术实现步骤摘要】
利用异构数据源进行IT运维排查的方法及装置


[0001]本专利技术涉及信息


技术介绍

[0002]IT运维的一般模式是数据采集单元将被监控的指标数据采集到运维监控系统中；数据传输单元将数据采集单元采集的指标数据传输到数据存储单元；数据存储单元将收集到的指标数据按照时间维度存放在时序数据库中；数据分析单元对时序数据库中的时间数列数据的季节特征、趋势进行预测；告警触发单元在指标超过设定的阈值或者依赖服务状态变为不可达时，及时发出报警通知服务管理员排查；应用单元，基于数据采集单元和数据分析单元实现IT运维系统的可视化监控和全链路监控。这种阈值驱动型的IT运维无法从主机监控数据，服务器监控数据，网络监控数据，环境监控数据中快速定义故障范围和故障来源，需要人为参与监控，基于人的经验来排查故障原因，有限的效率使得IT运维管理系统所能管理的设备网段区域和设备数量受到限制。
[0003]现有技术中有申请号为CN202111288447X，名称为一种IT运维优化方法的专利申请，具有如下步骤：S1、获取系统历史运维数据，对数据进行预处理；S2、生成决策树，获取步骤S1中预处理的数据，对数据进行处理，利用归纳算法生成可读的规则和决策树；S3、决策树生成以后由运维平台为决策树的每个节点绑定自动化功能。与现有技术相比，通过对IT运维的历史数据进行分类处理，生成决策树，并将系统中提供的各种监听、告警、自动化配置等功能，与决策树节点进行绑定，提高IT服务效率和质量，后期通过新数据不断优化迭代决策树，使其无需人工参与，实现智能化运维。该专利没有对决策树生成进行详细论述，进行决策树节点跟处理规则的绑定需要决策树的节点和处理规则都是经常性发生的故障，适用范围为常规性故障及其特定解决方案。
[0004]IT运维的故障来源有主机故障、网络故障、机房环境故障几个方面，其中主机故障又分为操作系统故障、应用程序故障、硬件故障。已知的现有技术主要依靠各分类的阈值产生的告警来分别对各种故障进行反馈，当出现真实故障时，同时会有多个故障来源进行告警，需要进行逐一排查。针对现有技术的不足本专利技术的利用异构数据源进行IT运维排查的方法及装置提出一种针对各种故障来源产生的故障信息进行异构数据源的人工智能分析方法和装置，通过对异构数据的极度梯度提升树运算，自动分析出告警产生时的多源异构故障数据的最优特征和最优切分点，并计算出多个梯度的最优特征和最优切分点。每个最优特征在事先对应一种解决方案的前提下，本专利技术可以提供梯度化的最优故障解决方案集。

技术实现思路

[0005]针对现有技术的不足，本专利技术的利用异构数据源进行IT运维故障排查的方法及装置由历史数据采集器、实时数据采集器、数据分类器、数据整合器、特征提取器、梯度决策树生成器和多梯度决策树应用模块组成；
历史数据采集器通过IT运维监控设备获取IT运维的历史数据，IT运维的历史数据包括：主机操作系统故障时采集的数据、主机硬件故障时采集的数据、主机应用软件故障时采集的数据、网络设备故障时采集的数据和机房环境故障时采集的数据以及无任何故障时采集的数据；采集的数据包括：主机操作系统监控数据、主机硬件监控数据、主机应用监控数据、网络设备监控数据和机房环境监控数据，采集的数据为通过异构数据源采集的多源异构数据；历史数据采集器将IT运维的历史数据发送给数据分类器；数据分类器将IT运维的历史数据分类为：主机操作系统故障时采集的数据并加主机操作系统故障标识，主机硬件故障时采集的数据并加主机硬件故障标识，主机应用软件故障时采集的数据并加主机应用软件故障标识，网络设备故障时采集的数据并加网络设备故障标识，机房环境故障时采集的数据并加机房环境故障标识，无任何故障时采集的数据并加无故障标识，生成分类的IT运维历史数据；数据分类器将分类的IT运维历史数据发送给数据整合器；标识由设备编号和故障类别组成，故障类别包括故障和无故障；数据整合器将处于同一时刻的分类的IT运维历史数据整合成一个数组，生成整合的IT运维历史数据，整合的IT运维历史数据包括了同一时刻采集的主机操作系统数据、同一时刻采集的主机硬件数据、同一时刻采集的主机应用软件数据、同一时刻采集的网络设备数据和同一时刻采集的机房环境数据，生成分类的IT运维历史数据数组集合；数据整合器将分类的IT运维历史数据数组集合发送梯度决策树生成器；梯度决策树生成器选择m条IT运维历史数据数组进行梯度决策树生成运算，其中二分之一m条为标识中包括故障类别为故障的IT运维历史数据数组，二分之一m条为标识中包括故障类别为无故障的IT运维历史数据数组；在二分之一m条的标识中包括故障类别为故障的IT运维历史数据数组中使主机操作系统故障标识的数组和主机硬件故障标识的数组和主机应用软件故障标识的数组和网络设备故障标识的数组及机房环境故障标识的数组分布均匀；梯度决策树生成器使用m条IT运维历史数据数组作为样本数据训练XGBOOST极度梯度提升树，当样本数据为标识中包括故障类别为无故障的IT运维历史数据数组时该样本目标值为0 ，当样本数据为标识中包括故障类别为故障的IT运维历史数据数组时该样本目标值为1；有m个样本，每个样本各n各特征，特征指数组中的具体数值，表示为，其中为第i个样本的所有n个特征值，R为实数集,为第i个样本目标值；采用精确贪心算法和Gain增益函数实现XGBOOST极度梯度提升树的树模型的第一个节点的节点分裂，即选择该节点的最优特征和最优切分点；Gain增益函数可以计算当前节点分裂后相比当前节点不分裂时带来的信息增益效果，其计算方法如下： ；公式中I
L
是按照指定特征和指定切分点分裂后左节点包含的样本集合，I
R
是按照指定特征
和指定切分点分裂后右节点包含的样本集合，I=I
L
并I
R
；代表节点的左子树，代表节点的右子树，代表不分裂时可以得到的分树；γ代表加入新叶子节点引入的复杂度代价，λ为L2正则系数；代表一阶展开项系数；代表二阶展开项系数；，表示第i个样本的目标值，表示第t
‑
1次迭代中第i个样本的预测值；遍历所有的候选特征及所有的候选切分点，即输入所有信息，求得其相应的Gain增益函数值，并选取其中Gain增益函数值最大的特征及其切分点作为最优特征和最优切分点，使当前节点按最优特征和最优切分点进行分裂；由模型训练器计算叶子节点的权值，根据XGBOOST模型中定义的损失函数公式：，其中，定义为叶子节点j里的样本，，是决策树的空间；q表示将样本映射到叶子节点的树结构，T是每棵树叶子的数量，每个对应独立的树结构q和叶权值w，表示第i个叶子的权值；对于一个固定结构q（x），通过上述公式推导计算叶子节点j的最优权值：
；模型训练器经过不断迭代，直到达到预先设定的目标停止继续迭代；预先设定的目标即当样本数据为标识中包括故障类别为无故障的IT运维历史数据数组时该样本目标值为0 ，当样本数据为标识中包括故障类别为故障的IT运维历史数据数组时该样本目标值为1；模型训练器经过不断迭代完成了XGBOOST模型的过程，即本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.利用异构数据源进行IT运维故障排查的装置，其特征在于由历史数据采集器、实时数据采集器、数据分类器、数据整合器、特征提取器、梯度决策树生成器和多梯度决策树应用模块组成；历史数据采集器通过IT运维监控设备获取IT运维的历史数据，IT运维的历史数据包括：主机操作系统故障时采集的数据、主机硬件故障时采集的数据、主机应用软件故障时采集的数据、网络设备故障时采集的数据和机房环境故障时采集的数据以及无任何故障时采集的数据；采集的数据包括：主机操作系统监控数据、主机硬件监控数据、主机应用监控数据、网络设备监控数据和机房环境监控数据，采集的数据为通过异构数据源采集的多源异构数据；历史数据采集器将IT运维的历史数据发送给数据分类器；数据分类器将IT运维的历史数据分类为：主机操作系统故障时采集的数据并加主机操作系统故障标识，主机硬件故障时采集的数据并加主机硬件故障标识，主机应用软件故障时采集的数据并加主机应用软件故障标识，网络设备故障时采集的数据并加网络设备故障标识，机房环境故障时采集的数据并加机房环境故障标识，无任何故障时采集的数据并加无故障标识，生成分类的IT运维历史数据；数据分类器将分类的IT运维历史数据发送给数据整合器；标识由设备编号和故障类别组成，故障类别包括故障和无故障；数据整合器将处于同一时刻的分类的IT运维历史数据整合成一个数组，生成整合的IT运维历史数据，整合的IT运维历史数据包括了同一时刻采集的主机操作系统数据、同一时刻采集的主机硬件数据、同一时刻采集的主机应用软件数据、同一时刻采集的网络设备数据和同一时刻采集的机房环境数据，生成分类的IT运维历史数据数组集合；数据整合器将分类的IT运维历史数据数组集合发送梯度决策树生成器；梯度决策树生成器选择m条IT运维历史数据数组进行梯度决策树生成运算，其中二分之一m条为标识中包括故障类别为故障的IT运维历史数据数组，二分之一m条为标识中包括故障类别为无故障的IT运维历史数据数组；在二分之一m条的标识中包括故障类别为故障的IT运维历史数据数组中使主机操作系统故障标识的数组和主机硬件故障标识的数组和主机应用软件故障标识的数组和网络设备故障标识的数组及机房环境故障标识的数组分布均匀；梯度决策树生成器使用m条IT运维历史数据数组作为样本数据训练XGBOOST极度梯度提升树，当样本数据为标识中包括故障类别为无故障的IT运维历史数据数组时该样本目标值为0 ，当样本数据为标识中包括故障类别为故障的IT运维历史数据数组时该样本目标值为1；有m个样本，每个样本各n各特征，特征指数组中的具体数值，表示为，其中为第i个样本的所有n个特征值，R为实数集,为第i个样本目标值；采用精确贪心算法和Gain增益函数实现XGBOOST极度梯度提升树的树模型的第一个节点的节点分裂，即选择该节点的最优特征和最优切分点；Gain增益函数可以计算当前节点分裂后相比当前节点不分裂时带来的信息增益效果，其计算方法如下：
；公式中I
L<...

【专利技术属性】
技术研发人员：陈杨，
申请(专利权)人：北京银信长远科技股份有限公司，
类型：发明
国别省市：