基于知识图谱的信创终端故障发现及处置的方法技术

本发明专利技术特别涉及一种基于知识图谱的信创终端故障发现及处置的方法。该基于知识图谱的信创终端故障发现及处置的方法，利用知识图谱技术构建故障预测知识图谱与历史故障知识图谱，实现数据处理、故障发现和故障处置的智能化。该基于知识图谱的信创终端故障发现及处置的方法，通过集中监控系统能够及时发现系统故障，减少故障处理时间，使用户可以正确和及时的了解系统、应用的运行状态，帮助系统人员进行必要的系统优化和配置变更，为系统的升级和扩容提供合理的依据。扩容提供合理的依据。扩容提供合理的依据。

【技术实现步骤摘要】
基于知识图谱的信创终端故障发现及处置的方法


[0001]本专利技术涉及故障处置
，特别涉及一种基于知识图谱的信创终端故障发现及处置的方法。

技术介绍

[0002]当前，软硬件快速发展，基于国产基础软硬件的应用系统也在快速的发展中。越来越多的客户都在考虑或采纳业务集中的方案。但是，随着信创平台业务的快速发展，业务的复杂性越来越高，而后不仅增加运行维护的工作强度，而且会使系统变得更加繁杂。有效的系统和应用监控体系成为了解业务资源使用状况，及时发现可能的系统故障，是实现系统运营保障的关键。
[0003]针对当前信创平台下的业务系统的集中性和复杂性的增加，运维工作难度的也相应增加。有效的系统和应用监控体系成为了解信创平台业务资源的使用状态，及时发现可能导致系统故障的隐患，成为实现系统运行保障的关键。
[0004]基于上述情况，本专利技术提出了一种基于知识图谱的信创终端故障发现及处置的方法。

技术实现思路

[0005]本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的基于知识图谱的信创终端故障发现及处置的方法。
[0006]本专利技术是通过如下技术方案实现的：
[0007]一种基于知识图谱的信创终端故障发现及处置的方法，其特征在于：利用知识图谱技术构建故障预测知识图谱与历史故障知识图谱，实现数据处理、故障发现和故障处置的智能化；
[0008]包括以下步骤：
[0009]步骤S1、数据获取和处理
[0010]系统的数据是多元化、异构化的，通过结合性能数据和告警数据进行预处理，并对系统中的不同种类以及不同层级数据之间的关联性进行建模，有效提高对信息系统故障预测的准确度和可靠度。
[0011]先将采集的数据进行数据清理、结构化处理和归一化处理，得到统一数据结构，然后基于预处理的信息数据构建故障预测知识图谱；
[0012]步骤S1.1、实时数据获取
[0013]通过采集客户端对监控指标进行时序数据采集，包含指标数据、性能数据和日志数据等；设置阈值参数，根据关键指标特性和应用的关键需求指定简单规则的过滤器，从而筛选一部分疑似异常；
[0014]步骤S1.2、数据预处理
[0015]先对获取的数据进行数据清理，去除不完整数据和冗余数据；
[0016]然后实现数据结构化，对半结构化数据进行包装和知识抽取，转化为结构化数据后，进行实体提取；
[0017]所述半结构化数据包括但不限于历史故障数据、历史故障修复记录、运维工程师的经验数据、技术手册和用户手册；
[0018]最后，对数据进行归一化处理，统一故障预测标准；
[0019]步骤S2、故障发现
[0020]步骤S2.1、故障预测
[0021]构建故障预测知识图谱，并通过对故障预测知识图谱预训练获得故障预测模型，对采集数据中隐藏的故障进行预测；
[0022]步骤S2.2、构建历史故障知识图谱
[0023]针对每种故障类型，利用因果发现算法对历史故障数据进行训练分析，从而构建出每种故障类型的指标数据变化特征，作为历史故障知识图谱，用于故障相似度判断；
[0024]步骤S2.3、通过上述步骤将关联的故障数据汇聚成告警知识图谱，故障率预测模块通过待预测故障知识图谱与历史故障知识图谱之间的相似度，进一步预测故障率，提高故障预测的准确率；
[0025]步骤S2.4、使用因果发现算法计算异常事件的相关性，利用相关性高链路表示该类异常事件的传播路径与特征，进行异常事件的根因定位；
[0026]步骤S3、故障处置
[0027]通过知识图谱关联出现异常事件的上下文进行误告警的判定与抑制，利用与历史告警上误告的上下文相似度进行告警真伪判断，从而实现对误告警的抑制；
[0028]告警收敛模块基于指标数据之间的关联性通过过滤、压缩、合并、去重，最终聚合组织成一条有效消息；
[0029]告警自愈模块通过引入人工智能技术对历史故障修复数据进行训练，构建贝叶斯故障自愈模型，实现人工智能故障自愈取代人工来进行故障处置，从而实现终端故障的快速、自动化处理；
[0030]事件调度模块将其中支持故障自愈的事件，通过告警自愈模块自动化修复，而对于需要人工修复的事件，通过自动工单调度技术由人工进行修复；
[0031]告警通知模块通过告警通知策略配置，对通知用户进行告警事件的通知，提醒运维人员及时修复故障。
[0032]所述步骤S1.1中，通过告警策略设置阈值参数，或者根据历史数据做模型训练，自动配置阈值参数。
[0033]所述步骤S2.1中，故障预测知识图谱构建步骤如下：
[0034]步骤S2.1.1、基于预设的信息系统设备手册和相关知识库确定信息数据中的每一个信息实体与预设的故障类型的关联性；
[0035]步骤S2.1.2、.基于信息实体与预设的故障类型的关联性，从信息实体中选取部分信息实体作为故障预测知识图谱的节点，并确定相邻节点之间的关系；
[0036]通过采用多种因果发现算法PC训练信息数据，基于各个算法输出的因果边再结合人工审查筛选确定最终的因果边；因果边指的是图谱中实体对应的节点信息，实体与实体之间关系对应的边信息；
[0037]步骤S2.1.3、基于全部节点和关联关系构建故障预测知识图谱
[0038]基于全部信息实体
‑
关联关系
‑
实体的逻辑，构建故障预测知识图谱。
[0039]所述步骤S2.1.1中，关联性确定方式如下：
[0040]S2.1.1.1、采用MD5算法，利用采用策略、规则、终端唯一id、指标、指标field以及指标tag属性为每个告警计算一个指纹信息，拥有相同指纹的告警被认为是同一条告警消息；
[0041]S2.1.1.2、提取告警消息所属模块的关联关系；
[0042]S2.1.1.3、当发生机房故障时，将位于同一个机房内部所产生的报警消息汇总组织成一条有效消息。
[0043]所述步骤S2.2，中，历史故障知识图谱构建步骤如下：
[0044]步骤S2.2.1、事件生成
[0045]利用故障预测模型对实时指标数据进行检测，当异常发生时产生异常事件；
[0046]步骤S2.2.2、故障传播图构建
[0047]同所述步骤S2.1中故障预测知识图谱构建步骤一样，挖掘异常事件的关联关系，从而构建故障传播图；
[0048]步骤S2.2.3、分类合并
[0049]利用聚类算法将生成的故障传播图和历史上的故障知识图谱进行分类合并；
[0050]步骤S2.2.4、标注
[0051]将分类合并后的故障知识图谱进行根因标注，将每类历史故障知识图谱打上故障类型标签。
[0052]所述步骤S2.3中，确定待预测知识图谱对应的故障概率，步骤如下：
[0053]步骤S2.3.1、基于待预测知识图谱的子图集合与任一历史故障知识图谱本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识图谱的信创终端故障发现及处置的方法，其特征在于：利用知识图谱技术构建故障预测知识图谱与历史故障知识图谱，实现数据处理、故障发现和故障处置的智能化；包括以下步骤：步骤S1、数据获取和处理通过结合性能数据和告警数据进行预处理，并对系统中的不同种类以及不同层级数据之间的关联性进行建模；先将采集的数据进行数据清理、结构化处理和归一化处理，得到统一数据结构，然后基于预处理的信息数据构建故障预测知识图谱；步骤S1.1、实时数据获取通过采集客户端对监控指标进行时序数据采集，包含指标数据、性能数据和日志数据等；设置阈值参数，根据关键指标特性和应用的关键需求指定简单规则的过滤器，从而筛选一部分疑似异常；步骤S1.2、数据预处理先对获取的数据进行数据清理，去除不完整数据和冗余数据；然后实现数据结构化，对半结构化数据进行包装和知识抽取，转化为结构化数据后，进行实体提取；所述半结构化数据包括但不限于历史故障数据、历史故障修复记录、运维工程师的经验数据、技术手册和用户手册；最后，对数据进行归一化处理，统一故障预测标准；步骤S2、故障发现步骤S2.1、故障预测构建故障预测知识图谱，并通过对故障预测知识图谱预训练获得故障预测模型，对采集数据中隐藏的故障进行预测；步骤S2.2、构建历史故障知识图谱针对每种故障类型，利用因果发现算法对历史故障数据进行训练分析，从而构建出每种故障类型的指标数据变化特征，作为历史故障知识图谱，用于故障相似度判断；步骤S2.3、通过上述步骤将关联的故障数据汇聚成告警知识图谱，故障率预测模块通过待预测故障知识图谱与历史故障知识图谱之间的相似度，进一步预测故障率，提高故障预测的准确率；步骤S2.4、使用因果发现算法计算异常事件的相关性，利用相关性高链路表示该类异常事件的传播路径与特征，进行异常事件的根因定位；步骤S3、故障处置通过知识图谱关联出现异常事件的上下文进行误告警的判定与抑制，利用与历史告警上误告的上下文相似度进行告警真伪判断，从而实现对误告警的抑制；告警收敛模块基于指标数据之间的关联性通过过滤、压缩、合并与去重，最终聚合组织成一条有效消息；告警自愈模块通过引入人工智能技术对历史故障修复数据进行训练，构建贝叶斯故障自愈模型，实现人工智能故障自愈取代人工来进行故障处置，从而实现终端故障的快速、自动化处理；
事件调度模块将其中支持故障自愈的事件，通过告警自愈模块自动化修复，而对于需要人工修复的事件，通过自动工单调度技术由人工进行修复；告警通知模块通过告警通知策略配置，对通知用户进行告警事件的通知，提醒运维人员及时修复故障。2.根据权利要求1所述的基于知识图谱的信创终端故障发现及处置的方法，其特征在于：所述步骤S1.1中，通过告警策略设置阈值参数，或者根据历史数据做模型训练，自动配置阈值参数。3.根据权利要求1所述的基于知识图谱的信创终端故障发现及处置的方法，其特征在于：所述步骤S2.1中，故障预测知识图谱构建步骤如下：步骤S2.1.1、基于预设的信息系统设备手册和相关知识库确定信息数据中的每一个信息实体与预设的故障类型的关联性；步骤S2.1.2、.基于信息实体与预设的故障类型的关联性，从信息实体中选取部分信息实体作为故障预测知识图谱的节点，并确定相邻节点之间的关系；通过采用多种因果发现算法PC训练信息数据，基于各个算法输出的因果边再结合人工审查筛选确定最终的因果边；因果边指的是图谱中实体对应的节点信息，实体与实体之间关系对应的边信息；步骤S2.1.3、基于全部节点和关联关系构建故障预测知识图谱基于全部信息实体
‑
关联关系
‑
实体的逻辑，构建故障预测知识图谱。4.根据权利要求3所述的基于知识图谱的信创终端故障发现及处置的方法，其特征在于：所述步骤S2.1.1中，关联性确定方式如下：S2.1.1.1、采用MD5算法，利用采用策略、规则、终端唯一id、指标、指标field以及指标tag属性为每个告警计算一个指纹信息，拥有相同指纹的告警被认为是同一条告警消息；S2.1.1.2、提取告警消息所属模块的关联关系；S2.1.1.3、当发生机房故障时，将位于同一个机房内部所产生的报警消息汇总组织成一条有效消息。5.根据权利要求1所述的基于知识图谱的信创终端故障发现及处置的方法，其特征在于：所述步骤S2.2，中，历史故障知识图谱构建步骤如下：步骤S2.2.1、事件生成利用故障预测模型对实时指标数据进行检测，当异常发生时产生异常事件；步骤S2.2.2、故障传播图构建同所述步骤S2.1中故障预测知识图谱构...

【专利技术属性】
技术研发人员：张迪，孙元田，聂郁徐，朱宪，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：