基于机器学习的IT故障缺陷预测方法技术

本发明专利技术公开了一种基于机器学习的IT故障缺陷预测方法，属于计算机领域。该方法包括以下步骤：S1：数据采集；S2：数据接入；S3：实时搜索日志；S4：Spark计算；S5：Spark离线计算模型；S6：Spark Streaming实时计算；S7：将分析结果、异常告警、日志趋势、故障定位和缺陷预测，以图形化方式展现，并且提供Web方式的日志查询及查看、导出报表。该方法采用了成熟的流式收集、存储功能，同时利用日志的分布式特性实现可扩展架构，将大量收集任务、运算任务放在后台，将结果展现在前台供使用，结果分为实时性要求较高的流式运算和统计量更大的批处理任务。

【技术实现步骤摘要】
基于机器学习的IT故障缺陷预测方法
本专利技术涉及人工智能领域，特别涉及一种基于机器学习的IT故障缺陷预测方法。
技术介绍
现阶段，在IT故障缺陷处理工作中，缺乏系统性的统计和分析，对相关管理规定和技术措施的执行不够全面。因此，需要一个统一的集中系统来进行管理，实现对IT故障缺陷的快速有效预测。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于机器学习的IT故障缺陷预测方法，能够实现IT故障缺陷的有效管理及快速预测。本专利技术的目的是通过以下技术方案实现的：基于机器学习的IT故障缺陷预测方法，该方法包括以下步骤：S1：数据采集；S2：数据接入；S3：实时搜索日志；S4：Spark计算；S5：Spark离线计算模型；S6：SparkStreaming实时计算；S7：平台需要提供一个用户门户，将分析结果、异常告警、日志趋势、故障定位和缺陷预测，以图形化方式展现，并且提供Web方式的日志查询及查看、导出报表。可选的，所述S1具体为：使用elastic的采本文档来自技高网...

【技术保护点】
1.基于机器学习的IT故障缺陷预测方法，其特征在于：该方法包括以下步骤：/nS1：数据采集；/nS2：数据接入；/nS3：实时搜索日志；/nS4：进行Spark计算；/nS5：通过Spark离线计算模型；/nS6：通过Spark Streaming实时计算；/nS7：通过一个用户门户，将分析结果、异常告警、日志趋势、故障定位和缺陷预测，以图形化方式展现，并且提供Web方式的日志查询及查看、导出报表。/n

【技术特征摘要】
1.基于机器学习的IT故障缺陷预测方法，其特征在于：该方法包括以下步骤：
S1：数据采集；
S2：数据接入；
S3：实时搜索日志；
S4：进行Spark计算；
S5：通过Spark离线计算模型；
S6：通过SparkStreaming实时计算；
S7：通过一个用户门户，将分析结果、异常告警、日志趋势、故障定位和缺陷预测，以图形化方式展现，并且提供Web方式的日志查询及查看、导出报表。


2.根据权利要求1所述的基于机器学习的IT故障缺陷预测方法，其特征在于：所述S1具体为：使用elastic的采集器，对Linux系统的机器上使用Filebeat，Windows系统上使用Winlogbeat,针对不同的IT设备日志分别进行相应的采集策略，把数据发送到装有Logstash软件的服务器上。


3.根据权利要求1所述的基于机器学习的IT故障缺陷预测方法，其特征在于：所述S2具体为：采用Logstash来接入数据，同时从多个来源采集数据，转换数据；接收来自安全审计系统和Filebeat传输来的数据，安全审计系统的数据采用8514端口、Filebeat的数据采用514端口来接收数据，再使用过滤器对数据进行相应的过滤和转换，发送给Kafka服务器。


4.根据权利要求1所述的基于机器学习的IT故障缺陷预测方法，其特征在于：所述S3具体为：Elasticsearch集群具有主分片和副本分片，在节点发生故障时自动实现故障切换；当主分片遇到故障时，副本分片会取而代之；自动节点恢复，当节点离开集群时，主节点会进行应对，具体做法是使用副本来替代节点并对分片进行再平衡。


5.根据权利要求1所述的基于机器学习的IT故障缺陷预测方法，其特征在于：所述S4具体为：Spar...

【专利技术属性】
技术研发人员：舒彧，曾路，冯光璐，张光益，欧阳静，蒋建华，张克贤，周泽元，卫薇，方继宇，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州;52