一种基于人工智能的大数据平台的单指标预测和预警方法技术

本发明专利技术公开了人工智能技术领域的一种基于人工智能的大数据平台的单指标预测，包括以下步骤：(1)第一层是数据交换中心，负责数据的采集工作，作为大数据的基础语料并做数据挖掘；(2)第二层是数据存储，负责存储采集到的数据；(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；(4)第四层是数据展示，负责对挖掘好的数据进行展示；(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，本发明专利技术对大数据平台的指标提前进行预警，提高故障运维的效率，减少重大故障造成的损失，提升了对海量数据的处理能力。

A Single Indicator Prediction and Early Warning Method Based on Artificial Intelligence for Large Data Platform

The invention discloses a single index prediction of a large data platform based on artificial intelligence in the field of artificial intelligence technology, which includes the following steps: (1) the first layer is a data exchange center, which is responsible for data acquisition and data mining as the basic corpus of large data; (2) the second layer is data storage, which is responsible for storing collected data; (3) the third layer is data processing and accounting. The data stored in HDFS and HBASE are calculated and stored; (4) The fourth layer is data display, which is responsible for displaying the excavated data; (5) The fifth layer is a data center based on Mashup model, which is constructed on the basis of main data warehouse and large data processing platform, and the indicators of the large data platform are early warned, the efficiency of fault operation and maintenance is improved, and the losses caused by major failures are reduced. It improves the processing ability of massive data.

【技术实现步骤摘要】
一种基于人工智能的大数据平台的单指标预测和预警方法
本专利技术公开了一种基于人工智能的大数据平台的单指标预测和预警方法，具体为人工智能

技术介绍
近年来网络管理领域内陆续提出了各种基于性能指标的设备告警方案，部分解决了故障管理的相关问题，但在目前的实际环境下90％的故障问题不能通过哦传统设备告警反映，大量的故障类型没有得到覆盖，在这种情况下，维护工作面临诸多困难，如果能够实现提前对指标的预测和故障的发生并有效避免故障所造成的危害，便能够实现故障事前预警的目标，完成流量运营需要引入互联网、网络信令等海量数据，现有仓库存储和性能接近饱和，面对如此海量数据，一方面传统经仓库计算压力大无法承载，另一方面传统经分仓库的扩展性弱，且成本很高，为此，我们提出了一种基于人工智能的大数据平台的单指标预测和预警方法投入使用，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于人工智能的大数据平台的单指标预测和预警方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于人工智能的大数据平台的单指标预测，包括以下步骤：(1)第一层是数据交换中心，负责数据的采集工作，包括SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；(2)第二层是数据存储，负责存储采集到的数据，数据采集工具将不同类型的数据采集并传输到大数据应用平台分布式存储区域中；(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存；(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库主要负责传统结构化数据业务处理，大数据平台负责存储和处理非结构化数据，将处理后的分析结果导入传统仓库，并兼容传统仓库应用。本专利技术还提供一种基于人工智能的大数据平台的单指标预测和预警方法，包括如下步骤：通过采集模块使用FlumeAgent采集各网络设备中的日志信息，使用独立编写的Kafka消息生成器将离线/过期日志读取并发送，形成日志数据流，原始日志信息纳入分布式消息队列Kafka缓存和管理；通过结构化模块使用编辑距离计算日志的相似度，根据相似度将日志分类形成日志模式，对日志进行MD5编码，根据时间粒度统计不同时段内的日志模式频数内存级数；异常检出模块通过综合时序模型检出指定日志模式的时序异常；通过全局异常检测算法检出日志全局异常；故障预警模块预警信息短信通知API、信息邮件通知API和故障系统记录API；可视化模块使用独立线程聚合Redis中的指标数据，形成图表中的原信息，结合业务场景的日志可视化方案，使用Html+Css+Javascript日志可视化方案。优选的，对于日志的异常检测分为实时日志数据流构建、实时日志模式提取和基于网元日志的异常检测，所述实时日志模式提取是根据异常检测算法的输入要求形成结构化的数据输入，在分析端使用分布式处理技术完成实时日志模式提取，并根据全局异常检测算法和综合时序模型的具体输入生成聚合、转换后的结构化输入，所述基于网元日志的异常检测通过综合时序分析模型根据用户配置的日志模式抽取各个时间单元内的日志模式数据并形成时间序列进行综合时序分析和异常检出。优选的，所述实时日志数据流构建包括日志采集、实时分析、结果存储和前端呈现，所述日缓存与志采集对于生产环境中实时产生的网元日志，使用Flume实时日志采集技术进行日志数据的收集；所述实时分析经过Flume的采集和发送形成的待处理的消息缓存于Kafka中供Storm消费，Storm计算集群是实时日志分析的核心，基于该结构设计的流处理模式异常检测算法能够对高并发环境下的设备日志进行实时分析并形成数据挖掘结果；所述结果存储持久化于Redis数据库中便于可视化模式调用；所述前端呈现通过对Redis的读取操作，前端模块可以获取Storm集群分析产生的结果数据，并将数据进行动态渲染最终形成各种形式的呈现方案。优选的，所述混搭模型数据中心包括RDB平台和大数据平台，所述RDB平台负责承载交叉计算和标准数据能力，且RDB平台包括汇总层、信息层和展现层，所述汇总层实现对数据交叉计算处理，所述信息层提供标准的数据服务，所述展现层提供展现数据，所述大数据平台负责承载流量新增业务存储和数据汇总计算，且大数据平台包括接口层、基础层和汇总层，所述接口层实现全部数据采集和清理，所述基础层实现数据的存储，所述汇总层实现对数据汇总处理。优选的，所述数据存储在数据存储层选用关系型数据库、分布式文件系统和内存级数据库实现信息存储，通过Hive和Impala分布式查询中间件快速查询海量数据，并根据业务逻辑对数据进行切片、钻取和聚合从而形成中间数据，进一步分析异常检测算法，根据运维经验录入已知的业务规则和故障日志模式，拓展异常监测的覆盖范围。优选的，所述数据处理采用Hadoop、Spark、Hive和Pig处理工具，再采用R语言、SparkMLIB对处理结果进行数据挖掘。与现有技术相比，本专利技术的有益效果是：本专利技术实现了对海量原始网元日志中蕴藏的故障信息的数据挖掘，当网络设备出现故障时，通过短信、邮件和系统呈现的方式给予用户充分的反馈，提前进行预警，提高故障运维的效率，减少重大故障造成的损失，通过RDB平台和大数据平台的融合，实现数据服务化、功能组件化和应用积木化，提升了对海量数据的处理能力。附图说明图1为本专利技术单指标预测整体架构图；图2为本专利技术人工智能大数据预警示意图；图3为本专利技术数据存储示意图；图4为本专利技术混搭数据模型示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种基于人工智能的大数据平台的单指标预测，用于提高故障预警和运维的效率，减少故障造成的损失，并且提升对海量数据的处理能力，如图1所示，包括以下步骤：(1)第一层是数据交换中心，负责数据的采集工作，包括但不限于SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；(2)第二层是数据存储，负责存储采集到的数据，数据采集工具能够实现将不同类型的数据采集并传输到大数据应用平台分布式存储区域中，比如HDFS、HBASE等；(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；数据处理采用Hadoop、Spark、Hive和Pig处理工具，再采用R语言、SparkMLIB对处理结果进行数据挖掘。(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存，以支持数据可视化工具及业务门户进行数据应用；(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库本文档来自技高网...

【技术保护点】
1.一种基于人工智能的大数据平台的单指标预测，包括以下步骤：(1)第一层是数据交换中心，负责数据的采集工作，包括SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；(2)第二层是数据存储，负责存储采集到的数据，数据采集工具将不同类型的数据采集并传输到大数据应用平台分布式存储区域中；(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存；(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库主要负责传统结构化数据业务处理，大数据平台负责存储和处理非结构化数据，将处理后的分析结果导入传统仓库，并兼容传统仓库应用。

【技术特征摘要】
1.一种基于人工智能的大数据平台的单指标预测，包括以下步骤：(1)第一层是数据交换中心，负责数据的采集工作，包括SCADA、智能巡检、6C数据中心、维调系统和综合系统，收集这些系统的数据作为大数据的基础语料，并在这些基础语料上做数据挖掘；(2)第二层是数据存储，负责存储采集到的数据，数据采集工具将不同类型的数据采集并传输到大数据应用平台分布式存储区域中；(3)第三层是数据处理，负责计算存储在HDFS、HBASE的数据；(4)第四层是数据展示，负责对挖掘好的数据进行展示，通过大数据应用平台的全量数据采集与处理能力，将数据采集到大数据应用平台的存储区域进行保存；(5)第五层是采用混搭模型数据中心，基于主数据仓库为主和大数据处理平台为辅进行构建，主数据仓库主要负责传统结构化数据业务处理，大数据平台负责存储和处理非结构化数据，将处理后的分析结果导入传统仓库，并兼容传统仓库应用。2.根据权利要求1所述的基于人工智能的大数据平台的单指标预测和预警方法，包括如下步骤：通过采集模块使用FlumeAgent采集各网络设备中的日志信息，使用独立编写的Kafka消息生成器将离线/过期日志读取并发送，形成日志数据流，原始日志信息纳入分布式消息队列Kafka缓存和管理；通过结构化模块使用编辑距离计算日志的相似度，根据相似度将日志分类形成日志模式，对日志进行MD5编码，根据时间粒度统计不同时段内的日志模式频数内存级数；异常检出模块通过综合时序模型检出指定日志模式的时序异常；通过全局异常检测算法检出日志全局异常；故障预警模块预警信息短信通知API、信息邮件通知API和故障系统记录API；可视化模块使用独立线程聚合Redis中的指标数据，形成图表中的原信息，结合业务场景的日志可视化方案，使用Html+Css+Javascript日志可视化方案。3.根据权利要求2所述的一种基于人工智能的大数据平台的单指标预测和预警方法，其特征在于：对于日志的异常检测分为实时日志数据流构建、实时日志模式提取和基于网元日志的异常检测，所述实时日志模式提取是根据异常检测算法的输入要求形成结构化的数据输入，在分析端使用分布式处理技术完成实时日志模式提取，并根据全局异常检测算法和综合时序模型的具体输入生成聚合、转换后的结构化输入，所述...

【专利技术属性】
技术研发人员：李玲，周树克，徐可欣，
申请(专利权)人：河南城建学院，
类型：发明
国别省市：河南,41