基于大数据人工智能的开放数据API网关系统技术方案

本发明专利技术公开一种基于大数据人工智能的开放数据API网关系统，主要由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。本发明专利技术监控分析服务与网关核心相互独立，在智能管理下，可以不直接干预网关运作情况下，通过对网关的日志进行实时分析和离线分析，得到智能分析结果，从而间接的再对网关进行智能管控，其不仅能够保证网关的准确性，健壮性和安全性，而且即使服务宕机网关仍可正常使用。

Open data API gateway system based on big data AI

【技术实现步骤摘要】
基于大数据人工智能的开放数据API网关系统
本专利技术涉及API网关
，具体涉及一种基于大数据人工智能的开放数据API网关系统。
技术介绍
网关的监控运维是网关系统的重要组成部分，其作用在于实时获悉系统状态，记录日志定位问题、提供7*24的守护。运维人员通过分析监控系统产生的统计报表，对服务进行更合理的资源分配和权重调整，并且在手动配置相关预警阈值之后能够实现自动报警，推送消息给运维人员。伴随着服务的持续介入，必须提高网关的准确性(确保平台能够提供稳定准确的数据资源内容)、健壮性(平台能够支撑住各类突发事件，并智能协调资源处理)、安全性(深层次的挖掘出一些潜在性的安全隐患，及各类攻击行为)，同时解决网关监控运维系统中存在的人工规则不可靠、异常定位困难、告警响应不及时等问题。通过对开放数据API(ApplicationProgrammingInterface，应用程序接口)网关日志分析，可以配置告警指标来监控日志数据，进行异常检测、预测告与警，提升开放数据API网关的智能化水平。然而在传统的日志分析平台中，通常采用一些人工经验和业务本文档来自技高网...

【技术保护点】
1.基于大数据人工智能的开放数据API网关系统，其特征是，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成；/nAPI网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中；/nKafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算；/nHbase分布式存储单元，利用...

【技术特征摘要】
1.基于大数据人工智能的开放数据API网关系统，其特征是，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成；
API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中；
KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算；
Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化；
离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果；
实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实...

【专利技术属性】
技术研发人员：李长智，周彪，孙园，滕飞，张磊，郑耀杰，
申请(专利权)人：江苏国泰新点软件有限公司，数字广西集团有限公司，华为技术有限公司，
类型：发明
国别省市：江苏;32