基于大数据人工智能的开放数据API网关系统技术方案

本发明专利技术公开一种基于大数据人工智能的开放数据API网关系统，主要由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。本发明专利技术监控分析服务与网关核心相互独立，在智能管理下，可以不直接干预网关运作情况下，通过对网关的日志进行实时分析和离线分析，得到智能分析结果，从而间接的再对网关进行智能管控，其不仅能够保证网关的准确性，健壮性和安全性，而且即使服务宕机网关仍可正常使用。

Open data API gateway system based on big data AI

【技术实现步骤摘要】
基于大数据人工智能的开放数据API网关系统
本专利技术涉及API网关
，具体涉及一种基于大数据人工智能的开放数据API网关系统。
技术介绍
网关的监控运维是网关系统的重要组成部分，其作用在于实时获悉系统状态，记录日志定位问题、提供7*24的守护。运维人员通过分析监控系统产生的统计报表，对服务进行更合理的资源分配和权重调整，并且在手动配置相关预警阈值之后能够实现自动报警，推送消息给运维人员。伴随着服务的持续介入，必须提高网关的准确性(确保平台能够提供稳定准确的数据资源内容)、健壮性(平台能够支撑住各类突发事件，并智能协调资源处理)、安全性(深层次的挖掘出一些潜在性的安全隐患，及各类攻击行为)，同时解决网关监控运维系统中存在的人工规则不可靠、异常定位困难、告警响应不及时等问题。通过对开放数据API(ApplicationProgrammingInterface，应用程序接口)网关日志分析，可以配置告警指标来监控日志数据，进行异常检测、预测告与警，提升开放数据API网关的智能化水平。然而在传统的日志分析平台中，通常采用一些人工经验和业务规则的方法去进行分析监控，这种分析监控存在以下不足：(1)大量的工作不仅费时费力，而且很难实现对网关运行状况的实时监控和预测；(2)缺少对攻击行为处理的相关功能，攻击行为处理(异常方位行为分析)是发现用户攻击行为时，才会进行抵御攻击并发送告警消息；(3)缺少用户行为分析模型，对于不同的行为，特征也不尽相同需要同过综合分析才能定性用户行为是否是攻击行为。专利技术内容本专利技术所要解决的是现有开放数据API采用人工经验和业务规则的方法去进行分析监控而很难实现对网关运行状况的实时监控和预测的问题，提供一种基于大数据人工智能的开放数据API网关系统。为解决上述问题，本专利技术是通过以下技术方案实现的：基于大数据人工智能的开放数据API网关系统，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中。KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算。Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化。离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果。实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实时日志数据并进行流式计算，同时结合离线分析服务单元的离线统计分析结果，实现突发事件识别、异常访问行为分析和攻击行为检测，并将上述突发事件识别、异常访问行为分析和攻击行为检测作为实时分析结果。监控管理平台，接收离线分析服务单元送来的离线统计分析结果和实时分析服务单元送来的实时分析结果，并根据离线统计分析结果和实时分析结果发出对应的告警消息。上述方案中，服务关键性能指标包括时间段内请求总流量和次数、时间段内响应总流量、请求成功数、请求失败数、请求总数、请求准确率、平均响应时间、接入应用数和访问服务数。上述方案中，离线分析服务单元计算各个服务关键性能指标的正常范围常阈值的过程如下：首先通过历史日志数据获取服务关键性能指标项历史数据；其次按照服务状态分类，根据提炼的业务指标，分别进行异常阈值计算；接着采用数据探索的方法，统计正常状态和异常状态下的各类服务关键性能指标平均值，标准差，方差，离散系数和相关系数；然后利用离群点分析法，剔除噪点数据；之后利用有效果数据进行值域分布分析，计算出正态分布情况；最后根据业务场景以及正太分析结果，计算阈值边界，返回推荐阈值上下限。与现有技术相比，本专利技术监控分析服务与网关核心相互独立，在智能管理下，可以不直接干预网关运作情况下，通过对网关的日志进行实时分析和离线分析，得到智能分析结果，从而间接的再对网关进行智能管控，其不仅能够保证网关的准确性，健壮性和安全性，而且即使服务宕机网关仍可正常使用。附图说明图1为一种基于大数据人工智能的开放数据API网关系统的整体构架图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本专利技术进一步详细说明。基于大数据人工智能的开放数据API网关系统，如图1所示，主要由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。(1)API网关API网关采用Nignx插件收集日志数据(如表1所示)，同时将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中。表1(2)KafKa分布式发布订阅消息单元KafKa分布式发布订阅消息单元将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算。(3)Hbase分布式存储单元利用Logstash接收Kafka流，Hbase分布式存储单元获取日志记录处理并固化。(4)离线分析服务单元利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果送入监控管理平台。离线分析中的正常范围阈值的计算过程具体如下：获取服务关键性能指标项历史数据(日志数据采集)；按照服务状态分类(根据提炼的业务指标，分别进行异常阈值计算)；采用数据探索的方法，统计正常状态和异常状态下的各类指标平均值，标准差，方差，离散系数，相关系数；利用离群点分析法，剔除噪点数据；利用有效果数据进行值域分布分析，计算出正态分布情况；根据业务场景以及正太分析结果，计算阈值边界，返回推荐阈值上下限。实时分析服务单元主要生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表。1)流量预测模型(参见表3)：采用回归预测模型，以预测未来时本文档来自技高网...

【技术保护点】
1.基于大数据人工智能的开放数据API网关系统，其特征是，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成；/nAPI网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中；/nKafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算；/nHbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化；/n离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果；/n实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实时日志数据并进行流式计算，同时结合离线分析服务单元的离线统计分析结果，实现突发事件识别、异常访问行为分析和攻击行为检测，并将上述突发事件识别、异常访问行为分析和攻击行为检测作为实时分析结果；/n监控管理平台，接收离线分析服务单元送来的离线统计分析结果和实时分析服务单元送来的实时分析结果，并根据离线统计分析结果和实时分析结果发出对应的告警消息。/n...

【技术特征摘要】
1.基于大数据人工智能的开放数据API网关系统，其特征是，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成；
API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中；
KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算；
Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化；
离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果；
实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实...

【专利技术属性】
技术研发人员：李长智，周彪，孙园，滕飞，张磊，郑耀杰，
申请(专利权)人：江苏国泰新点软件有限公司，数字广西集团有限公司，华为技术有限公司，
类型：发明
国别省市：江苏;32