互联网金融海量日志的分析系统及方法技术方案

本发明专利技术公开了一种互联网金融海量日志的分析系统及分析方法，该分析系统包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。

Analysis system and method of Internet Financial massive log

The invention discloses an analysis system of Internet Financial massive log and analysis method, the analysis system consists of sequentially connected acquisition module, transmission module and processing module; the acquisition module using flume real-time collection service log; transmission module to transmit the service log using Kafka technology, the processing module receives and real-time service log calculation and analysis of the service log to get monitoring data by storm. Through the flume to collect the real-time service log, realizes the real-time collection of massive log; through the Kafka transmission service log, ensure the performance bottleneck does not appear in the high concurrency; and through the storm level development ability, able to handle massive amounts of data and high real-time.

【技术实现步骤摘要】
互联网金融海量日志的分析系统及方法
本专利技术涉及互联网金融
，具体来说，涉及一种互联网金融海量日志的分析系统及分析方法。
技术介绍
现有的日志系统，部分是针对性能分析的，部分是针对数据处理的。而针对数据处理的，都是离线数据处理，很难做到实时监控，并且很难适应间歇性高并发的应用场景，尤其是针对互联网金融这种对数据一致性，时效性要求高的应用，如果不能及时针对线上故障做出响应，带来的影响就非常大。除此之外，现有的日志系统不能快速处理海量数据，导致问题发现的非常缓慢。整体来说，现有的日志系统存在以下缺陷：一、不能有效的应对间歇性的高并发情况。互联网应用因为时段、运营手段等原因，容易出现某个时段高并发情况，这个时候日志量会暴增，如果处理不好很容易出现宕机的情况。例如，突然的一些运营活动导致线上业务压力大、日志量井喷，很容使日志系统宕机；二、实时性差。现有的日志系统很多都只是离线分析日志，或是准实时的分析日志，当出现线上问题时不能快速有效的响应；三、处理的数据量有限。现有日志处理的数据量都比较有限，这导致不能保存足够长时间的日志，不利于问题排查。针对相关技术中的问题，目前尚未提出有效的解本文档来自技高网...

【技术保护点】
一种互联网金融海量日志的分析系统，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，所述采集模块利用flume实时收集业务日志；所述传输模块利用kafka技术对所述业务日志进行传输，所述处理模块接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。

【技术特征摘要】
1.一种互联网金融海量日志的分析系统，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，所述采集模块利用flume实时收集业务日志；所述传输模块利用kafka技术对所述业务日志进行传输，所述处理模块接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。2.根据权利要求1所述的互联网金融海量日志的分析系统，其特征在于，还包括：存储模块，连接于所述处理模块；其中，所述存储模块包括redis存储单元，其中所述redis存储单元用于存储统计数据。3.根据权利要求2所述的互联网金融海量日志的分析系统，其特征在于，所述存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；其中，所述MySQL存储单元用于存储规则数据；以及所述Elasticsearch存储单元用于存储日志文本数据。4.根据权利要求1所述的互联网金融海量日志的分析系统，其特征在于，所述处理模块包括：报警控制单元，用于根据实时计算和分析的结果生成报警反馈。5.根据权利要求2所述...

【专利技术属性】
技术研发人员：冯普超，
申请(专利权)人：上海你我贷互联网金融信息服务有限公司，
类型：发明
国别省市：上海,31