一种分析互联网金融海量日志的方法及系统技术方案

本发明专利技术公开了一种分析互联网金融海量日志的系统及分析方法，该分析系统包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。

【技术实现步骤摘要】
一种分析互联网金融海量日志的方法及系统
本专利技术涉及互联网金融
，具体来说，涉及一种互联网金融海量日志的分析系统及分析方法。
技术介绍
现有的日志系统，部分是针对性能分析的，部分是针对数据处理的。而针对数据处理的，都是离线数据处理，很难做到实时监控，并且很难适应间歇性高并发的应用场景，尤其是针对互联网金融这种对数据一致性，时效性要求高的应用，如果不能及时针对线上故障做出响应，带来的影响就非常大。除此之外，现有的日志系统不能快速处理海量数据，导致问题发现的非常缓慢。整体来说，现有的日志系统存在以下缺陷：一、不能有效的应对间歇性的高并发情况。互联网应用因为时段、运营手段等原因，容易出现某个时段高并发情况，这个时候日志量会暴增，如果处理不好很容易出现宕机的情况。例如，突然的一些运营活动导致线上业务压力大、日志量井喷，很容使日志系统宕机；二、实时性差。现有的日志系统很多都只是离线分析日志，或是准实时的分析日志，当出现线上问题时不能快速有效的响应；三、处理的数据量有限。现有日志处理的数据量都比较有限，这导致不能保存足够长时间的日志，不利于问题排查。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的上述问题，本专利技术提出一种分析互联网金融海量日志的系统及分析方法，采用kafka作为日志传输工具，能够有效地解决高并发带来的风险；采用storm集群实时采集数据、分析结果，实现了海量日志实时分析。本专利技术的技术方案是这样实现的：根据本专利技术的一个方面，提供了一种分析互联网金融海量日志的系统，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。在一个实施例中，还包括：存储模块，连接于处理模块；其中，存储模块包括redis存储单元，其中redis存储单元用于存储统计数据。在一个实施例中，存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；其中，MySQL存储单元用于存储规则数据；以及Elasticsearch存储单元用于存储日志文本数据。在一个实施例中，处理模块包括：报警控制单元，用于根据实时计算和分析的结果生成报警反馈。在一个实施例中，还包括web展示模块，连接于存储模块，web展示模块实时动态展示监控数据。根据本专利技术的另一方面，提供了一种分析互联网金融海量日志的方法，其特征在于，包括：利用flume实时收集业务日志；利用kafka技术对业务日志进行传输；接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储统计数据。在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储规则数据；以及存储日志文本数据。在一个实施例中，在对业务日志进行实时计算和分析之后还包括：根据实时计算和分析的结果生成报警反馈。在一个实施例中，在对业务日志进行实时计算和分析之后还包括：实时动态展示监控数据。本专利技术通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的一种分析互联网金融海量日志的系统的示意图；图2是根据本专利技术实施例的一种分析互联网金融海量日志的方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。如图1，示出了根据本专利技术实施例的一种分析互联网金融海量日志的系统的示意图，根据本专利技术实施例的分析系统100包括：顺序连接的采集模块10、传输模块20、以及处理模块30；其中，采集模块10利用flume实时收集业务日志；传输模块20利用kafka技术对业务日志进行传输，处理模块30接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。上述技术方案，通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。具体地，flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。本专利技术的分析系统100通过flume实时收集分布在各个业务应用系统上的日志，实现了日志分布式实时收集；kafka是一种高吞吐量的分布式发布订阅消息系统，通过采用kafka作为日志传输工具，Kafka吞吐量大，且不易丢失日志，有效的解决了高并发带来的风险、提高了高并发的容灾性能；海量日志实时分析。上述storm可以是storm实时计算集群，通过采用storm集群能够实时采集数据、并实时分析数据。在一个实施例中，如图1所示，分析系统100还包括：存储模块40，连接于处理模块30；存储模块40包括redis存储单元42，其中redis存储单元42用于存储统计数据。其中，存储模块40还包括：MySQL存储单元41、以及Elasticsearch存储单元43；MySQL存储单元41用于存储规则数据；以及Elasticsearch存储单元43用于存储日志文本数据。在一个实施例中，处理模块30包括：报警控制单元33，用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用系统的运行状态，对线上出现的问题能够及时生成报警反馈。即本专利技术的分析系统100能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。如图1所示，在一些可选的实施例中，处理模块30还可以具体包括：日志读取单元31、采样统计单元32、采样存储单元34、以及结果输出单元35。在一个实施例中，分析系统100还包括web展示模块50，连接于存储模块40，web展示模块50实时动态展示监控数据。根据实际需求，可以通过该web展示模块50实时展示分析结果、监控数据等。如图1所示，在一些可选的实施例中，web展示模块50可以包括：监控规则管理单元51、报警渠道管理单元52、性能参数动态展示单元53、报警对象管理单元54、报警历史展示单元55、业务异常动态展示单元56、关键词内容检索单元57。从而能够通过网站web进行相应的功能管理和内容展示。下面结合图1所示，对本专利技术实施例的分析系统100的工作过程进行说明。采集模块10利用flume从各个线上应用系统(应用系统1，...，应用系统n)实时收集业务日志，然后传输模块20利用Kafk本文档来自技高网...

【技术保护点】
1.一种分析互联网金融海量日志的系统，其特征在于，包括顺序连接的采集模块、传输 模块、以及处理模块；其中，所述采集模块利用flume实时收集业务日志；所述传输模块利用kafka技术对所述业务日志进行传输，所述处理模块接收所述业务日志并利用storm对所述业务日志进行 实时计算和分析以得到监控数据。

【技术特征摘要】
1.一种分析互联网金融海量日志的系统，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，所述采集模块利用flume实时收集业务日志；所述传输模块利用kafka技术对所述业务日志进行传输，所述处理模块接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。2.根据权利要求1所述的一种分析互联网金融海量日志的系统，其特征在于，还包括：存储模块，连接于所述处理模块；其中，所述存储模块包括redis存储单元，其中所述redis存储单元用于存储统计数据。3.根据权利要求2所述的一种分析互联网金融海量日志的系统，其特征在于，所述存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；其中，所述MySQL存储单元用于存储规则数据；以及所述Elasticsearch存储单元用于存储日志文本数据。4.根据权利要求1所述的一种分析互联网金融海量日志的系统，其特征在于，所述处理模块包括：报警控制单元，用于根据实时计算和分析的结果生成报警反馈。5.根据权利要求2所述的一...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：江苏易润信息技术有限公司，
类型：发明
国别省市：江苏,32