一种基于Spring框架的大数据日志分析的方法和系统技术方案

本发明专利技术公开了一种基于Spring框架的大数据日志分析的方法和系统，属于信息安全技术领域，该方法包括如下步骤：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件。本发明专利技术针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题。

【技术实现步骤摘要】
一种基于Spring框架的大数据日志分析的方法和系统
本专利技术涉及一种基于Spring框架的大数据日志分析的方法和系统，属于信息安全

技术介绍
在如今复杂多样的企业WEB服务中，不仅集成了SpringMVC、SpringBoot、SpringCloud各种服务框架，同时记录日志方式也是多种多样、千差万别。不仅缺失了日志的归档、管理的功能，而且对各个WEB服务无法做出统一的告警管理、风险预警；无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式；同时无法提前预知和及时处理问题，极大的影响的客户的感知体验，因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理、及时预警，并提供良好的UI界面进行数据展示，处理分析，同时对客户行为进行数据挖掘，提炼出更大的商业价值。
技术实现思路
本专利技术的主要目的是为了解决现有技术的不足，而提供一种基于Spring框架的大数据日志分析的方法和系统。本专利技术的目的可以通过采用如下技术方案达到：一种基于Spring框架的大数据日志分析的方法，该方法包括如下步骤：步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；步骤2：Logstash数据入ES，在logstashconfig目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；步骤3：Flume数据存HDFS，在Flumeconf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。优选的，在步骤1中，所述新增logback依赖如下：优选的，在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：优选的，在步骤2中，新建trace-logging.conf文件如下：优选的，所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash-codec-json_lines插件；ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。优选的，和系统，所述Flume数据采集架构为WebServer.依次经过到Source、Channel、Sink和HDFS。优选的，在步骤3中，Flumeconf目录下新建.properties文件如下：#agent1nameagent1.sourcessource1agent1.sinks＝sink1agent1.channels＝channel1#SpoolingDirectory#setsource1agent1.sources.source1.type＝spooldiragent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfsagent1.sources.source1.channels:channel1agent1.sources.source1.fileHeader＝falseagent1.sources.source1.interceptors＝i1.agent1.sources.source1.interceptors.i1.type＝timestamp#setsink1agent1.sinks.sink1.type＝hdfsagent1.sinks.sink1.hdfs.path＝/user/yuhui/flumeagent1.sinks.sink1.hdfs.fileTypeDataStreamagent1.sinks.sink1.hdfs.writeFormat＝TEXTagent1.sinks.sink1.hdfs.rollInterval＝1agent1.sinks.sink1.channel-channel1agent1.sinks.sink1.hdfs.filePrefix％Y-％m-％d#setchannel1agent1.channels.channel1.typefileagent1.channels.channel1.checkpointDir-/usr/app/flumelog/dir/logdfstmp/pointagent1.channels.channe11.dataDirs-/usr/app/flumelog/dir/logdfstmp优选的，在步骤4中，修改kibana.yml如下：server.port:5601##服务端口server.host:"0.0.0.0"elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"]一种基于Spring框架的大数据日志分析的方法的系统，所述系统包括日志监控、告警管理和行为分析日志监控包括搜索功能和报表监控搜索功能：通过设置时间、服务名称和日志层次维度筛选；报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控；告警管理，当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理系统能够通过邮件、短信、钉钉或微信的方式推送维人员；行为分析通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标；通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。优选的，所述报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。本专利技术的有益技术效果：按照本专利技术的基于Spring框架的大数据日志分析的方法和系统，针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题；提供了风险预警和告警监控的功能，通过邮件、短信、钉钉、微信灵活多样的方式推送维人员；对用户的行本文档来自技高网...

【技术保护点】
1.一种基于Spring框架的大数据日志分析的方法，其特征在于，该方法包括如下步骤：/n步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；/n步骤2：Logstash数据入ES，在logstash config目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；/n步骤3：Flume数据存HDFS，在Flume conf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；/n步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。/n

【技术特征摘要】
1.一种基于Spring框架的大数据日志分析的方法，其特征在于，该方法包括如下步骤：
步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；
步骤2：Logstash数据入ES，在logstashconfig目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；
步骤3：Flume数据存HDFS，在Flumeconf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；
步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。


2.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤1中，所述新增logback依赖如下：
<dependency>
<groupId>net.logstash.logback</groupid>
<artifactId>logstash-logback-encoder</artifactId>
<version>4.11</version>
</dependency>


3.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：














4.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤2中，新建trace-logging.conf文件如下：








5.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash-codec-json_lines插件；ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。


6.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法和系统，其特征在于，所述Flume数据采集架构为WebServer.依次经过到Source、Channel、Sink和HDFS。


7.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤3中，Flumeconf目录下新建.properties文件如下：
#agent1name
agent1.sourcessource1
agent1.sinks＝sink1
agent1.channels＝channel1
#SpoolingDirectory
#setsource1
agent1.sources.source1.type＝spooldi...

【专利技术属性】
技术研发人员：徐敏，
申请(专利权)人：联通江苏产业互联网有限公司，
类型：发明
国别省市：江苏;32