一种基于ELK的用户习惯分析方法及系统技术方案

本发明专利技术公开了一种基于ELK的用户习惯分析方法及系统，该方法包括以下步骤：S1，日志数据缓存：将日志数据写入磁盘文件，供后续数据预处理使用；S2，数据预处理：将经日志数据缓存的各数据源的日志数据作归一化处理，供后续日志数据检索使用；S3，数据检索：实时检索所需的经数据预处理的日志数据，供后续用户行为习惯分析使用；S4，用户行为习惯分析：对经数据检索得到的日志数据进行建模，分析用户的用户行为习惯。本发明专利技术解决了现有技术存在的以下问题：针对来源较多、种类繁杂甚至是网络异构的日志数据，传统的日志处理手段由于缺乏实时的数据分析能力，无法及时对日志数据完成处理，且传统日志处理系统的数据处理方式较为简陋。日志处理系统的数据处理方式较为简陋。日志处理系统的数据处理方式较为简陋。

【技术实现步骤摘要】
一种基于ELK的用户习惯分析方法及系统


[0001]本专利技术涉及网络日志数据处理
，具体是一种基于ELK的用户习惯分析方法及系统。

技术介绍

[0002]随着互联网技术的不断发展，信息系统由较为简单的单节点应用逐渐转变成分布式应用。信息系统日志，如用户行为日志、系统操作日志、应用状态与流量监控日志等，对于保证系统的使用以及运维等有着重要意义。信息系统产生的日志，可以记录系统运行时的相关数据，通过数值、图标等形式可直观反映出系统用户的活跃时间与事件等相关信息。用户习惯分析主要以系统日志为数据基础，从基本的用户行为日志以及系统操作日志分析，再到应用状态与流量监控日志的辅助分析，日志信息越全面，反映出的用户习惯更加真实，进而辅助应用程序的不断完善与提高以及资源的合理运用。通常情况下，应用日志数据多存在于各个服务器上，对这些服务器上的日志数据进行收集、处理以及分析，对应用的正常运行提供了有力保障。
[0003]目前已有一些开源的日志系统可以辅助日志分析。Scribe作为Facebook公司开源的一个用于对流数据聚合的日志收集系统，能够从多种数据源中收集日志并最终将日志数据存储在目标存储系统中，但是该日志系统并不提供对日志数据的实时分析。Chukwa是Hadoop的一个子项目，用于弥补日志处理与Hadoop生态系统之间的差距，通过对不同数据源的日志进行汇聚再转交给MapReduce进行处理，使得MapReduce能够发挥出最佳性能。但是Chukwa并不能够达到实时处理日志数据的要求，且Chukwa的存储系统高度依赖Hadoop。Apache Flume虽然为日志数据的收集与聚合提供了一种可靠的分布式服务，但是由于Flume的客户端需要用户自行实现代码，且实时数据的收集是通过命令行方式，可靠性较差，其没有实现对文件新增记录的监控，且对数据的过滤和解析能力较差。
[0004]基于日志数据，对数据进行建模可分析出用户使用系统的行为习惯，实现对用户使用行为的跟踪，分析出用户在各环节的使用情况，找出用户在各环节可能产生的脏数据以及造成的潜在问题，分析流程的合理性并做出改进，优化操作流程，降低使用门槛；同时优化资源分配，依据用户使用占比灵活配置各功能模块所占有的资源。
[0005]为满足不断采集的多源网络日志数据，需要对各日志数据进行转换，能够实现用户可灵活配置日志处理规则。此外日志系统还需支持实时分析处理的能力，能够对用户行为习惯进行实时反应。因此需具备高并发、低延迟与高可用的特点。

技术实现思路

[0006]为克服现有技术的不足，本专利技术提供了一种基于ELK的用户习惯分析方法及系统，解决现有技术存在的以下问题：针对来源较多、种类繁杂甚至是网络异构的日志数据，传统的日志处理手段由于缺乏实时的数据分析能力，无法及时对日志数据完成处理，且传统日志处理系统的数据处理方式较为简陋。
[0007]本专利技术解决上述问题所采用的技术方案是：
[0008]一种基于ELK的用户习惯分析方法，包括以下步骤：
[0009]S1，日志数据缓存：将日志数据写入磁盘文件，供后续数据预处理使用；
[0010]S2，数据预处理：将经日志数据缓存的各数据源的日志数据作归一化处理，供后续日志数据检索使用；
[0011]S3，数据检索：实时检索所需的经数据预处理的日志数据，供后续用户行为习惯分析使用；
[0012]S4，用户行为习惯分析：对经数据检索得到的日志数据进行建模，分析用户的用户行为习惯。
[0013]作为一种优选的技术方案，步骤S3中，利用ElasticSearch实时检索所需的经数据预处理的日志数据。
[0014]作为一种优选的技术方案，步骤S2中，利用LogStash将经日志数据缓存的各数据源的日志数据作归一化处理。
[0015]作为一种优选的技术方案，步骤S3还包括以下步骤：
[0016]S31，利用Kibana实现对经数据检索得到的日志数据的可视化。
[0017]作为一种优选的技术方案，步骤S4中，用户行为习惯包括用户在使用系统软件时的浏览习惯、软件操作习惯、和/或系统操作习惯。
[0018]作为一种优选的技术方案，步骤S4中，分析用户的用户行为习惯的方法为以下的一种或多种：
[0019]路径分析，用以判断出当前软件中最为频繁访问的路径；
[0020]序列模式，用以在时间戳有序的事务集合中发现高频率出现的具有关联性的内部事务；
[0021]分类分析，用以给出识别一个特殊群体的公共属性的描述；
[0022]聚类分析，用以找出用户中具有相似特征的用户，将数据划分为不同的类；
[0023]统计，用以从系统历史日志数据中对用户活跃时间与事件进行频度、平均值的统计分析，分析出系统运行时资源的消耗情况；和/或；用以对应用状态与流量进行统计，对于可能影响系统正常运行的情况做出及时预警；
[0024]漏斗分析，用以找出用户在系统功能各环节的使用情况。
[0025]根据权利要求6所述的一种基于ELK的用户习惯分析方法，其特征在于，步骤S1～S4中的日志数据包括用户行为日志、系统操作日志、应用状态日志和/或流量监控日志。
[0026]作为一种优选的技术方案，步骤S1中，日志数据首先进入缓存中间件中存储，当缓存中间件接收到一定数量的日志数据或者到达某一时间阈值时，将缓存中的所有日志数据全部一次性通过磁盘IO写入磁盘文件。
[0027]一种基于ELK的用户习惯分析系统，包括以下模块：
[0028]日志数据缓存模块：用以将日志数据写入磁盘文件，供后续数据预处理模块使用；
[0029]数据预处理模块：用以将经日志数据缓存模块的各数据源的日志数据作归一化处理，供后续日志数据检索模块使用；
[0030]数据检索模块：用以实时检索所需的经数据预处理模块的日志数据，供后续用户行为习惯分析模块使用；
[0031]用户行为习惯分析模块：用以对经数据检索模块得到的日志数据进行建模，分析用户的用户行为习惯。
[0032]本专利技术相比于现有技术，具有以下有益效果：
[0033](1)本专利技术采用ELK技术，实现对大量多源日志数据的采集、处理与治理，将数据以服务的形式提供给用户行为习惯分析与展示模块，提升了系统的运行效率。同时结合缓存中间件技术，提升日志产生端的性能；
[0034](2)本专利技术对用户行为习惯进行分析，考虑到单一分析方法无法对所有日志数据进行全面准确地评估分析，采用了多种分析方法，充分发挥各分析方法优势，得到更加准确全面的用户行为习惯评估分析结果。
附图说明
[0035]图1为本专利技术所述一种基于ELK的用户习惯分析方法的步骤示意图；
[0036]图2为本专利技术所述一种基于ELK的用户习惯分析系统的结构框图；
[0037]图3为本专利技术所述一种基于ELK的用户习惯分析方法的总体架构图；
[0038]图4为本专利技术用户行为习惯分析与展示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ELK的用户习惯分析方法，其特征在于，包括以下步骤：S1，日志数据缓存：将日志数据写入磁盘文件，供后续数据预处理使用；S2，数据预处理：将经日志数据缓存的各数据源的日志数据作归一化处理，供后续日志数据检索使用；S3，数据检索：实时检索所需的经数据预处理的日志数据，供后续用户行为习惯分析使用；S4，用户行为习惯分析：对经数据检索得到的日志数据进行建模，分析用户的用户行为习惯。2.根据权利要求1所述的一种基于ELK的用户习惯分析方法，其特征在于，步骤S3中，利用ElasticSearch实时检索所需的经数据预处理的日志数据。3.根据权利要求2所述的一种基于ELK的用户习惯分析方法，其特征在于，步骤S2中，利用LogStash将经日志数据缓存的各数据源的日志数据作归一化处理。4.根据权利要求3所述的一种基于ELK的用户习惯分析方法，其特征在于，步骤S3还包括以下步骤：S31，利用Kibana实现对经数据检索得到的日志数据的可视化。5.根据权利要求4所述的一种基于ELK的用户习惯分析方法，其特征在于，步骤S4中，用户行为习惯包括用户在使用系统软件时的浏览习惯、软件操作习惯、和/或系统操作习惯。6.根据权利要求5所述的一种基于ELK的用户习惯分析方法，其特征在于，步骤S4中，分析用户的用户行为习惯的方法为以下的一种或多种：路径分析，用以判断出当前软件中最为频繁访问的路径；序列模式，用以在时间戳有序的事务集合中发现高频率...

【专利技术属性】
技术研发人员：黄河，邓永晖，荣星，黄兴，严亚伟，冯中华，苏怀方，盘善海，唐林，
申请(专利权)人：中国电子科技集团公司第三十研究所，
类型：发明
国别省市：