基于大数据处理的日志分析方法、系统及可读存储装置制造方法及图纸

本发明专利技术提供了一种基于大数据处理的日志分析方法、系统及可读存储装置，所述日志分析方法包括以下步骤：S1：日志收集服务BLS从日志源收集日志；S2：通过对日志进行数据冷处理和数据热处理；S3：通过BMR进行大数据分布式计算、处理、分析和报告；S4：经过BMR处理好的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作，通过日志分析系统能够看到用户的主要来源、喜好网站上的哪些内容，以及用户的忠诚度等。通过分析用户行为日志，本发明专利技术能对网站的布局、功能进一步的优化，以提高用户的体验等。通过分析结果，进行推广预算的划分，以及重点优化用户群体的倾向点等。

Log analysis method, system and readable storage device based on big data processing

【技术实现步骤摘要】
基于大数据处理的日志分析方法、系统及可读存储装置
本专利技术涉及大数据处理
，尤其涉及基于大数据处理的日志分析方法、系统及可读存储装置。
技术介绍
在互联网的应用中，日志是个非常重要的数据，因为互联网项目往往是要求7*24不间断运行的，所以能获取到监控系统运行的相关日志数据并进行分析就显得很有必要。日志分析系统是面向分析的集成化数据环境，为企业决策制定过程，提供系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。在大数据时代，日志数据是每个公司、组织或机构运营情况的明确记录，也是用户在公司产品过程中使用痕迹的最直接，最易获得、覆盖面最广的数据来源之一。日志的采集和分析往往采用大数据的技术处理。因此，有必要研究基于大数据处理的日志分析方法、系统及可读存储装置来应对现有技术的不足，以解决或减轻上述一个或多个问题。
技术实现思路
有鉴于此，本专利技术提供了基于大数据处理的日志分析方法、系统及可读存储装置，通过日志分析能够看到用户的主要来源、喜好网站上的哪本文档来自技高网...

【技术保护点】
1.一种基于大数据处理的日志分析方法，其特征在于，所述日志分析方法包括以下步骤：/nS1：日志收集服务，BLS从日志源收集日志；/nS2：对日志分别进行数据冷处理和数据热处理；/nS3：通过BMR对处理后的数据进行大数据分布式计算，并进行分析；/nS4：经过BMR计算后的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作；/nS5：应用和展示分析结果，将数据热处理的结果提供警报给运维人员；将冷数据处理的结果通过BI工具进行展示。/n

【技术特征摘要】
1.一种基于大数据处理的日志分析方法，其特征在于，所述日志分析方法包括以下步骤：
S1：日志收集服务，BLS从日志源收集日志；
S2：对日志分别进行数据冷处理和数据热处理；
S3：通过BMR对处理后的数据进行大数据分布式计算，并进行分析；
S4：经过BMR计算后的数据写入数据仓库或由BOS中的数据结合机器学习BML进行用户行为预测分析操作；
S5：应用和展示分析结果，将数据热处理的结果提供警报给运维人员；将冷数据处理的结果通过BI工具进行展示。


2.根据权利要求1所述的日志分析方法，其特征在于，所述S2中数据冷处理具体为：将日志写入对象存储BOS进行存储或者写入HBase集群，之后接入Hive或SparkSQL集群进行分析处理。


3.根据权利要求1所述的日志分析方法，其特征在于，所述S2中数据热处理具体为：将日志输入消息服务Kafka，作为消息队列，投递到流式计算BSC，对日志数据进行实时计算处理，再将处理后的数据写入到Kafka。


4.根据权利要求1所述的日志分析方法，其特征在于，所述S1具体为:通过BLS进行托管式日志收集服务，用户需配置源地址、目的地址和收集规则。


5.根据权利要求1所述的日志分析方法，其特征在于，所述S3具体包括：
S31：数据清洗，使用分布式计算框架对...

【专利技术属性】
技术研发人员：杨勋，胡建国，
申请(专利权)人：北京国联视讯信息技术股份有限公司，
类型：发明
国别省市：北京;11