【技术实现步骤摘要】
一种基于网络日志的用户行为分析系统及方法
本专利技术属于互联网领域，具体涉及一种基于网络日志的用户行为分析方法及系统。
技术介绍
随着互联网的发展，在电子商务、电子政务、电子服务、休闲娱乐等各个领域都产生了大量的用户网站，用户在网络上浏览这些网站及页面的时候就会产生海量的行为日志，这些海量的日志信息包含了大量的隐藏价值，通过对用户行为信息的研究，可以从中发现用户在访问网站时所表现出来的规律、个性化的习惯等信息，从而为提升用户体验、精准营销、信息推送等提供科学、准确的依据，同时可以根据规律和用户行为偏好，对网站的页面布局、功能完善、系统架构做出更加优化的调整。针对用户行为的研究与应用，最有效的手段是记录用户的所有行为带来的全部用户行为信息，并对全部的用户行为信息进行统计、分析。但是用户的各种行为在网络上分散开来，目前很多国内外的用户行为分析系统都是基于部分网站的web日志进行的分析，针对大规模、不同类型的网站很难进行统一的分析与挖掘。
技术实现思路
针对
技术介绍
中的问题，本专利技术提出了一种于网络日志的用户...
【技术保护点】
1.一种基于网络日志的用户行为分析系统，其特征在于，所述系统包括分布式数据采集模块、基于hdfs的多层数据清洗和管理模块、数据分析模块和网站显示页面模块；/n所述分布式数据采集模块用于对各领域不同网站进行用户行为数据的抓取，构建成基本数据层；/n所述基于hdfs的多层数据清洗和管理模块用于对所述分布式数据采集模块提供的不同领域数据进行划分，针对数据特性，开发各自的数据清洗规则以及数据计算的算法；/n所述数据分析模块用于对存储于hdfs之上清洗之后的数据进行统计分析，得出整个分类、领域、系统的宏观数据；/n所述网站显示页面模块用于展示所述数据分析模块提供的宏观数据。/n
【技术特征摘要】
1.一种基于网络日志的用户行为分析系统，其特征在于，所述系统包括分布式数据采集模块、基于hdfs的多层数据清洗和管理模块、数据分析模块和网站显示页面模块；
所述分布式数据采集模块用于对各领域不同网站进行用户行为数据的抓取，构建成基本数据层；
所述基于hdfs的多层数据清洗和管理模块用于对所述分布式数据采集模块提供的不同领域数据进行划分，针对数据特性，开发各自的数据清洗规则以及数据计算的算法；
所述数据分析模块用于对存储于hdfs之上清洗之后的数据进行统计分析，得出整个分类、领域、系统的宏观数据；
所述网站显示页面模块用于展示所述数据分析模块提供的宏观数据。
2.根据权利要求1所述的基于网络日志的用户行为分析系统，其特征在于，所述分布式数据采集模块包括网络爬虫单元，所述网络爬虫单元用于获取用户在多个领域的行为路径数据。
3.根据权利要求2所述的基于网络日志的用户行为分析系统，其特征在于，所述网络爬虫单元包括自动报警单元，所述自动报警单元用于对爬虫数据进行实时监控。
4.根据权利要求1所述的基于网络日志的用户行为分析系统，其特征在于，所述网站显示页面模块包括首页、系统覆盖数据的多角度展示页面、不同领域网站信息的分类展示页面、单个网站单个用户数据的搜索展示页面。
5.根据权利要求4所述的基于网络日志的用户行为分析系统，其特征在于，所述系统覆盖数据的多角度展示页面包括系统覆盖的网站量、用户量、分析的数据量、网站按领域划分的占比、用户的年龄分布和地域分布信息。
6.根据权利要求4所述的基于网络日志的用户行为分析系统，其特征在于，所述不同领域网站信息的分类展示页面包括每个领域下top10网站的详情信息以及对应每个网站的流量占比、活跃用户量、PV、UV、PR值。
7.一种基于网络日志的用户行为分析方法，其特征在于，所述方法包括如下步骤：...
【专利技术属性】
技术研发人员：姜松浩，王博，凡文举，赵丽，孙晋龙，孙发强，武义涵，
申请(专利权)人：国家计算机网络与信息安全管理中心，长安通信科技有限责任公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。