基于大数据的网站用户行为数据采集方法、系统及应用技术方案

一种基于大数据的网站用户行为数据采集方法、系统及应用，包括网站插码的步骤，收集用户行为数据的步骤，将用户行为数据包转化成用户行为日志文件的步骤，将用户行为日志文件发送至数据收集云存储的步骤，将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤，大数据存储的步骤，采用分布式集群部署，用户行为数据采集与网站应用本身分离，有效降低了用户行为数据采集对网站应用性能的影响。脱离了数据库存储网站用户行为采集数据的方式，分离了用户行为数据对数据库服务器的依赖关系，有效解决海量级数据的查询、分析和统计的问题。

【技术实现步骤摘要】
基于大数据的网站用户行为数据采集方法、系统及应用
本专利技术涉及一种数据采集方法及系统，具体的说是一种基于大数据的网站用户行为数据采集方法、系统及应用。
技术介绍
目前在大型网站中，需要对登录和非登录用户的行为数据进行采集，网站运营者通过对采集来的数据进行数据分析，帮助改进网站的栏目结构，提升用户的体验，以及进行商业化的用户行为分析，信息推送，广告投放等。传统的网站用户行为采集方案，基本都是采用在网站应用中部署采集代码和采集处理程序，通过网站应用本身进行用户行为数据的采集和收集，将用户行为数据直接记录入网站数据库中或应用本身的日志文件之中，这样的方案，会带来三个问题：（1）网站应用需要承担除了处理网站业务以外的其它工作，随着用户访问量的增加，网站应用的性能会出现显著降低，同时网站应用的故障率也逐步提升；（2）网站应用的数据库服务需要承受高频次的用户行为数据写入操作，数据库的数据存储量日益增加，数据库的性能逐步降低。伴随着行为数据的每日递增，数据库服务器的运行风险也呈现为递增趋势。（3）当用户行为数据的数据量变为海量级以后，传统的数据库查询已经无法应对海量级数据的查询、分析和统计。此外本文档来自技高网...

【技术保护点】
一种基于大数据的网站用户行为数据采集方法，其特征在于包括以下步骤：（1）网站插码的步骤，由网站开发人员在网站页面上进行插码，插入用户行为数据采集脚本文件和脚本代码；（2）收集用户行为数据的步骤，当用户访问网站页面时，用户行为数据采集脚本文件和脚本代码收集用户行为数据，并将数据重组成指定规格的用户行为数据包，通过HTTP协议向用户行为采集服务器发送；（3）将用户行为数据包转化成用户行为日志文件的步骤，用户行为采集服务器接收网页端发出的用户行为数据包，并利用OpenResty组件将数据包转化成用户行为日志文件；（4）将用户行为日志文件发送至数据收集云存储的步骤，在用户行为采集服务器上部署Linux...

【技术特征摘要】
1.一种基于大数据的网站用户行为数据采集方法，其特征在于包括以下步骤：（1）网站插码的步骤，由网站开发人员在网站页面上进行插码，插入用户行为数据采集脚本文件和脚本代码；（2）收集用户行为数据的步骤，当用户访问网站页面时，用户行为数据采集脚本文件和脚本代码收集用户行为数据，并将数据重组成指定规格的用户行为数据包，通过HTTP协议向用户行为采集服务器发送；（3）将用户行为数据包转化成用户行为日志文件的步骤，用户行为采集服务器接收网页端发出的用户行为数据包，并利用OpenResty组件将数据包转化成用户行为日志文件；（4）将用户行为日志文件发送至数据收集云存储的步骤，在用户行为采集服务器上部署LinuxShell脚本，定时将用户行为日志文件发送至统一的数据收集云存储上；（5）将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤，采用监控数据工具监控数据收集云存储（NAS）上不断增加的用户行为日志文件，并实时的将日志文件中的数据传输给大数据存储；（6）大数据存储的步骤，使用HDFS作为大数据存储，将所有的用户行为数据存储于HDFS之中。2.根据权利要求1所述基于大数据的网站用户行为数据采集方法，其特征在于：所述OpenResty组件为Lua和Nginx粘合的ngx_lua模块；所述数据收集云存储为NAS云存储；所述监控数据工具为Flume。3.根据权利要求1所述基于大数据的网站用户行为数据采集方法，其特征在于：所述将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤，采用监控数据工具监控数据收集云存储（NAS）上新增加的用户行为日志文件，采用增量传递的方式实时的将日志文件中的数据传输给大数据存储。4.采用权利要求1所述基于大数据的网站用户行为数据采集方法的系统，其特征在于...

【专利技术属性】
技术研发人员：甘傲然，
申请(专利权)人：南京感度信息技术有限责任公司，
类型：发明
国别省市：江苏,32