一种Web系统大流量数据统计分析的方法技术方案

本发明专利技术属于流量数据统计分析技术领域，具体涉及一种Web系统大流量数据统计分析方法。该方法利用Nginx ngx_http_empty_gif_module自带模块做数据打点上报，通过指定功能按钮和页面路由进行数据埋点，然后基于基于Pipline编程思想使用Goroutine和Channel并发统计分析流量日志数据。该方法能够更好了解用户行为、智能推荐、掌握产品动向、辅助产品决策；可以快速定位系统异常流量情况，帮助运营者从多角度观察系统的状况是否良好，及时发现问题和处理问题。处理问题。处理问题。

【技术实现步骤摘要】
一种Web系统大流量数据统计分析的方法


[0001]本专利技术属于流量数据统计分析
，具体涉及一种Web系统大流量数据统计分析方法。

技术介绍

[0002]随时互联网的高速发展和大数据时代的到来，企业更好的发展，流量统计分析必不可少。基于多维度分析结果可以使企业数据驱动决策，精细化运营，在市场上更有竞争力。
[0003]现在市场上已经有很多第三方网站流量分析系统如百度统计、友盟、Google Analytics等，但是使用第三方系统的话，数据其实并没有掌握在自己的手中，我们不能基于流量数据做自定义开发、多维度数据分析统计、数据监控，定位异常流量等。
[0004]另外一些企业也会自己内部实现流量数据分析系统，但是系统可能采用代码埋点方式与业务逻辑相耦合，容易造成风险，使用数据库做打点上报媒介、多线程或者利用数据库机制做流量数据统计分析。这种方案在低流量系统性能还好，但是大流量数据下性能就变的低效，还会对服务器资源造成一定的浪费。
[0005]因此提出一种企业高效的、自建的Web系统的大流量数据埋点和统计分析方法来应对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Web系统大流量数据统计分析方法，其特征在于：包括以下步骤：步骤一、利用Nginx ngx_http_empty_gif_module 自带模块做数据打点上报；步骤二、对Web系统进行数据埋点；步骤三、基于Pipline编程思想使用 Goroutine 和 Channel 并发统计分析流量日志数据，保存到存储介质中。2.根据权利要求1所述的Web系统大流量数据统计分析方法，其特征在于：步骤一包括以下步骤：（1）打开Nginx ngx_http_empty_gif_module 在server模块中配置 location 路径，配置log_format参数设定自定义日志输出格式；（2）使用nginx
‑
log
‑
rotate工具，配置定时计划任务定时自动进行日志切割。3.根据权利要求1所述的Web系统大流量数据统计分析方法，其特征在于：步骤二包括以下步骤：（1）在Web系统工具类库中定义一个页面自执行函数(function() {})()；（2）在自定义函数创建script节点，src指定为配置的location 路径，id为唯一值，根据埋点类型对参数进行处理，生成dom节点；（3）将生成的dom节点动态插入到body节点中；（4）Web系统埋点。4.根据权利要求3所述的Web系统大流量数据统计分析方法，其特征在于：步骤（4）中可以采用指定功能按钮埋点和页面路由埋点两种类型，其中功能按钮埋点采用声明式埋点，自定义业务区分参数按钮，在需要上报的功能按钮中配置埋点指令，利用Vue.directive指令获取触发按钮的dom节点，执行步骤（2）的自定义函数；页面路由埋点可以使用 vue

【专利技术属性】
技术研发人员：柴新鹏，冯凯，王元卓，彭亮，
申请(专利权)人：中科大数据研究院，
类型：发明
国别省市：