用于网站日志采集的方法及装置制造方法及图纸

本申请公开一种用于网站日志采集的方法及装置。该方法包括：通过客户端的浏览器获取日志请求；在所述客户端根据预定规则判断所述日志请求是否需要进行预处理；对需要进行预处理的所述日志请求进行预处理，以生成上报消息；以及将所述上报消息由所述客户端发送至预定服务器。本申请公开的用于网站日志采集的方法及装置，能够提高工作效率，节约带宽资源，降低了服务器端的资源消耗。

Methods and devices for Web log collection

The present application discloses a method and device for the collection of Web logs. The method comprises: acquiring log requests through the client browser; the client according to a predetermined rule whether the log requests need for pretreatment; for the log preprocessing request preprocess to generate report message; and the news reported by the client to a predetermined server. The method and device used for website log collection disclosed in this application can improve work efficiency, save bandwidth resources and reduce resource consumption at the server side.

【技术实现步骤摘要】
用于网站日志采集的方法及装置
本专利技术涉及计算机信息处理领域，具体而言，涉及一种用于网站日志采集的方法及装置。
技术介绍
大数据的背景下，网站用户行为数据分析成为企业标配，主流的数据采集方式是基于Javascript(JS)的BS架构，早期的网站统计只收集用户的浏览行为，但随着ajax技术的广泛使用和用户精细化运营需求，点击事件、自定义事件等不同行为日志的采集需求也越来越多，但随着数据上报频率的增多，多条日志中包含的重复信息越来越多，且对后端服务器的压力越来越大，对于下游进行日志解析处理和应用指标统计的复杂度也带来了挑战。现有技术中，常用的日志采集方式有页面标签埋点技术与无埋点技术。页面标签埋点技术：网站引入一段JS来上报浏览数据，对于特定位置的点击数据或者自定义日志数据上报，需要在对应的页面位置加入一段代码标签，以便JS监听相应位置的点击。无埋点技术：网站引入一段JS来上报浏览数据，对于特定位置的点击数据，无需额外埋点，JS通过监听网页文档对象模型(DocumentObjectModel，DOM)结构，捕获所有可点击元素的点击行为，将页面全量点击数据上报，后续通过对页面位置进行圈本文档来自技高网...

【技术保护点】
一种用于网站日志采集的方法，其特征在于，包括：通过客户端的浏览器获取日志请求；在所述客户端根据预定规则判断所述日志请求是否需要进行预处理；对需要进行预处理的所述日志请求进行预处理，以生成上报消息；以及将所述上报消息由所述客户端发送至预定服务器。

【技术特征摘要】
1.一种用于网站日志采集的方法，其特征在于，包括：通过客户端的浏览器获取日志请求；在所述客户端根据预定规则判断所述日志请求是否需要进行预处理；对需要进行预处理的所述日志请求进行预处理，以生成上报消息；以及将所述上报消息由所述客户端发送至预定服务器。2.如权利要求1所述的方法，其特征在于，还包括：通过所述浏览器获取策略消息，并将所述策略消息缓存到所述客户端的本地。3.如权利要求2所述的方法，其特征在于，所述通过客户端的浏览器获取策略消息，并将所述策略消息缓存到本地，包括：通过所述客户端的浏览器发送日志请求时，获取所述策略消息，并将所述策略消息缓存到本地。4.如权利要求1所述的方法，其特征在于，所述通过客户端的浏览器获取日志请求，包括：通过所述浏览器加载采集脚本语言；通过所述采集脚本语言，在用户对所述浏览器中的网页进行操作时获取对应的日志请求。5.如权利要求2所述的方法，其特征在于，所述在所述客户端根据预定规则判断所述日志请求是否需要进行预处理，包括：在所述客户端通过策略消息生成所述预定规则；以及根据预定规则判断所述日志请求是否需要进行预处理。6.如权利要求1所述的方法，其特征在于，所述对需要进行预处理的所述日志请求进行预处理，生成上报消息，包括：通过所述浏览器的localStorage对所述日志请求进行预处理，生成所述上报消息。7.如权利要求1所述的方法，其特征在于，所述对需要进行预处理的所述日志请求进行处理，生成上报消息，包括以下处理过程至少一者：对需要进行预处理的所述日志请求进行储存处理，生成所述上报消息；对需要进行预处理的所述日志请求进行过滤处理，生成所述上报消息；以及对需要进行预处理的所述日志请求进行计算处理，生成所述上报消息。8.如权利要求7所述的方法，其特征在于，所述对需要进行预处理的所述日志请求进行储存处理，生成上报消息，包括：将所述日志请求字段分为公共字段与可变字段；通过所述公共字段生成所述上报消息；以及通过所述可变字段生成所述上报消息。...

【专利技术属性】
技术研发人员：焦文健，安海雄，李双义，王海旭，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11