The present disclosure provides a method, device and system for processing click logs. The method includes: sending the click log to the data temporary station corresponding to the preset condition according to the preset condition satisfied by the click log; obtaining the first click log from the first data temporary station matching the data requirement for calculating the first real-time index; and calculating the said click log by using the first click log. The first real-time indicator.
【技术实现步骤摘要】
一种处理点击日志的方法、装置和系统
本公开涉及互联网
,更具体地,涉及一种处理点击日志的方法、装置和系统。
技术介绍
用户访问网站时,服务器接收请求之后会发送数据到用户客户端,然后,用户在网站上任意一个页面的任何一个位置的点击都会产生一条点击日志。随着互联网应用的广泛普及,单位时间内产生的点击日志数量非常巨大并且具有很大的随机性,尤其是例如在大促销时期。因此,对于点击日志的处理就会要求有较高的时效性和稳定性,例如要避免数据堆积而导致系统瘫痪等。当前对点击日志进行实时处理时,是将产生的点击日志统一收集一个数据暂存总站,例如kafka数据系统。后续计算各种与点击日志相关的实时指标时都从该数据暂存总站中获取需要的点击日志来进行计算。但是,这种方式使得计算所有的实时指标时都从数据暂存总站获取数据,从而可能会对总的数据暂存总站造成极大的压力。而且,在计算每一个实时指标时,数据暂存总站中会存在大量的与该实时指标无关的数据,这样就需要占用额外的计算机资源去进行计算,影响实时指标计算的时效性。
技术实现思路
有鉴于此,本公开提供了一种能够缓解数据暂存总站的数据处理压力,同时提高点击日志实时处理效率的点击日志处理方法、装置和系统。本公开的一个方面提供了一种处理点击日志的方法。根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站。从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。利用所述第一点击日志计算所述第一实时指标。根据本公开的实施例,在根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站之前 ...
【技术保护点】
1.一种处理点击日志的方法,包括:根据点击日志所满足的预设条件,将所述点击日志发送至与所述预设条件相对应的数据暂存站;从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志;利用所述第一点击日志计算所述第一实时指标。
【技术特征摘要】
1.一种处理点击日志的方法,包括:根据点击日志所满足的预设条件,将所述点击日志发送至与所述预设条件相对应的数据暂存站;从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志;利用所述第一点击日志计算所述第一实时指标。2.如权利要求1所述的方法,其中,在根据点击日志所满足的预设条件,将所述点击日志发送至与所述预设条件相对应的数据暂存站之前,还包括:当产生所述点击日志时,将所述点击日志发送至数据暂存总站。3.如权利要求2所述的方法,还包括:当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时,从所述数据暂存总站获取第二点击日志;利用所述第二点击日志计算所述第二实时指标。4.如权利要求1所述的方法,其中,根据点击日志所满足的预设条件,将所述点击日志发送至与所述预设条件相对应的数据暂存站,包括:判断所述点击日志的第一参数;根据所述第一参数所满足的预设条件,将所述点击日志发送到与所述预设条件相对应的数据暂存站。5.如权利要求1所述的方法,其中,所述预设条件包括点击日志的主题类型,和/或点击日志的产生源。6.如权利要求1所述的方法,所述数据暂存站包括分布式发布订阅消息系统kafka。7.一种处理点击日志的装置,包括:点击日志分发模块,用于根据点击日志所满足的预设条件,将所述点击日志发送至与所述预设条件相对应的数据暂...
【专利技术属性】
技术研发人员:袁建军,刘业辉,王彦明,
申请(专利权)人:北京京东尚科信息技术有限公司,北京京东世纪贸易有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。