一种处理点击日志的方法、装置和系统制造方法及图纸

本公开提供了一种处理点击日志的方法、装置和系统。所述方法包括：根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；利用所述第一点击日志计算所述第一实时指标。

A Method, Device and System for Processing Click Log

The present disclosure provides a method, device and system for processing click logs. The method includes: sending the click log to the data temporary station corresponding to the preset condition according to the preset condition satisfied by the click log; obtaining the first click log from the first data temporary station matching the data requirement for calculating the first real-time index; and calculating the said click log by using the first click log. The first real-time indicator.

【技术实现步骤摘要】
一种处理点击日志的方法、装置和系统
本公开涉及互联网
，更具体地，涉及一种处理点击日志的方法、装置和系统。
技术介绍
用户访问网站时，服务器接收请求之后会发送数据到用户客户端，然后，用户在网站上任意一个页面的任何一个位置的点击都会产生一条点击日志。随着互联网应用的广泛普及，单位时间内产生的点击日志数量非常巨大并且具有很大的随机性，尤其是例如在大促销时期。因此，对于点击日志的处理就会要求有较高的时效性和稳定性，例如要避免数据堆积而导致系统瘫痪等。当前对点击日志进行实时处理时，是将产生的点击日志统一收集一个数据暂存总站，例如kafka数据系统。后续计算各种与点击日志相关的实时指标时都从该数据暂存总站中获取需要的点击日志来进行计算。但是，这种方式使得计算所有的实时指标时都从数据暂存总站获取数据，从而可能会对总的数据暂存总站造成极大的压力。而且，在计算每一个实时指标时，数据暂存总站中会存在大量的与该实时指标无关的数据，这样就需要占用额外的计算机资源去进行计算，影响实时指标计算的时效性。
技术实现思路
有鉴于此，本公开提供了一种能够缓解数据暂存总站的数据处理压力，同时提高点击日志实时处理效率的点击日志处理方法、装置和系统。本公开的一个方面提供了一种处理点击日志的方法。根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站。从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。利用所述第一点击日志计算所述第一实时指标。根据本公开的实施例，在根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站之前，还包括当产生所述点击日志时将所述点击日志发送至数据暂存总站。根据本公开的实施例，所述方法还包括当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时从所述数据暂存总站获取第二点击日志，然后利用所述第二点击日志计算所述第二实时指标。根据本公开的实施例，根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站，包括判断所述点击日志的第一参数，并根据所述第一参数所满足的预设条件将所述点击日志发送到与所述预设条件相对应的数据暂存站。根据本公开的实施例，所述预设条件包括点击日志的主题类型，和/或点击日志的产生源。根据本公开的实施例，所述数据暂存站包括分布式发布订阅消息系统kafka。本公开的另一个方面提供了一种处理点击日志的装置，包括：点击日志分发模块，用于根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；第一获取模块，用于从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；第一计算模块，用于利用所述第一点击日志计算所述第一实时指标。根据本公开的实施例，所述装置还包括点击日志收集模块，用于当产生所述点击日志时，将所述点击日志发送至数据暂存总站。根据本公开的实施例，所述装置还包括：第二获取模块，用于当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，从所述数据暂存总站获取第二点击日志；第二计算模块，用于利用所述第二点击日志计算所述第二实时指标。根据本公开的实施例，所述点击日志分发模块包括：判断子模块，用于判断所述点击日志的第一参数；分发子模块，用于根据所述第一参数所满足的预设条件，将所述点击日志发送到与所述预设条件相对应的数据暂存站。根据本公开的实施例，所述预设条件包括点击日志的主题类型，和/或点击日志的产生源。根据本公开的实施例，所述数据暂存站包括分布式发布订阅消息系统kafka。本公开的另一方面提供了一种处理点击日志的系统，包括一个或多个存储器，存储有可执行指令；以及一个或多个处理器，执行所述可执行指令，以实现如上所述的方法。本公开的另一方面提供了一种计算机可读存储介质，其上存储有可执行指令。该指令被处理器执行时以实现如上所述的方法。根据本公开的实施例，可以至少部分地缓解数据暂存总站的点击日志实时处理压力，较大程度地避免了大量点击日志在数据暂存总站的积压以及实时指标计算时的数据冗余，并因此可以提高处理点击日志的时效性和稳定性的技术效果。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了可以应用本公开的处理点击日志的方法和装置的的示例性系统架构；图2示意性示出了根据本公开实施例的处理点击日志的方法的流程图；图3示意性示出了根据本公开另一实施例的处理点击日志的方法的流程图；图4示意性示出了根据本公开再一实施例的处理点击日志的方法的流程图；图5示意性示出了根据本公开实施例的根据点击日志所满足的预设条件将点击日志发送至数据暂存站的方法的流程图；图6示意性示出了根据本公开实施例的处理点击日志的装置的框图；图7示意性示出了根据本公开另一实施例的处理点击日志的装置的框图；图8示意性示出了根据本公开再一实施例的处理点击日志的装置的框图；图9示意性示出了根据本公开实施例的点击日志分发模块的框图；以及图10示意性示出了根据本公开实施例的处理点击日志的计算机系统的框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。本公开的实施例提供了一种处理点击日志的方法、装置以及系统。该处理点击日志的方法通过将点击日志根据其所满足的预设条件，发送至与该预设条件相对应的数据暂存站。然后在进行第一实时指标的计算时从与计算第一实时指标的数据需求相本文档来自技高网...

【技术保护点】
1.一种处理点击日志的方法，包括：根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；利用所述第一点击日志计算所述第一实时指标。

【技术特征摘要】
1.一种处理点击日志的方法，包括：根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；利用所述第一点击日志计算所述第一实时指标。2.如权利要求1所述的方法，其中，在根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站之前，还包括：当产生所述点击日志时，将所述点击日志发送至数据暂存总站。3.如权利要求2所述的方法，还包括：当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，从所述数据暂存总站获取第二点击日志；利用所述第二点击日志计算所述第二实时指标。4.如权利要求1所述的方法，其中，根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站，包括：判断所述点击日志的第一参数；根据所述第一参数所满足的预设条件，将所述点击日志发送到与所述预设条件相对应的数据暂存站。5.如权利要求1所述的方法，其中，所述预设条件包括点击日志的主题类型，和/或点击日志的产生源。6.如权利要求1所述的方法，所述数据暂存站包括分布式发布订阅消息系统kafka。7.一种处理点击日志的装置，包括：点击日志分发模块，用于根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂...

【专利技术属性】
技术研发人员：袁建军，刘业辉，王彦明，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11