一种处理延迟发送的日志数据的方法和系统技术方案

本方案涉及处理延迟发送的日志数据的装置、系统和方法。该装置包括：日志接收模块，用于接收由终端侧发送的用户行为日志，其中用户行为日志包含终端侧采集到的日志数据及其实际发生时间；延迟判断模块，用于根据实际发生时间判断在日志接收模块接收的用户行为日志为延迟还是非延迟日志；初始计算模块，用于根据日志数据的实际发生时间，按预设策略对延迟判断模块判断的非延迟日志的日志数据进行初始计算；修正计算模块，用于根据延迟判断模块判断的属于延迟日志的日志数据及其实际发生时间，按预设策略对初始计算模块的计算结果进行修正计算；结果输出模块，用于将初始计算模块与修正计算模块的计算结果进行输出。

A method and system for processing delayed send log data

The scheme relates to an apparatus, a system and a method for processing delayed transmitted log data. The device comprises a receiving module for receiving the log, user behavior log sent by the terminal side, wherein the user behavior log contains the log data collected by the terminal side and the actual time delay; judgment module, according to the actual time of occurrence in the judgment of the user behavior log log receiver module for delay or non delay log; initial calculation according to the actual log data module, the occurrence time, according to the preset strategy to delay delay log data judgment module to judge the initial calculation; calculation module used for judging module judges according to the delay to delay the log log data and the actual time, according to the calculation of the initial calculation module of the preset strategy results correction calculation; output module, for the initial calculation module and correction calculation module The results of the calculations are output.

【技术实现步骤摘要】
一种处理延迟发送的日志数据的方法和系统
本申请涉及移动数据处理
，尤其涉及移动数据平台中处理延迟发送的日志数据的装置、系统和方法。
技术介绍
随着移动互联网的迅猛发展，移动应用(App，应用程序)市场的竞争也日趋激烈，移动应用的开发者要发展就必须为用户提供优质的产品功能与服务，并能够针对市场变化和用户需求做出快速反应。为此，实时采集并分析用户的使用习惯，是把握最新用户需求和优化用户体验的关键一步。但由于移动应用的特殊性，与传统互联网不同，其用户的操作行为大多是在手机客户端上完成的，这也意味着用户行为日志必须传到服务器后，才能被开发者进行分析处理，实现应用的监测和优化等。但由于移动应用的特殊性，用户的行为日志有时往往不能够实时传回到服务器，这有两方面原因：一方面是一些离线类应用(如离线游戏、电子读物)，其用户在使用应用的大多数时候是不需要用手机联网的，这就导致其在离线(脱网)时所产生的行为日志只有等用户下次使用该应用联网时才能发回服务器，这个时间延迟有可能是数天、数周、甚至数月，完全由应用自身决定；另一方面是，由于目前移动应用的上传过程都是会产生流量的，通过WIFI方式一般是不计流量费用的，但如果通过GPRS或其他移动通讯商的收费联网方式上传日志到服务器所产生的流量则是要计费的，所以导致应用开发者为了顾及用户感受，不得不将行为日志发回服务器的时机安排在不计流量费用时发送，这也导致了一部分日志数据延迟发回服务器，其延迟时间可能为数个小时或数天。另外，考虑到数据压缩，日志采集器往往也会缓存一部分日志后再发送，这个过程也会导致日志发送过程的延迟。日志延迟发回服务器，如果时间较长，超过了日志数据计算频度的时间间隔，就会造成数据失真，从而不能按时全面地为应用开发者展现客户真实准确的结果。对于这个问题，现有的移动应用技术的处理策略大概分为两大类：(1)忽略接收到的延迟发送过来的日志数据；(2)认可延迟发送过来的日志数据，并再一次计算操作时反映到结果中，相当于一种数据修正。第一种策略，操作简单、计算量小，但所带来的问题就是没有全面地反映用户的实际使用情况的总量，如果应用的离线日志程度很高的话，则应用开发者在服务器上所看到结果就严重失真了。第二种策略，对结果进行了必要的修正，但计算的时间空间复杂度会增加很多，这是因为需要重新计算延迟发送日志数据所在实际发生时间所涉及的所有指标，时间复杂度将增加，而为了完成修正，有些修正计算还需要保存之前的中间结果(比如独立用户数列表)，也会造成空间复杂度将要增加；并且往往是时间离得越近则修正的作用越不明显(因为数据延迟时间长度的概率分布往往不是几个小时，而可能是几天左右)，从而导致在对数据进行趋势分析时，修正后的计算结果往往会在近期出现一些下滑的趋势，过一段时间修正完后，又会发现之前的下滑不存在了，这种不稳定性的下滑往往不能代表真实的趋势方向，而完全是由于数据延迟所造成，从而给应用开发者的数据分析带来干扰。由于移动应用在用户手机端所产生的日志数据因诸如上述多种原因往往不能及时发回服务器，而当这种延迟的时间间隔超过了操作的时间间隔时，就会需要考虑在下次计算操作时对其之前所有计算结果是否需要进行数据修正。如果不在之后修正的话就会影响计算结果的全面性与真实准确性；而如果在收到延迟数据后进行数据修正，不单计算时间空间复杂度会增加很多，同时数据计算结果也将会具有一定的不稳定性(尤其是在趋势分析时所带来的失真下滑)。可见，现有的移动应用计算技术存在的移动应用日志数据延迟发送造成数据不全面准确，进而导致简单数据修正策略计算量过大且数据失真等缺陷。
技术实现思路
针对上述现有技术的缺陷，本申请要解决的技术问题是提供一种处理延迟发送的日志数据的装置、系统和方法，其针对移动应用日志延迟发送所带来的计算不够全面准确的问题，以及进行简单数据修正策略所带来的计算量过大与数据失真等问题，在该处理延迟发送的日志数据的装置、系统和方法中，采用了一种优化的“修正前”与“修正后”两套计算指标相结合的计算与分析策略。本申请提供的一种处理延迟发送的日志数据的装置，用于网络侧服务器，包括：日志接收模块，用于接收由终端侧发送的用户行为日志，其中，所述用户行为日志包含终端侧采集到的日志数据及其实际发生时间；延迟判断模块，用于根据所述实际发生时间判断在日志接收模块接收的用户行为日志为延迟日志还是非延迟日志；初始计算模块，用于根据日志的日志数据的实际发生时间，按预设策略对延迟判断模块判断的非延迟日志的日志数据进行初始计算；修正计算模块，用于根据延迟判断模块判断的属于延迟日志的日志数据及其实际发生时间，按预设策略对所述初始计算模块的计算结果进行修正计算；结果输出模块，用于将所述初始计算模块与修正计算模块的计算结果进行输出。本申请还提供的一种处理延迟发送的日志数据的系统，包括终端及服务器，所述终端中包括至少一个应用，其中，所述终端进一步包括：日志采集模块，用于采集针对预设应用的日志数据并生成用户行为日志，发送至所述服务器，其中所述用户行为日志中包含采集到的日志数据及其实际发生时间；所述服务器包括：日志接收模块，用于接收由终端侧发送的所述用户行为日志，其中，所述用户行为日志包含终端侧采集到的日志数据及其实际发生时间；延迟判断模块，用于根据所述实际发生时间判断在日志接收模块接收的用户行为日志为延迟日志还是非延迟日志；初始计算模块，用于根据日志的日志数据的实际发生时间，按预设策略对延迟判断模块判断的非延迟日志的日志数据进行初始计算；修正计算模块，用于根据延迟判断模块判断的属于延迟日志的日志数据及其实际发生时间，按预设策略对所述初始计算模块的计算结果进行修正计算；结果输出模块，用于将所述初始计算模块与修正计算模块的计算结果进行输出。本申请还提供一种处理延迟发送的日志数据的方法，用于网络侧服务器，包括：接收由终端侧发送的用户行为日志，其中所述用户行为日志中包含终端侧采集到的日志数据及其实际发生时间；用于根据所述实际发生时间判断接收的用户行为日志为延迟日志还是非延迟日志；根据日志的日志数据的实际发生时间，按预设策略对判断为非延迟日志的日志数据进行初始计算；根据判断属于延迟日志的日志数据及其实际发生时间，按预设策略对所述初始计算模块的计算结果进行修正计算；将所述对用户行为数据的初始计算结果与修正计算结果进行输出。本申请还提供一种处理延迟发送的日志数据的方法，用于包括终端及服务器的网络，所述终端中包括至少一个应用，其中，所述方法包括如下步骤：在终端侧采集针对预设应用的日志数据并生成用户行为日志，发送至所述服务器，其中所述用户行为日志中包含采集到的日志数据及其实际发生时间；在服务器侧接收由终端侧发送的所述用户行为日志，其中所述用户行为日志中包含终端侧采集到的日志数据及其实际发生时间；根据所述实际发生时间判断所述接收的用户行为日志为延迟日志还是非延迟日志；根据日志的日志数据的实际发生时间，按预设策略对判断为非延迟日志的日志数据进行初始计算；根据对判断属于延迟日志的日志数据及其实际发生时间，按预设策略对日志数据的初始计算结果进行修正计算；将所述初始计算与修正计算的计算结果进行输出。为了解决这一系列问题，本申请提出的上述技术方案，实现了一种优化的本文档来自技高网...

【技术保护点】
一种处理延迟发送的日志数据的装置，用于网络侧服务器，其特征在于，包括：日志接收模块，用于接收由终端侧发送的用户行为日志，其中，所述用户行为日志包含终端侧采集到的日志数据及其实际发生时间；延迟判断模块，用于根据所述实际发生时间判断在日志接收模块接收的用户行为日志为延迟日志还是非延迟日志；初始计算模块，用于根据日志的日志数据的实际发生时间，按预设策略对延迟判断模块判断的非延迟日志的日志数据进行初始计算；修正计算模块，用于根据延迟判断模块判断的属于延迟日志的日志数据及其实际发生时间，按预设策略对所述初始计算模块的计算结果进行修正计算；结果输出模块，用于将所述初始计算模块与修正计算模块的计算结果进行输出。

【技术特征摘要】
1.一种处理延迟发送的日志数据的装置，用于网络侧服务器，其特征在于，包括：日志接收模块，用于接收由终端侧发送的用户行为日志，其中，所述用户行为日志包含终端侧采集到的日志数据及其实际发生时间；延迟判断模块，用于根据所述实际发生时间判断在日志接收模块接收的用户行为日志为延迟日志还是非延迟日志；初始计算模块，用于根据日志的日志数据的实际发生时间，按预设策略对延迟判断模块判断的非延迟日志的日志数据进行初始计算；修正计算模块，用于判断延迟日志的日志数据的实际发生时间与所述初始计算模块执行的初始计算的时间之间的差距，如果所述差距在预设阈值范围内，则根据延迟判断模块判断的属于延迟日志的日志数据及其实际发生时间，按预设策略对所述初始计算模块的计算结果进行修正计算；结果输出模块，用于将所述初始计算模块与修正计算模块的计算结果进行输出。2.如权利要求1所述的装置，其特征在于：所述初始计算模块进一步用于在预设计算周期内，根据非延迟日志的日志数据的实际发生时间，按预设策略对接收到的非延迟日志的日志数据进行初始计算；所述修正计算模块进一步用于根据延迟日志的日志数据的实际发生时间，确定该延迟日志的日志数据应归属的计算周期，并按预设策略对该计算周期所对应的初始计算结果进行修正计算。3.一种处理延迟发送的日志数据的系统，包括终端及服务器，所述终端中包括至少一个应用，其特征在于：所述终端进一步包括：日志采集模块，用于采集针对预设应用的日志数据并生成用户行为日志，发送至所述服务器，其中所述用户行为日志中包含采集到的日志数据及其实际发生时间；所述服务器包括：日志接收模块，用于接收由终端侧发送的所述用户行为日志，其中，所述用户行为日志包含终端侧采集到的日志数据及其实际发生时间；延迟判断模块，用于根据所述实际发生时间判断在日志接收模块接收的用户行为日志为延迟日志还是非延迟日志；初始计算模块，用于根据日志的日志数据的实际发生时间，按预设策略对延迟判断模块判断的非延迟日志的日志数据进行初始计算；修正计算模块，用于判断延迟日志的日志数据的实际发生时间与所述初始计算模块执行的初始计算的时间之间的差距，如果所述差距在预设阈值范围内，则根据延迟判断模块判断的属于延迟日志的日志数据及其实际发生时间，按预设策略对所述初始计算模块的计算结果进行修正计算；结果输出模块，用于将所述初始计算模块与修正计算模块的计算结果进行输出。4.如权利要求3所述的系统，其特征在于：所述初始计算模块进一步用于在预设计算周期内，根据非延迟日志的日志数据的实际发生时间，按预设策略对接收到的非延迟日志的日志数据进行初始计算；所述修正计算...

【专利技术属性】
技术研发人员：刘时光，初敏，赵斌强，钟华，张金，周躜，龙琰，张志强，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：