日志数据处理方法、装置、系统、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种日志数据处理方法、装置、系统、电子设备及存储介质，所述方法包括：获取业务实体针对实时日志的第一处理结果，第一处理结果为流式化处理所得结果；判断第一处理结果是否满足预设的完整度条件；若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。通过在实时日志的第一处理结果不完整时，获取更为完整的离线数据到业务实体中进行处理，从而提高日志数据的计量计算结果的准确度；另外，由于离线日志在进入业务实体之前，会先进行流式化，使得业务实体对日志的类型没有感知，从而使离线日志可以和实时日志进行相同的流式化处理。

【技术实现步骤摘要】
日志数据处理方法、装置、系统、电子设备及存储介质
本专利技术涉及数据处理领域，尤其涉及一种日志数据处理方法、装置、系统、电子设备及存储介质。
技术介绍
随着互联网的不断发展，需要传输的数据越来越大，数据传输的速度和稳定性存在瓶颈，且环节较多。内容分发网络(ContentDdistributeNetwork，简称CDN)可以尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定，通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。融合CDN是将多个CDN的厂商的数据进行融合，能够打破单个CDN厂商的节点资源以及调度能力，突破地域时间以及不同运营商的限制。融合cdn访问日志通常包含实时日志和离线日志，这两种日志都可以用于计量计算，基于实时日志的流式计算提供低延迟的计量数据，基于离线日志的批计算提供更高完整的计量数据。由于实时日志的完整度无法保证，基于实时日志的计量数据，往往存在日志不完整的问题，从而导致计量计算结果的准确度不高。
技术实现思路
本专利技术实施例提供一种日志数据处理方法，能够在实时日志的完整度不高时，获取更高完整度的离线数据来进行流式化处理，从而提高日志数据的计量计算结果的准确度。第一方面，本专利技术实施例提供一种日志数据处理方法，包括：获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；判断所述第一处理结果是否满足预设的完整度条件；若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。可选的，所述若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志，包括：若所述第一处理结果不满足所述预设的完整度条件，则提取与所述实时日志对应的数据源信息；根据所述实时日志对应的数据源信息，在数据源中获取离线日志。可选的，所述根据所述实时日志对应的数据源信息，在数据源中获取离线日志，包括：在获取离线日志之前，判断所述离线日志在所述数据源中是否准备完成；若所述离线日志准备完成，则在数据源中获取离线日志；若所述离线日志没有准备完成，则在预设时间后，再次在数据源中获取离线日志。可选的，所述将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果包括：将所述离线日志发送到流式日志存储系统，通过所述流式日志存储系统对所述离线日志进行流式化并存储，得到用于输入到业务实体的流式离线日志；将所述流式离线日志输入到业务实体进行流式化处理，得到第二处理结果。第二方面，本专利技术实施例还一种日志数据处理装置，所述装置包括：第一获取模块，用于获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；判断模块，用于判断所述第一处理结果是否满足预设的完整度条件；第二获取模块，用于若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；处理模块，用于将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。可选的，所述第二获取模块包括：提取单元，用于若所述第一处理结果不满足所述预设的完整度条件，则提取与所述实时日志对应的数据源信息；获取单元，用于根据所述实时日志对应的数据源信息，在数据源中获取离线日志。可选的，所述获取单元包括：判断子单元，用于在获取离线日志之前，判断所述离线日志在所述数据源中是否准备完成；第一获取子单元，用于若所述离线日志准备完成，则在数据源中获取离线日志；第二获取子单元，用于若所述离线日志没有准备完成，则在预设时间后，再次在数据源中获取离线日志。可选的，所述处理模块包括：传输单元，用于将所述离线日志发送到流式日志存储系统，通过所述流式日志存储系统对所述离线日志进行流式化并存储，得到用于输入到业务实体的流式离线日志；处理单元，用于将所述流式离线日志输入到业务实体进行流式化处理，得到第二处理结果。第三方面，本专利技术实施例还提供一种日志数据处理系统，所述系统包括：数据源端、流式日志存储系统、业务实体以及如本专利技术实施例中任一所述的日志数据处理装置；其中，所述数据源端用于供应实时日志或离线日志；所述流式日志存储系统用于将所述数据源端供应的实时日志或离线日志进行流式化并存储；所述业务实体用于对流式化后的实时日志或流式化后的离线日志进行流式化处理。第四方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例提供的日志数据处理方法中的步骤。第五方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现专利技术实施例提供的日志数据处理方法中的步骤。本专利技术实施例中，获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；判断所述第一处理结果是否满足预设的完整度条件；若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。通过在实时日志的第一处理结果不完整时，获取更为完整的离线数据到业务实体中进行处理，从而提高日志数据的计量计算结果的准确度；另外，由于离线日志在进入业务实体之前，会先进行流式化，使得业务实体对日志的类型没有感知，从而使离线日志可以和实时日志进行相同的流式化处理。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种日志数据处理方法的流程图；图2是本专利技术实施例提供的另一种日志数据处理方法的流程图；图3是本专利技术实施例提供的一种日志数据处理装置的结构图；图4是本专利技术实施例提供的一种第二获取模块的结构图；图5是本专利技术实施例提供的一种获取单元的结构图；图6是本专利技术实施例提供的一种处理模块的结构图；图7是本专利技术实施例提供的一种日志数据处理系统的结构图；图8是本专利技术实施例提供的另一种日志数据处理系统的结构图；图9是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本文档来自技高网...

【技术保护点】
1.一种日志数据处理方法，其特征在于，包括以下步骤：/n获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；/n判断所述第一处理结果是否满足预设的完整度条件；/n若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；/n将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。/n

【技术特征摘要】
1.一种日志数据处理方法，其特征在于，包括以下步骤：
获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；
判断所述第一处理结果是否满足预设的完整度条件；
若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；
将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。


2.如权利要求1所述的方法，其特征在于，所述若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志，包括：
若所述第一处理结果不满足所述预设的完整度条件，则提取与所述实时日志对应的数据源信息；
根据所述实时日志对应的数据源信息，在数据源中获取离线日志。


3.如权利要求1所述的方法，其特征在于，所述根据所述实时日志对应的数据源信息，在数据源中获取离线日志，包括：
在获取离线日志之前，判断所述离线日志在所述数据源中是否准备完成；
若所述离线日志准备完成，则在数据源中获取离线日志；
若所述离线日志没有准备完成，则在预设时间后，再次在数据源中获取离线日志。


4.如权利要求1所述的方法，其特征在于，所述将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果包括：
将所述离线日志发送到流式日志存储系统，通过所述流式日志存储系统对所述离线日志进行流式化并存储，得到用于输入到业务实体的流式离线日志；
将所述流式离线日志输入到业务实体进行流式化处理，得到第二处理结果。


5.一种日志数据处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；
判断模块，用于判断所述第一处理结果是否满足预设的完整度条件；
第二获取模块，用于若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；
处理模块，用于将所述离线日志进行流式化，并输入到业务实体进行流式化处理，...

【专利技术属性】
技术研发人员：解加鹏，董加强，
申请(专利权)人：上海七牛信息技术有限公司，
类型：发明
国别省市：上海;31