一种日志处理方法、装置及系统制造方法及图纸

本发明专利技术提供了一种日志处理方法、装置及系统，其中，该方法包括：主动拉取待处理的目标日志文件，并指示将目标日志文件标为被拉取状态；对目标日志文件进行处理，确定处理后的日志处理结果；将日志处理结果存储至本地，和/或将日志处理结果发送至相应的日志存储服务器。通过本发明专利技术实施例提供的日志处理方法、装置及系统，可以采用批量处理文件的方式对日志数据进行处理，能充分利用本地处理设备的设备性能，对于处理大文件型数据时性能有提升；本地处理设备可以基于自身的性能拉取适量的日志文件，不要求各个处理设备的配置或性能相似，提高了系统整体性能，不需要额外设置数据队列等节点，能够节约资源。

【技术实现步骤摘要】
一种日志处理方法、装置及系统
本专利技术涉及日志处理
，具体而言，涉及一种日志处理方法、装置及系统。
技术介绍
CDN(ContentDeliveryNetwork，内容分发网络)是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率目前，CDN在服务过程中会产生大量的访问日志，这些访问日志中记录了访问的时间、大小、请求内容等信息，这些信息需要按照一定的日志格式和时间顺序整理后打包，提供给客户下载查询。目前的方案都是在CDN的服务器上部署日志采集程序，通过采集程序把日志内容投递到日志中心的数据队列上，日志处理程序再处理数据队列里面的数据，处理后的数据导出到数据存储集群中。现有的技术都是针对数据流来处理，针对文件处理的并发性能差(在同等设备数量的情况下)，而且要求设备的配置和性能要相似才能保证性能。
技术实现思路
为解决上述问题，本专利技术实施例的目的在于提供一种日志处理方法、装置及系统。第一方面，本专利技术实施例提供了一种日志处理方法，包括：主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；对所述目标日志文件进行处理，确定处理后的日志处理结果；将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。第二方面，本专利技术实施例还提供了一种日志处理装置，包括：拉取模块，用于主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；处理模块，用于对所述目标日志文件进行处理，确定处理后的日志处理结果；存储模块，用于将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。第三方面，本专利技术实施例还提供了一种日志处理系统，包括：日志处理服务器和日志存储服务器，所述日志处理服务器的数量为一个或多个，所述日志存储服务器的数量为一个或多个；所述日志处理服务器用于执行上述的日志处理方法，并在需要时将日志处理结果发送至相应的所述日志存储服务器；所述日志存储服务器用于对来自一个或多个所述日志处理服务器的日志处理结果进行合并处理。本专利技术实施例上述第一方面提供的方案中，与传统被动获取数据流的流式处理方案相比，通过主动拉取的方式获取需要处理的文件形式的日志文件，从而可以采用批量处理文件的方式对日志数据进行处理，能充分利用本地处理设备的设备性能，对于处理大文件型数据时性能有提升；同时，采用主动拉取的方式，使得本地处理设备可以基于自身的性能拉取适量的日志文件，不要求各个处理设备的配置或性能相似，提高了系统整体性能，且相对于传统的日志处理方法，不需要额外设置数据队列等节点，能够节约资源。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例所提供的一种日志处理系统的结构示意图；图2示出了本专利技术实施例所提供的一种日志处理方法的流程图；图3示出了本专利技术实施例所提供的一种日志处理装置的结构示意图；图4示出了本专利技术实施例所提供的用于执行日志处理方法的电子设备的一种结构示意图。具体实施方式在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本专利技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。本专利技术实施例提供了一种日志处理系统，采用处理+存储的两级结构，实现对日志文件的处理，不针对日志的数据流进行处理，优化了日志处理流程。参见图1所示，该日志处理系统包括：日志处理服务器10和日志存储服务器20，其中，日志处理服务器10的数量为一个或多个，日志存储服务器20的数量为一个或多个；图1中以该日志处理系统包含多个日志处理服务器10和多个日志存储服务器20为例示出。其中，日志处理服务器10具体用于主动拉取待处理的目标日志文件，并指示将目标日志文件标为被拉取状态；之后日志处理服务器10对目标日志文件进行处理，确定处理后的日志处理结果；将日志处理结果存储至本地，和/或在需要时将日志处理结果发送至相应的日志存储服务器。日志存储服务器20用于对来自一个或多个日志处理服务器10的日志处理结果进行合并处理。本专利技术实施例中，CDN在服务过程中会产生大量的日志数据(如访问日志等)，每条日志数据可以对应用户的一个访问行为，每条日志数据可以具有相应的参数，例如日志数据时间、日志数据对应的对象等；一条或多条日志数据可以形成日志文件，从而能够以文件的形式存储日志数据，该日志文件可以存储在相应的存储器中。其中，该日志文件也具有相应的属性参数，例如日志文件大小、日志文件时间、日志文件格式等。日志处理服务器10在需要对日志进行处理时，日志处理服务器10主要通过拉取步骤、处理步骤和存储步骤实现日志处理。其中，该拉取步骤包括：主动拉取代待处理的目标日志文件，并指示将目标日志文件标为被拉取状态。本专利技术实施例中，日志处理服务器10可以从存有日志文件的存储器中选取一个或多个日志文件作为目标日志文件，进而主动从该存储器中拉取目标日志文件。其中，日志处理服务器10可以根据自己本地的性能参数来选取合适量的日志目标文件；或者，如图1所示，该日志处理系统还可以包括任务调度服务器30，由该任务调度服务器30分配目标日志文件。具体的，当日志处理服务器10基于本地的性能参数拉取目标日志文件时，该拉取步骤包括如下的步骤A1-A2。步骤A1：根据本地的性能参数确定本地的任务处理量本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，包括：/n主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；/n对所述目标日志文件进行处理，确定处理后的日志处理结果；/n将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。/n

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：
主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；
对所述目标日志文件进行处理，确定处理后的日志处理结果；
将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。


2.根据权利要求1所述的方法，其特征在于，所述主动拉取待处理的目标日志文件包括：
根据本地的性能参数确定本地的任务处理量；
根据日志文件的属性参数从日志文件集合中确定不超过所述任务处理量、且处于未拉取状态的目标日志文件，并主动拉取所述目标日志文件；所述属性参数包括日志文件大小、日志文件时间、日志文件格式中的一项或多项。


3.根据权利要求1所述的方法，其特征在于，所述对所述目标日志文件进行处理包括：
对所述目标日志文件进行包括分割过程、过滤过程、排序过程中的一项或多项的处理；
所述分割过程包括：将所述目标日志文件分割为多片日志文件；
所述过滤过程包括：过滤掉所述目标日志文件中的无效日志数据，并保留有效日志数据；
所述排序过程包括：根据日志数据时间对所述目标日志文件中的日志数据进行排序。


4.根据权利要求1所述的方法，其特征在于，所述将所述日志处理结果发送至相应的日志存储服务器包括：
将所述日志处理结果发送至预先设置的日志存储服务器；
或者，将所述日志处理结果发送至任务调度服务器所分配的日志存储服务器。


5.一种日志处理装置，其特征在于，包括：
拉取模块，用于主动拉取待处理的目标日志文件，并指示将所述目标日志文件标为被拉取状态；
处理模块，用于对所述目标日志文件进行处理，确定处理后的日志处理结果；
存储模块，用于将所述日志处理结果存储至本地，和/或将所述日志处理结果发送至相应的日志存储服务器。


6.一种日志处理系统，包括：日志处理服务器和日志存储服务器，所述日志处理服务...

【专利技术属性】
技术研发人员：孟维良，
申请(专利权)人：北京创世云科技有限公司，
类型：发明
国别省市：北京;11