日志文件处理方法及装置制造方法及图纸

一种日志文件处理方法及装置，所述方法包括：建立各个节点服务器和处理线程之间的映射关系；将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。上述的方案可以节约处理线程的资源，提高日志文件的处理效率。

【技术实现步骤摘要】

本专利技术属于日志处理领域，特别是涉及一种日志文件处理方法及装置。
技术介绍
随着互联网技术的快速发展，手持设备、桌面终端等诸多互联网终端被大量使用，同时也产生了海量的信息。海量信息背后的“大数据”隐藏着人们自主行为意识，可以产生很多商业行为的潜在价值导向，因而这些海量数据的快速处理和分析技术的需求就日益紧迫。现有技术中，CDN服务提供商是通过大量的节点(边缘)服务器来为客户提供加速服务的。其中，CDN网络中各个节点服务器产生的日志文件数量是巨大的。面对海量的日志文件信息，如何合理高效地对对海量日志文件快速分析、筛选、提炼，已成为亟待解决的问题。现有技术中，⑶N网络中的节点服务器产生的日志文件文件随机分发到各个处理线程进行处理，存在着浪费资源，日志文件处理效率低的问题。
技术实现思路
本专利技术实施例解决的问题是节约处理线程的资源，提高日志文件的处理效率。为解决上述问题，本专利技术实施例提供了一种日志文件处理方法，所述方法包括:建立各个节点服务器和处理线程之间的映射关系；将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。可选地，所述方法还包括:当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。可选地，所述预设的条件包括:第一处理线程和第二处理线程的负载量差值大于预设的第一阈值，其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。可选地，所述当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡，包括:当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。可选地，所述建立所述节点服务器和处理线程之间的映射关系，包括:通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系O可选地，在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，还包括:当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。本专利技术实施例还提供了一种日志文件处理装置，所述装置包括:建立单元，适于建立各个节点服务器和处理线程之间的映射关系；分发单元，适于将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。可选地，所述装置还包括:负载均衡单元，适于当满足预设的条件时，对所述映射关系进行调整，直至各个处理线程之间达到负载均衡。可选地，所述预设的条件包括:第一处理线程和第二处理线程的负载量差值大于预设的第一阈值，其中，所述第一处理线程为在所述预设时间段内具有最大负载量的处理线程，所述第二处理线程为在所述预设时间段内具有最小负载量的处理线程。可选地，所述负载均衡单元适于:当第一处理线程和第二处理线程的负载量差值大于所述第一阈值时，分别获取第一处理线程和第二处理线程对应的节点服务器在所述预设时间段内的日志文件增量；按照日志文件增量从小到大的顺序遍历所述第一处理线程对应的各个节点服务器，将当前位序的节点服务器重新映射至所述第二处理线程，并将所述第一处理线程与所述第二处理线程的负载量差值与所述第一阈值进行比较；当确定所述第一处理线程与所述第二处理线程之间的负载量差值大于所述第一阈值时，则将下一位序的节点服务器映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值；当确定将当前位序的节点服务器重新映射至所述第二处理线程，所述第二处理线程与所述第一处理线程的负载量差值大于所述第一阈值时，则舍弃当前位序的节点服务器，将下一位序的节点服务器重新映射至所述第二处理线程，直至所述第一处理线程与所述第二处理线程的负载量差值小于所述第一阈值。可选地，所述建立单元适于通过将各个节点服务器循环映射至各个处理线程，建立各个节点服务器与各个处理线程之间的映射关系。可选地，所述建立单元还适于:在将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理之后，当有新节点服务器加入时，获取所述的各个节点服务器中最后一个节点服务器对应的处理线程；将所述新加入的节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程。与现有技术相比，本专利技术实施例的技术方案具有以下的优点:通过将各个节点服务器产生的日志文件文件按照预设的映射关系分配至相应的处理线程进行处理，与将各个节点服务器产生的日志文件文件随机分配给相应的处理线程相比，可以避免将同一节点服务器产生的日志文件文件重复分发给不同的处理线程进行处理，因此，可以节约处理线程的处理资源，提高日志文件处理的效率。进一步地，当第一处理线程和第二处理线程的负载量差值大于预设的第一阈值时，对节点服务器和处理线程之间的映射关系进行调整，直至第一处理线程和第二处理线程的负载量差值小于预设的第一阈值，当第一处理线程和第二处理线程的负载量差值小于预设的第一差值阈值时，各个处理线程之间达到负载均衡，可以快速及时地对各个节点服务器产生的日志文件进行处理，因此，可以进一步提升日志文件的处理效率。进一步地，当所述有新节点服务器加入时，将所述新节点服务器映射至所述最后一个节点服务器对应的处理线程的下一处理线程，可以不受节点服务器个数的限制，因此，可以提高日志处理的灵活性。【附图说明】图1是本专利技术实施例中一种的日志文件处理方法的流程图；图2是本专利技术实施例中另一种的日志文件处理方法的流程图；图3是本专利技术实施例中的负载均衡的流程图；图4是本专利技术实施例中的一种日志文件处理装置的结构示意图。【具体实施方式】现有技术中，⑶N网络中的节点服务器产生的日志文件文件随机分发到各个处理线程进行处理，存在着浪费资源，日志文件处理效率低的问题。为解决现有技术中存在的上述问题，本专利技术实施例采用的技术方案通过将各个节点服务器产生的日志文件文件按照预设的映射关系分配至相应的处理线程进行处理，可以避免将同一节点服务器产生的日志文件文件重复分发给不同的处理线程进行处理，可以节约处理线程的处理资源，提高日志文件处理的效率。为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。图1是本专利技术实施例中的一种日志文件处理方法的流程图。如本文档来自技高网...

【技术保护点】
一种日志文件处理方法，其特征在于，包括：建立各个节点服务器和处理线程之间的映射关系；将各个节点服务器的日志文件按照所述映射关系分发至对应的处理线程进行处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：秦北志，杨宁，
申请(专利权)人：上海帝联信息科技股份有限公司，
类型：发明
国别省市：上海;31