一种日志上报方法、系统、设备及计算机可读存储介质技术方案

本申请公开了一种日志上报方法，属于计算机技术领域，该方法通过将客户端生成的多个日志数据压缩成一个日志文件，向服务器发送一次请求就能获取到多个日志，相比现有技术中每次上报都需要向服务器发送一次请求，能够避免在高并发环境下因响应不及时而对系统造成影响；同时，功能由上传文件和处理文件两个系统分开处理，保证两个系统业务独立不会互相影响，增加了整体系统的承载量，从而提高整体性能。本申请还提供一种日志上报系统、设备及计算机可读存储介质，具有上述有益效果。具有上述有益效果。具有上述有益效果。

【技术实现步骤摘要】
一种日志上报方法、系统、设备及计算机可读存储介质


[0001]本申请涉及计算机
，特别涉及一种日志上报方法、系统、设备及计算机可读存储介质。

技术介绍

[0002]在同时或极短时间内，有大量的请求到达服务端，每个请求都需要服务端耗费资源进行处理，并做出相应的反馈。因为资源有限，不可能同时去处理并满足这些大量的请求，从而带来一系列的问题，统称就是高并发的问题。
[0003]在高并发环境下，对日志系统的上报性能要求极高，如果响应不及时，会给系统带来极大的负担，但是如果，引入分布式集群系统，又会增加巨大的成本。现有技术一般通过http（Hyper Text Transfer Protocol，超文本传输协议）接口上报日志，然而该方法存在以下缺点：一方面每次上报都需要向服务器发送一次请求，因此当获取多个日志时，由于不能及时的获取日志，会对系统造成影响；另一方面只调用一个http接口，http接口承载量有限导致系统承载量有限，从而影响整体性能。因此，需要提供一种日志上报方法，来解决现有技术中在高并发环境下因响应不及时而对系统造成影响和整体性能差的问题。

技术实现思路

[0004]本申请的目的是提供一种日志上报方法、系统、设备及计算机可读存储介质，从而避免在高并发环境下因响应不及时而对系统造成影响，同时提高整体性能。
[0005]为实现上述目的，本申请提供了一种日志上报方法，包括：对客户端生成的多个日志数据进行压缩，生成日志文件；通过第一处理器将所述日志文件上传到数据库；当接收到获取日志文件的请求时，通过第二处理器从所述数据库中获取所述日志文件，并对所述日志文件进行解压；将解压后的所述日志文件上传到服务器。
[0006]可选的，所述对客户端生成的多个日志数据进行压缩，包括：将客户端生成的多个日志数据转成json格式；对转成json格式的所述日志数据进行压缩；相应的，所述对所述日志文件进行解压后，还包括：将解压后的所述日志文件解析成json格式；相应的，所述将解压后的所述日志文件上传到服务器，包括：将解析成json格式的所述日志文件上传到服务器。
[0007]可选的，所述通过第二处理器从所述数据库中获取所述日志文件，并对所述日志文件进行解压，包括：通过第二处理器采用spring
‑
batch框架从所述数据库中获取所述日志文件，并对所述日志文件进行解压。
[0008]可选的，所述通过第二处理器采用spring
‑
batch框架从所述数据库中获取所述日志文件，并对所述日志文件进行解压，包括：通过第二处理器采用spring
‑
batch框架从所述数据库中获取所述日志文件，并进行分片，对各分片的所述日志文件进行解压；相应的，所述将解压后的所述日志文件上传到服务器，包括：当检测到各分片的所述日志文件解压完成时，将解压后的所述日志文件上传到服务器。
[0009]可选的，所述对客户端生成的多个日志数据进行压缩，生成日志文件后，还包括：对所述日志文件进行加密；相应的，所述对所述日志文件进行解压前，还包括：对所述日志文件进行解密。
[0010]可选的，所述将解压后的所述日志文件解析成json格式，包括：当解析失败时，更新数据状态为json解析失败，以根据所述数据状态确定产生问题的原因。
[0011]可选的，所述通过第一处理器将所述日志文件上传到数据库，包括：通过第一处理器将所述日志文件上传到文件系统，并生成文件路径；将所述文件路径存储到数据库；相应的，所述通过第二处理器从所述数据库中获取所述日志文件，包括：从所述数据库中获取所述文件路径；根据所述文件路径，从所述文件系统中获取所述日志文件。
[0012]为实现上述目的，本申请还提供了一种日志上报系统，包括：客户端存储模块，用于对客户端生成的多个日志数据进行压缩，生成日志文件；数据接收模块，用于通过第一处理器将所述日志文件上传到数据库；数据处理模块，用于当接收到获取日志文件的请求时，通过第二处理器从所述数据库中获取所述日志文件，并对所述日志文件进行解压；文件存储模块，用于将解压后的所述日志文件上传到服务器。
[0013]为实现上述目的，本申请还提供了一种日志上报设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述所述的日志上报方法的步骤，所述处理器包括第一处理器和第二处理器。
[0014]为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的日志上报方法的步骤。
[0015]本申请提供的一种日志上报方法，包括：对客户端生成的多个日志数据进行压缩，生成日志文件；通过第一处理器将所述日志文件上传到数据库；当接收到获取日志文件的请求时，通过第二处理器从所述数据库中获取所述日志文件，并对所述日志文件进行解压；将解压后的所述日志文件上传到服务器。
[0016]显然，本申请通过将客户端生成的多个日志数据压缩成一个日志文件，向服务器发送一次请求就能获取到多个日志，相比现有技术中每次上报都需要向服务器发送一次请求，能够避免在高并发环境下因响应不及时而对系统造成影响；同时，功能由上传文件和处
理文件两个系统分开处理，保证两个系统业务独立不会互相影响，增加了整体系统的承载量，从而提高整体性能。本申请还提供一种日志上报系统、设备及计算机可读存储介质，具有上述有益效果。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0018]图1为本申请实施例提供的一种日志上报方法方法的流程图；图2为本申请实施例提供的另一种日志上报方法的流程示意图；图3为本申请实施例提供的一种日志上报方法中的日志的具体结构；图4为本申请实施例提供的一种日志上报系统的结构框图。
具体实施方式
[0019]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0020]请参考图1，图1为本申请实施例提供的一种日志上报方法的流程图，该方法可以包括：S101：对客户端生成的多个日志数据进行压缩，生成日志文件。
[0021]本实施例并不限定日志数据的具体数量，可以是多个日志数据，还可以是客户端生成的所有日志数据。需要说明的是，将客户端生成的多个日志数据压缩成一个日志文件，向服务器发送一次请求就能获取到多个日志，可以有效地减小向服务器发送的请求次数；进一步的，当将客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志上报方法，其特征在于，包括：对客户端生成的多个日志数据进行压缩，生成日志文件；通过第一处理器将所述日志文件上传到数据库；当接收到获取日志文件的请求时，通过第二处理器从所述数据库中获取所述日志文件，并对所述日志文件进行解压；将解压后的所述日志文件上传到服务器。2.根据权利要求1所述的日志上报方法，其特征在于，所述对客户端生成的多个日志数据进行压缩，包括：将客户端生成的多个日志数据转成json格式；对转成json格式的所述日志数据进行压缩；相应的，所述对所述日志文件进行解压后，还包括：将解压后的所述日志文件解析成json格式；相应的，所述将解压后的所述日志文件上传到服务器，包括：将解析成json格式的所述日志文件上传到服务器。3.根据权利要求1所述的日志上报方法，其特征在于，所述通过第二处理器从所述数据库中获取所述日志文件，并对所述日志文件进行解压，包括：通过第二处理器采用spring
‑
batch框架从所述数据库中获取所述日志文件，并对所述日志文件进行解压。4.根据权利要求3所述的日志上报方法，其特征在于，所述通过第二处理器采用spring
‑
batch框架从所述数据库中获取所述日志文件，并对所述日志文件进行解压，包括：通过第二处理器采用spring
‑
batch框架从所述数据库中获取所述日志文件，并进行分片，对各分片的所述日志文件进行解压；相应的，所述将解压后的所述日志文件上传到服务器，包括：当检测到各分片的所述日志文件解压完成时，将解压后的所述日志文件上传到服务器。5.根据权利要求1所述的日志上报方法，其特征在于，所述对客户端生成的多个日志数据进...

【专利技术属性】
技术研发人员：陈娅芳，
申请(专利权)人：新云网科技集团股份有限公司，
类型：发明
国别省市：