一种分布式日志处理系统和方法技术方案

本申请涉及日志处理技术领域，尤其涉及一种分布式日志处理系统和方法，其中，客户端接收用户在网页中执行的操作指令，并向微服务平台发送操作请求；微服务平台中的多个目标微服务模块执行与操作请求中的操作标识对应的操作指令所指示的处理操作，记录每个目标微服务模块执行处理操作的日志文件；搜索服务器构建存储有操作标识以及与操作标识对应的日志文件的日志数据库；客户端在确定操作指令发生异常时，向搜索服务器发送异常查询请求；搜索服务器从日志数据库中获取与异常查询请求对应的日志文件，并将获取到的日志文件发送至客户端。通过上述方式，可以缩短查询与异常的操作指令对应的日志文件的搜索链路，提高了查询异常日志链路的效率。常日志链路的效率。常日志链路的效率。

【技术实现步骤摘要】
一种分布式日志处理系统和方法


[0001]本申请涉及日志处理
，尤其涉及一种分布式日志处理系统和方法。

技术介绍

[0002]现有技术中，客户端的界面中如果线上环节出现了异常，需要获取服务器端的权限以查询异常对应的日志文件。
[0003]当出现一个异常问题，则需要从服务器容器内查看相关日志文件，即，出现异常的环节对应的日志链路过长，通过常用的查询方式进行链路查询，调用日志的链路会很长，这样导致查询效率不高。

技术实现思路

[0004]有鉴于此，本申请实施例至少提供一种分布式日志处理系统、一种分布式日志处理方法、一种电子设备和一种计算机可读存储介质。
[0005]本申请主要包括以下几个方面：
[0006]第一方面，本申请实施例提供一种分布式日志处理系统，包括客户端、微服务平台和搜索服务器。
[0007]其中，客户端接收用户在网页中执行的操作指令，将携带有与操作指令对应的操作标识的操作请求发送至微服务平台；
[0008]微服务平台中的多个目标微服务模块执行与操作请求中的操作标识对应的操作指令所指示的处理操作，记录每个目标微服务模块执行处理操作的日志文件，并将操作标识和所记录的日志文件发送至搜索服务器；
[0009]搜索服务器构建存储有操作标识以及与操作标识对应的日志文件的日志数据库；
[0010]客户端在确定操作指令发生异常时，将携带有与操作指令对应的操作标识的异常查询请求发送至搜索服务器；
[0011]搜索服务器从日志数据库中获取与异常查询请求中的操作标识对应的日志文件，并将获取到的日志文件发送至客户端。
[0012]在一种可能的实施方式中，操作标识与操作指令一一对应，一个操作指令所指示的处理操作由多个目标微服务模块共同执行，每个目标微服务模块执行同一操作指令所指示的处理操作的日志文件所对应操作标识是相同的。
[0013]在一种可能的实施方式中，微服务平台还包括日志收集模块，日志收集模块与每个目标微服务模块建立连接，用于记录每个目标微服务模块执行处理操作的日志文件。日志收集模块将与操作指令对应的操作标识写入日志文件的头部文件中，并将写入操作标识后的日志文件发送至搜索服务器。
[0014]在一种可能的实施方式中，操作标识为用于指示操作指令的通用唯一识别码。
[0015]在一种可能的实施方式中，还包括预设日志收集模块的日志配置文件，日志配置文件用于指示需要从每个目标微服务模块中获取的字段信息；基于日志配置文件从每个微
服务模块中获取对应的字段信息以生成该目标微服务模块的日志文件。
[0016]在一种可能的实施方式中，搜索服务器还用于：将具有相同操作标识的日志文件划分在同一日志集合中，每个日志集合对应一个操作标识。
[0017]第二方面，本申请实施例还提供一种分布式日志处理方法，其特征在于，包括：
[0018]客户端接收用户在网页中执行的操作指令，将携带有与操作指令对应的操作标识的操作请求发送至微服务平台；
[0019]微服务平台中的多个目标微服务模块执行与操作请求中的操作标识对应的操作指令所指示的处理操作，记录每个目标微服务模块执行处理操作的日志文件，并将操作标识和所记录的日志文件发送至搜索服务器；
[0020]搜索服务器构建存储有操作标识以及与操作标识对应的日志文件的日志数据库；
[0021]客户端在确定操作指令发生异常时，将携带有与操作指令对应的操作标识的异常查询请求发送至搜索服务器；
[0022]搜索服务器从日志数据库中获取与异常查询请求中的操作标识对应的日志文件，并将获取到的日志文件发送至客户端。
[0023]在一种可能的实施方式中，操作标识与操作指令一一对应，一个操作指令所指示的处理操作由多个目标微服务模块共同执行，每个目标微服务模块执行同一操作指令所指示的处理操作的日志文件所对应操作标识是相同的。
[0024]第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第二方面或第二方面中任一种可能的实施方式中所述的分布式日志处理方法的步骤。
[0025]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第二方面或第二方面中任一种可能的实施方式中所述的分布式日志处理方法的步骤。
[0026]本申请实施例提供的分布式日志处理系统和方法，通过为每个客户端在网页中执行的操作指令添加操作标识，并通过日志收集模块将头部文件中带有操作标识的日志文件打印出来，并发送至搜索服务器，搜索服务器基于接收到的日志文件创建日志数据库，并提供具有搜索功能的可视化界面，当客户端的网页在执行操作指令发生异常时，通过与操作指令对应的操作标识在搜索服务器中进行查询，从而获得与异常的操作指令对应的日志文件，尤其是在遇到需要很多个微服务模块共同实现的情况，如果这样的操作指令发生异常，则在查询的过程中可以快速的获得与异常的操作指令对应的日志链路，提高了查询异常日志链路的效率，且不需要获取服务端的权限，就可以在本地获取异常的操作指令对应的日志链路信息，提高了本地工作人员的日志处理效率。
[0027]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0028]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0029]图1示出了本申请实施例所提供的一种分布式日志处理系统的结构示意图；
[0030]图2示出了本申请实施例所提供的一种分布式日志处理装置的方法的流程图；
[0031]图3出了本申请实施例所提供的一种电子设备的结构示意图。
[0032]主要元件符号说明：
[0033]100
‑
客户端；200
‑
网关；301
‑
微服务模块A；302
‑
微服务模块B；303
‑
微服务模块C；400
‑
日志收集模块；500
‑
搜索服务器；
[0034]600
‑
电子设备；601
‑
处理器；602
‑
通信总线；603
‑
用户接口；604
‑
网络接口；605
‑
存储器；6051
‑
操作系统；6052
‑
应用程序。
具体实施方式...

【技术保护点】

【技术特征摘要】
1.一种分布式日志处理系统，其特征在于，包括客户端、微服务平台和搜索服务器，其中，客户端接收用户在网页中执行的操作指令，将携带有与所述操作指令对应的操作标识的操作请求发送至微服务平台；微服务平台中的多个目标微服务模块执行与所述操作请求中的操作标识对应的操作指令所指示的处理操作，记录每个目标微服务模块执行处理操作的日志文件，并将操作标识和所记录的日志文件发送至搜索服务器；搜索服务器构建存储有操作标识以及与操作标识对应的日志文件的日志数据库；客户端在确定所述操作指令发生异常时，将携带有与所述操作指令对应的操作标识的异常查询请求发送至搜索服务器；搜索服务器从所述日志数据库中获取与所述异常查询请求中的所述操作标识对应的日志文件，并将获取到的日志文件发送至客户端。2.根据权利要求1所述的分布式日志处理系统，其特征在于，操作标识与操作指令一一对应，一个操作指令所指示的处理操作由所述多个目标微服务模块共同执行，每个目标微服务模块执行同一操作指令所指示的处理操作的日志文件所对应操作标识是相同的。3.根据权利要求1或2所述的分布式日志处理系统，其特征在于，微服务平台还包括日志收集模块，所述日志收集模块与每个目标微服务模块建立连接，用于记录每个目标微服务模块执行处理操作的日志文件；所述日志收集模块将与所述操作指令对应的操作标识写入日志文件的头部文件中，并将写入操作标识后的日志文件发送至搜索服务器。4.根据权利要求1所述的分布式日志处理系统，其特征在于，所述操作标识为用于指示操作指令的通用唯一识别码。5.根据权利要求3所述的分布式日志处理系统，其特征在于，还包括：预设日志收集模块的日志配置文件，所述日志配置文件用于指示需要从每个目标微服务模块中获取的字段信息；基于所述日志配置文件从每个微服务模块中获取对应...

【专利技术属性】
技术研发人员：张跃，吴哲，
申请(专利权)人：江苏创源电子有限公司，
类型：发明
国别省市：