日志搜索方法、系统、计算机设备和存储介质技术方案

本发明专利技术涉及日志数据处理技术领域，尤其涉及一种日志搜索方法、系统、计算机设备和存储介质。其中日志搜索方法包括：在服务器后端拦截并获取请求信息，通过调用预设在服务器后端的UUID生成器生成唯一标识，将请求信息和唯一标识存入日志记录MDC工具中。在服务器后端预设日志框架，拦截日志框架输出的日志信息，将日志信息拆分后进行存储。在服务器前端页面预设搜索界面，将日志信息以列表的形式进行展示。本发明专利技术基于MDC技术的日志收集方案，能大大减轻日志的搜索问题，提高错误日志的搜索效率。

【技术实现步骤摘要】
日志搜索方法、系统、计算机设备和存储介质
本专利技术涉及日志数据处理
，尤其涉及一种日志搜索方法、系统、计算机设备和存储介质。
技术介绍
日志文件是网络设备、系统及服务程序等，在运作时产生的一个log的事件记录，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。各类操作系统中都会设计各种各样的日志文件，如应用程序日志、安全日志、系统日志、Scheduler服务日志、FTP日志、WWW日志、DNS服务器日志等等。用户在系统上进行一些操作时，这些日志文件通常会记录下我们操作的一些相关内容，这些内容对系统安全工作人员相当有用。比如用户对系统进行了IPC探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，用FTP探测后，就会在FTP日志中记下IP、时间、探测所用的用户名等。日志文件中的日志数据对于实现网络安全的价值非常大，开发人员可以根据日志数据中的错误日志进行各种判断和分析。但是，当某一项目越来越大，项目的集群节点越来越多的时候，整个线上系统如果出现某些未知问题，开发人员需要到每台设备的日志文件中去找错误日志，并且错误的日志还不是连续的，可能一个问题需要反复的找几次错误日志，解决问题的效率比较低，操作也比较繁琐。
技术实现思路
有鉴于此，有必要针对错误日志的记录不是连续的，且同一个问题查找繁琐的问题，提供一种日志搜索方法、系统、计算机设备和存储介质。一种日志搜索方法，包括如下步骤：在服务器后端拦截客户端请求，获取所述客户端请求中的请求信息，通过调用预设在所述服务器后端的唯一识别码UUID生成器生成所述客户端请求对应的唯一标识，将所述请求信息和所述唯一标识存入日志记录MDC工具中；在所述服务器后端预设日志框架，所述日志框架含有包括请求时间、请求信息及唯一标识在内的配置信息，将所述MDC工具中的所述请求信息和唯一标识赋值给所述日志框架中的所述请求信息及唯一标识；拦截所述日志框架输出的日志信息，将所述日志信息拆分成请求时间、请求信息、唯一标识及日志内容，调用应用程序编程接口API将拆分后的所述日志信息进行存储；在服务器前端页面预设搜索界面，所述搜索界面上设置搜索条件字段，所述搜索条件字段中含有至少一项所述请求信息对应的字段信息，当接收到包含有所述字段信息的搜索请求后，搜索存储的所述日志信息，并将所述字段信息对应的所述日志信息在所述搜索界面以列表的形式进行展示。在其中一个实施例中，所述在服务器后端拦截客户端请求，获取所述客户端请求中的请求信息，通过调用预设在所述服务器后端的唯一识别码UUID生成器，生成所述客户端请求对应的唯一标识，将所述请求信息和所述唯一标识存入日志记录MDC工具中包括：通过调用预设的spring程序的filter方法拦截客户端请求，获取所述客户端请求中包括URL地址、请求参数，请求主机IP及所述客户端对应的项目名称的请求信息；调用所述UUID生成器生成所述唯一标识；将所述请求信息和所述唯一标识采用MDC.put方法存储至MDC工具中。在其中一个实施例中，所述日志框架输出日志信息时，所述日志框架根据所述配置信息获取所述MDC工具中的所述请求信息和唯一标识后，所述日志框架输出包括请求时间、所述请求信息及所述唯一标识的日志信息。在其中一个实施例中，所述拦截所述日志框架输出的日志信息，将所述日志信息拆分成请求时间、所述请求信息、所述唯一标识及日志内容包括：通过调用预设的spring程序的aop方法切面拦截所述日志框架输出的日志信息；通过调用预设的所述spring程序的split方法将所述日志信息拆分成请求时间、请求信息、唯一标识及日志内容。在其中一个实施例中，所述调用应用程序编程接口API将拆分后的所述日志信息进行存储时，采用如下步骤：在数据库中设置日志记录表，在所述日志记录表中设置拆分字段，所述拆分字段包括请求时间字段、请求信息字段、唯一标识字段及日志内容字段；调用所述API执行SQL脚本，将拆分后的所述日志信息依次插入所述拆分字段中，完成日志信息的存储。在其中一个实施例中，所述调用应用程序编程接口API将拆分后的所述日志信息进行存储时，采用如下步骤：所述API采用搜索引擎Elasticsearch，调用所述Elasticsearch，将拆分后的所述日志信息存储在所述Elasticsearch中。一种日志搜索系统，包括如下单元：拦截客户端请求单元，用于在服务器后端拦截客户端请求，获取所述客户端请求中的请求信息，通过调用预设在所述服务器后端的唯一识别码UUID生成器生成所述客户端请求对应的唯一标识，将所述请求信息和所述唯一标识存入日志记录MDC工具中；预设日志框架单元，用于在所述服务器后端预设日志框架，所述日志框架含有包括请求时间、请求信息及唯一标识在内的配置信息，将所述MDC工具中的所述请求信息和唯一标识赋值给所述日志框架中的所述请求信息及唯一标识；存储日志信息单元，用于拦截所述日志框架输出的日志信息，将所述日志信息拆分成请求时间、请求信息、唯一标识及日志内容，调用应用程序编程接口API将拆分后的所述日志信息进行存储；搜索单元，用于在服务器前端页面预设搜索界面，所述搜索界面上设置搜索条件字段，所述搜索条件字段中含有至少一项所述请求信息对应的字段信息，当接收到包含有所述字段信息的搜索请求后，搜索存储的所述日志信息，并将所述字段信息对应的所述日志信息在所述搜索界面以列表的形式进行展示。在其中一个实施例中，所述拦截客户端请求单元包括：拦截模块，用于通过调用预设的spring程序的filter方法拦截客户端请求，获取所述客户端请求中包括URL地址、请求参数，请求主机IP及所述客户端对应的项目名称的请求信息；生成唯一标识模块，用于调用所述UUID生成器生成所述唯一标识；存储模块，用于将所述请求信息和所述唯一标识采用MDC.put方法存储至MDC工具中。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述日志搜索方法的步骤。一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述日志搜索方法的步骤。上述日志搜索方法、装置、计算机设备和存储介质，包括在服务器后端拦截客户端请求，获取客户端请求中的请求信息，通过调用预设在服务器后端的唯一识别码UUID生成器生成客户端请求对应的唯一标识，将请求信息和唯一标识存入日志记录MDC工具中；在服务器后端预设日志框架，日志框架含有包括请求时间、请求信息及唯一标识在内的配置信息，将MDC工具中的请求信息和唯一标识赋值给日志框架中的请求信息及唯一标识；拦截日志框架输出的日志信息，将日志信息拆分成请求时间、请求信息、唯一标识及日志内容，调用应用程序编程接口API将拆分后的日志信息进行存储；在服务器前端页面预设搜索界面，搜索界面上设置搜索条件字段，搜索条件字段中含有至少一项请求信息对应的字段信息，当接收到包含有字段信息的搜索请求后，搜索存储的日志信息，并将字段信息对应的日志信息在搜索界面以列表的形式进行展示。本专利技术基于MDC技术的日志收集方案，把每次客户端请求的所有日志收集在一起并记录唯一标识，开发人员直接可以通过本文档来自技高网...

【技术保护点】
1.一种日志搜索方法，其特征在于，包括：在服务器后端拦截客户端请求，获取所述客户端请求中的请求信息，通过调用预设在所述服务器后端的唯一识别码UUID生成器生成所述客户端请求对应的唯一标识，将所述请求信息和所述唯一标识存入日志记录MDC工具中；在所述服务器后端预设日志框架，所述日志框架含有包括请求时间、请求信息及唯一标识在内的配置信息，将所述MDC工具中的所述请求信息和唯一标识赋值给所述日志框架中的所述请求信息及唯一标识；拦截所述日志框架输出的日志信息，将所述日志信息拆分成请求时间、所述请求信息、所述唯一标识及日志内容，调用应用程序编程接口API将拆分后的所述日志信息进行存储；在服务器前端页面预设搜索界面，所述搜索界面上设置搜索条件字段，所述搜索条件字段中含有至少一项所述请求信息对应的字段信息，当接收到包含有所述字段信息的搜索请求后，搜索存储的所述日志信息，并将所述字段信息对应的所述日志信息在所述搜索界面以列表的形式进行展示。

【技术特征摘要】
1.一种日志搜索方法，其特征在于，包括：在服务器后端拦截客户端请求，获取所述客户端请求中的请求信息，通过调用预设在所述服务器后端的唯一识别码UUID生成器生成所述客户端请求对应的唯一标识，将所述请求信息和所述唯一标识存入日志记录MDC工具中；在所述服务器后端预设日志框架，所述日志框架含有包括请求时间、请求信息及唯一标识在内的配置信息，将所述MDC工具中的所述请求信息和唯一标识赋值给所述日志框架中的所述请求信息及唯一标识；拦截所述日志框架输出的日志信息，将所述日志信息拆分成请求时间、所述请求信息、所述唯一标识及日志内容，调用应用程序编程接口API将拆分后的所述日志信息进行存储；在服务器前端页面预设搜索界面，所述搜索界面上设置搜索条件字段，所述搜索条件字段中含有至少一项所述请求信息对应的字段信息，当接收到包含有所述字段信息的搜索请求后，搜索存储的所述日志信息，并将所述字段信息对应的所述日志信息在所述搜索界面以列表的形式进行展示。2.根据权利要求1所述的日志搜索方法，其特征在于，所述在服务器后端拦截客户端请求，获取所述客户端请求中的请求信息，通过调用预设在所述服务器后端的唯一识别码UUID生成器，生成所述客户端请求对应的唯一标识，将所述请求信息和所述唯一标识存入日志记录MDC工具中包括：通过调用预设的spring程序的filter方法拦截客户端请求，获取所述客户端请求中包括URL地址、请求参数，请求主机IP及所述客户端对应的项目名称的请求信息；调用所述UUID生成器生成所述唯一标识；将所述请求信息和所述唯一标识采用MDC.put方法存储至MDC工具中。3.根据权利要求1所述的日志搜索方法，其特征在于，所述日志框架输出日志信息时，所述日志框架根据所述配置信息获取所述MDC工具中的所述请求信息和唯一标识后，所述日志框架输出包括请求时间、所述请求信息及所述唯一标识的日志信息。4.根据权利要求1所述的日志搜索方法，其特征在于，所述拦截所述日志框架输出的日志信息，将所述日志信息拆分成请求时间、所述请求信息、所述唯一标识及日志内容包括：通过调用预设的spring程序的aop方法切面拦截所述日志框架输出的日志信息；通过调用预设的所述spring程序的split方法将所述日志信息拆分成请求时间、请求信息、唯一标识及日志内容。5.根据权利要求1所述的日志搜索方法，其特征在于，所述调用应用程序编程接口API将拆分后的所述日志信息进行存储包括：在数据库中设置日志记录表，在所述日志记录表中设置拆分...

【专利技术属性】
技术研发人员：杨天鹏，金龙，郝振亚，汪昌帅，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44