日志采集分析方法及设备技术

本发明专利技术的目的是提供一种日志采集分析方法及设备，本发明专利技术通日志分析处理服务器，利用大数据采集分析方式来统一处理分散的日志，集中处理分析，避免了多机器查找定位困难的问题。通过在应用服务器和边缘服务api网关部署sidecar组件，传统的应用服务器和边缘服务api网关不用或者只需要做很少的调整就可以适应新的采集分析方式。传统的应用服务器的日志输出格式，不在局限于固定格式，方便针对特殊情况做特殊优化。日志分析处理服务器针对日志所做的监控报警方案实时性更高，准确性更可靠，定位更准确。当开发或运维参与问题排查日志追踪时，查询定位日志更方便。

Log Acquisition and Analysis Method and Equipment

The object of the present invention is to provide a log acquisition and analysis method and equipment. The present invention integrates the log analysis and processing server, uses the large data acquisition and analysis method to process dispersed logs in a unified way, and centralizes the processing and analysis, thus avoiding the difficulty of multi-machine locating. By deploying sidecar components in application server and edge service API gateway, the traditional application server and edge service API gateway can adapt to the new acquisition and analysis mode without or with little adjustment. The traditional log output format of application server is not limited to fixed format, which is convenient for special optimization. The monitoring and alarming scheme of log analysis and processing server for log has higher real-time, more reliable accuracy and more accurate positioning. It is more convenient to query and locate the log when developing or maintaining the log tracking for problem sorting.

【技术实现步骤摘要】
日志采集分析方法及设备
本专利技术涉及计算机领域，尤其涉及一种日志采集分析方法及设备。
技术介绍
随着互联网的高速发展，参与的用户设备都在逐年成比例上升。终端的大规模增长及多样化也对后台系统的要求越来越严苛。这些直接导致了后台系统越来越大，越来越复杂，更新发布频率也越来越快。为了应付这些变更，保证系统提供服务的质量，一套完善的健康监控系统必不可少，而其中针对日志的监控方式又是最为重要有效的方式。传统的系统因规模，业务等原因，普通日志监控采集方式已无法满足现在日益变化的需要。现在很多系统还是采用着原始的采集分析方式。传统日志采集分析方式，主要存在着以下一些问题：1.日志随服务产生，分散在不同目录和不同的服务器上，不方便管理；2.一般服务为了容灾或压力都会集群化部署，当出现问题无法第一时间知道问题产生的日志所在的目录或服务器；3.开发和运维需要主动在多台服务器查找分析日志，大都依赖普通工具分析和搜索速度和效率太低；4.因日志需要给人员查看分析，只能输出为对人友好可识别的格式，而这种格式不方便管理传输和压缩；5.如果服务器故障，如磁盘损坏会导致一部分日志丢失。
技术实现思路
本专利技术的一个目的是提供一种日志采集分析方法及设备。根据本专利技术的一个方面，提供了一种日志采集分析方法，该方法包括：边缘服务api网关从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；所述应用服务器响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；所述应用服务器通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理。进一步的，上述方法中，将所述http请求数据的日志保存在边缘服务api网关本地之后，还包括：所述边缘服务api网关通过部署在其上的sidecar组件将所述保存的http请求数据的日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理的同时，还包括：所述日志分析处理服务器对接收到的预设格式的http请求数据的日志进行存储和分析处理。进一步的，上述方法中，所述日志分析处理服务器为服务器集群。进一步的，上述方法中，所述日志分析处理服务器包括离线日志分析集群Hadoop、实时分析集群elasticsearch和报警系统。根据本专利技术的另一方面，还提供一种日志采集分析设备，该设备包括：边缘服务api网关，用于从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；应用服务器，用于响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；日志分析处理服务器，用于对接收到的预设格式的内部运行日志进行存储和分析处理。进一步的，上述设备中，所述边缘服务api网关，还用于通过部署在其上的sidecar组件将所述保存的http请求数据的日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器，还用于对接收到的预设格式的http请求数据的日志进行存储和分析处理。进一步的，上述设备中，所述日志分析处理服务器为服务器集群。进一步的，上述设备中，所述日志分析处理服务器包括离线日志分析集群Hadoop、实时分析集群elasticsearch和报警系统。根据本专利技术的另一方面，还提供一种基于计算的设备，其中，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：边缘服务api网关从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；所述应用服务器响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；所述应用服务器通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理。根据本专利技术的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：边缘服务api网关从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；所述应用服务器响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；所述应用服务器通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理。与现有技术相比，本专利技术通日志分析处理服务器，利用大数据采集分析方式来统一处理分散的日志，集中处理分析，避免了多机器查找定位困难的问题。通过在应用服务器和边缘服务api网关部署sidecar组件，传统的应用服务器和边缘服务api网关不用或者只需要做很少的调整就可以适应新的采集分析方式。传统的应用服务器的日志输出格式，不在局限于固定格式，方便针对特殊情况做特殊优化。日志不在是简单存储在本地磁盘，而是通过日志分析处理服务器的集中处理分布式集群来分析存储，基本不存在因磁盘损坏等故障导致的数据丢失。日志分析处理服务器针对日志所做的监控报警方案实时性更高，准确性更可靠，定位更准确。当开发或运维参与问题排查日志追踪时，查询定位日志更方便。本专利技术的采集分析方式适用于小中大型规模服务端应用的日志采集及分析方式，适合需要对服务端一定规模分散的服务进行统一日志采集分析监控的应用场景。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1示出本专利技术一实施例的日志采集分析方法及设备的原理图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本专利技术作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、本文档来自技高网...

【技术保护点】
1.一种日志采集分析方法，其中，该方法包括：边缘服务api网关从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；所述应用服务器响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；所述应用服务器通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理。

【技术特征摘要】
1.一种日志采集分析方法，其中，该方法包括：边缘服务api网关从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；所述应用服务器响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；所述应用服务器通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理。2.根据权利要求1所述的方法，其中，将所述http请求数据的日志保存在边缘服务api网关本地之后，还包括：所述边缘服务api网关通过部署在其上的sidecar组件将所述保存的http请求数据的日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；所述日志分析处理服务器对接收到的预设格式的内部运行日志进行存储和分析处理的同时，还包括：所述日志分析处理服务器对接收到的预设格式的http请求数据的日志进行存储和分析处理。3.根据权利要求1或2所述的方法，其中，所述日志分析处理服务器为服务器集群。4.根据权利要求1或2所述的方法，其中，所述日志分析处理服务器包括离线日志分析集群Hadoop、实时分析集群elasticsearch和报警系统。5.一种日志采集分析设备，其中，该设备包括：边缘服务api网关，用于从客户端获取http请求数据并转发到对应的应用服务器，同时将所述http请求数据的日志保存在边缘服务api网关本地；应用服务器，用于响应所述http请求数据，并生成对应的内部运行日志保存在所述应用服务器本地；通过部署在其上的sidecar组件，将所述保存的内部运行日志转换为预设格式后，通过缓冲分流队列管道发送到对应的日志分析处理服务器；日志分析处理服务器，用于对接收到的预设格式的内部运行日志进行存储和分析处理。6....

【专利技术属性】
技术研发人员：赵甜，
申请(专利权)人：上海雷腾软件股份有限公司，
类型：发明
国别省市：上海,31