日志采集方法、系统、计算机设备和存储介质技术方案

本发明专利技术涉及日志采集方法、系统、计算机设备和存储介质，方法包括：通过统一日志管理平台为目标服务器设置标签，并批量发送日志采集软件，目标服务器接收日志采集软件后进行安装；日志采集软件向服务端发送HTTP请求，服务端从日志配置集中调取日志配置信息，日志采集软件根据日志配置信息生成日志采集文件，通过重新加载日志采集进程来应用日志采集配置文件，进行日志采集；日志采集软件通过调用日志状态上报功能向服务端发送HTTP报文，根据HTTP报文中含有hash值来判断日志采集进程是否正常。本技术方案通过调用日志采集软件实现在分布式环境中大规模采集日志，并利用hash值来检测日志采集进程是否正常，降低了人工操作成本。

Log Acquisition Method, System, Computer Equipment and Storage Media

The invention relates to a log acquisition method, system, computer equipment and storage medium. The method includes: setting labels for the target server through a unified log management platform, and sending the log acquisition software in batches; installing the target server after receiving the log acquisition software; sending HTTP requests to the server; and collecting the log configuration letter centrally from the log configuration by the server. Log acquisition software generates log acquisition files based on log configuration information, and uses log acquisition configuration files to collect logs by reloading the log acquisition process. Log acquisition software sends HTTP messages to the server by calling the log status reporting function, and judges whether the log acquisition process is normal or not according to the hash value contained in the HTTP message. This technical scheme realizes large-scale log acquisition in distributed environment by calling log acquisition software, and uses hash value to detect whether the log acquisition process is normal, which reduces the cost of manual operation.

【技术实现步骤摘要】
日志采集方法、系统、计算机设备和存储介质
本专利技术涉及计算机通信
，特别是涉及日志采集方法、系统、计算机设备和存储介质。
技术介绍
日志采集是指对各个系统和应用程序产生log文件进行采集，log文件包含了当前的程序的运行状态，报错信息和用户的操作信息等。目前日志采集方法和系统包括基于Scribe的采集框架，Chukwa的采集框架和Flume-OG采集框架。Scribe的采集框架是从各个源将日志采集后集中存储到一个中央存储系统，然后进行集中的统计分析，由于agent和coIIector之间没有响应的容错机制，易出现数据丢失情况，同时，Scribe的采集框架是基于thrift，依赖较为复杂，环境的侵入性比较强。Chukwa的采集框架主要是针对各种数据的采集，它包含了很多强大和灵活的工具集，并且能同时分析采集到的数据，其扩展性好。较之于Scribe的采集框架，Chukwa的采集框架能够定期记录已发送的数据来提供容错机制，和hadoop的集成性高，但由于Chukwa的采集框架版本较新，并且设计的主要初衷是为了各种数据的采集，导致在日志采集上并没有什么具体的商业扩产。Flume-OG采集框架也是一种三层状态的日志采集系统，agent、collector和store三层结构，其中agent负责读取，collector负责采集过滤，store是存储层。同时，通过zookeeper来提供负载，使得相对于前两种框架更为安全，然而由于框架过于冗杂，操作起来不是很方便，开发工作量巨大。此外，现有的三种日志采集框架无法实现在分布式环境中，大规模采集日志。
技术实现思路
基于此，有必要针对在进行日志采集时，无法实现在分布式环境中大规模采集日志等问题，提供了日志采集方法、系统、计算机设备和存储介质。一种日志采集方法，所述日志采集方法，具体包括如下步骤：统一日志管理平台对目标服务器进行分类，并为同一类所述目标服务器设置一标签，所述统一日志管理平台根据所述标签向所述目标服务器批量发送日志采集软件，所述目标服务器接收后并安装所述日志采集软件；所述日志采集软件向服务端发送获取日志配置信息的HTTP请求，所述服务端接收所述HTTP请求后从预设在所述统一日志管理平台内的日志配置集中调取日志配置信息后发送给所述日志采集软件，所述日志采集软件根据所述日志配置信息生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，进行日志采集，所述服务端设置在所述统一日志管理平台内；所述日志采集软件通过调用预设在所述日志采集软件内的日志状态上报功能向所述服务端发送HTTP报文，所述HTTP报文中包含有hash值，所述服务端根据所述hash值来判断日志采集进程是否正常，若判断所述日志采集进程正常，则继续进行日志采集，若判断所述日志采集进程出现异常，所述服务端则从所述日志配置集中重新获取日志配置信息，并将所述日志配置信息发送给所述日志采集软件，所述日志采集软件则根据所述日志配置信息重新生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，以进行日志采集。在一个实施例中，所述目标服务接收后并安装日志采集软件包括：统一日志管理平台按照目标服务器所隶属的应用IT系统名称对所述目标服务器进行分类，并将所述应用IT系统名称设置为同一类目标服务器的标签，所述统一日志管理平台通过调用配置部署程序向所述目标服务器批量发送日志采集软件，所述目标服务器通过数据接口接收所述日志采集软件，通过调用设置在所述目标服务器内的安装软件对所述日志采集软件进行自动安装，所述配置部署程序设置在所述统一日志管理平台上，所述日志采集软件具有日志上报功能。在一个实施例中，所述日志采集包括：所述日志采集软件向所述服务端发送获取日志配置信息的HTTP请求，所述HTTP请求中包含有日志采集节点ID；所述服务端接收所述HTTP请求后，从预设在统一日志管理平台内的日志配置集内调取与所述日志采集节点ID相一致的日志配置信息，所述日志配置信息包括需要采集的日志的文件路径、日志采集方法和增加字段信息，所述服务端根据所述日志配置信息，通过调用预设在所述服务端内的MD5值算法计算得出hash值，并将所述hash值放入至一存储器内进行存储，所述服务端将所述日志配置信息和所述hash值反馈至所述日志采集软件；所述日志采集软件接收所述日志配置信息后，根据所述日志配置信息中包含的需采集的日志的文件路径、日志采集方法和增加字段来生成日志采集配置文件，所述日志采集软件通过重新加载日志采集进程来应用所述日志采集文件，进行日志采集，同时，所述日志采集软件将所述hash值保存至一缓存器内。在一个实施例中，所述服务端根据所述hash值判断日志采集进程是否正常包括：所述日志采集软件通过调用预设在所述日志采集软件内的日志状态上报功能，按照预设的时间间隔向所述服务端发送HTTP报文，所述HTTP报文中包含有日志采集节点ID、hash值在内的信息，服务端接收所述HTTP报文后，根据所述hash值对日志采集进程进行检测，若所述hash值与存储在所述服务端中的存储器内的hash值一致，则继续进行日志采集，若所述hash值与存储在所述服务端中的存储器内的hash值不一致，则所述服务端根据所述HTTP报文中所包含的日志采集节点ID，从所述日志配置集中调取对应的日志配置信息，并将所述日志配置信息发送给所述日志采集软件，所述日志采集软件则根据所述日志配置信息重新生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，以进行日志采集。在一个实施例中，所述安装软件包括360软件管家。在一个实施例中，所述存储器包括NAS存储器、DAS存储器或SAN存储器；所述缓存器包括Redis。在一个实施例中，所述预设的时间间隔包括以每分钟或每小时为时间间隔。基于相同的技术构思，本专利技术还提供一种日志采集系统，所述系统包括安装单元、采集单元和判断单元；所述安装单元，用于统一日志管理平台对目标服务器进行分类，并为同一类所述目标服务器设置一标签，所述统一日志管理平台根据所述标签向所述目标服务器批量发送日志采集软件，所述目标服务器接收后并安装所述日志采集软件；所述采集单元，用于所述日志采集软件向服务端发送获取日志配置信息的HTTP请求，所述服务端接收所述HTTP请求后从预设在所述统一日志管理平台内的日志配置集中调取日志配置信息后发送给所述日志采集软件，所述日志采集软件根据所述日志配置信息生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，进行日志采集，所述服务端设置在所述统一日志管理平台内；所述判断单元，用于所述日志采集软件通过调用预设在所述日志采集软件内的日志状态上报功能向所述服务端发送HTTP报文，所述HTTP报文中包含有hash值，所述服务端根据所述hash值来判断日志采集进程是否正常，若判断所述日志采集进程正常，则继续进行日志采集，若判断所述日志采集进程出现异常，所述服务端则从所述日志配置集中重新获取日志配置信息，并将所述日志配置信息发送给所述日志采集软件，所述日志采集软件则根据所述日志配置信息重新生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，以进行日志采集。基于本文档来自技高网...

【技术保护点】
1.一种日志采集方法，其特征在于，所述日志采集方法包括：统一日志管理平台对目标服务器进行分类，并为同一类所述目标服务器设置一标签，所述统一日志管理平台根据所述标签向所述目标服务器批量发送日志采集软件，所述目标服务器接收后并安装所述日志采集软件；所述日志采集软件向服务端发送获取日志配置信息的HTTP请求，所述服务端接收所述HTTP请求后从预设在所述统一日志管理平台内的日志配置集中调取日志配置信息后发送给所述日志采集软件，所述日志采集软件根据所述日志配置信息生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，进行日志采集，所述服务端设置在所述统一日志管理平台内；所述日志采集软件通过调用预设在所述日志采集软件内的日志状态上报功能向所述服务端发送HTTP报文，所述HTTP报文中包含有hash值，所述服务端根据所述hash值来判断日志采集进程是否正常，若判断所述日志采集进程正常，则继续进行日志采集，若判断所述日志采集进程出现异常，所述服务端则从所述日志配置集中重新获取日志配置信息，并将所述日志配置信息发送给所述日志采集软件，所述日志采集软件则根据所述日志配置信息重新生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，以进行日志采集。...

【技术特征摘要】
1.一种日志采集方法，其特征在于，所述日志采集方法包括：统一日志管理平台对目标服务器进行分类，并为同一类所述目标服务器设置一标签，所述统一日志管理平台根据所述标签向所述目标服务器批量发送日志采集软件，所述目标服务器接收后并安装所述日志采集软件；所述日志采集软件向服务端发送获取日志配置信息的HTTP请求，所述服务端接收所述HTTP请求后从预设在所述统一日志管理平台内的日志配置集中调取日志配置信息后发送给所述日志采集软件，所述日志采集软件根据所述日志配置信息生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，进行日志采集，所述服务端设置在所述统一日志管理平台内；所述日志采集软件通过调用预设在所述日志采集软件内的日志状态上报功能向所述服务端发送HTTP报文，所述HTTP报文中包含有hash值，所述服务端根据所述hash值来判断日志采集进程是否正常，若判断所述日志采集进程正常，则继续进行日志采集，若判断所述日志采集进程出现异常，所述服务端则从所述日志配置集中重新获取日志配置信息，并将所述日志配置信息发送给所述日志采集软件，所述日志采集软件则根据所述日志配置信息重新生成日志采集配置文件，通过重新加载日志采集进程来应用所述日志采集配置文件，以进行日志采集。2.根据权利要求1所述一种日志采集方法，其特征在于，所述目标服务器接收后并安装所述日志采集软件包括：统一日志管理平台按照目标服务器所隶属的应用IT系统名称对所述目标服务器进行分类，并将所述应用IT系统名称设置为同一类目标服务器的标签，所述统一日志管理平台通过调用配置部署程序向所述目标服务器批量发送日志采集软件，所述目标服务器通过数据接口接收所述日志采集软件，通过调用设置在所述目标服务器内的安装软件对所述日志采集软件进行自动安装，所述配置部署程序设置在所述统一日志管理平台上，所述日志采集软件具有日志上报功能。3.根据权利要求1所述一种日志采集方法，其特征在于，所述日志采集包括：所述日志采集软件向所述服务端发送获取日志配置信息的HTTP请求，所述HTTP请求中包含有日志采集节点ID；所述服务端接收所述HTTP请求后，从预设在统一日志管理平台内的日志配置集内调取与所述日志采集节点ID相一致的日志配置信息，所述日志配置信息包括需要采集的日志的文件路径、日志采集方法和增加字段信息，所述服务端根据所述日志配置信息，通过调用预设在所述服务端内的MD5值算法计算得出hash值，并将所述hash值放入至一存储器内进行存储，所述服务端将所述日志配置信息和所述hash值反馈至所述日志采集软件；所述日志采集软件接收所述日志配置信息后，根据所述日志配置信息中包含的需采集的日志的文件路径、日志采集方法和增加字段来生成日志采集配置文件，所述日志采集软件通过重新加载日志采集进程来应用所述日志采集文件，进行日志采集，同时，所述日志采集软件将所述hash值保存至一缓存器内。4.根据权利要求1所述一种日志采集方法，其特征在于，所述服务端根据所述hash值来判断日...

【专利技术属性】
技术研发人员：蔡箴，孙玉，金龙，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44