分布式日志数据监控方法及装置制造方法及图纸

本发明专利技术公开了一种分布式日志数据监控方法及装置，其中方法包括：获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本发明专利技术可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。

Distributed log data monitoring method and device

【技术实现步骤摘要】
分布式日志数据监控方法及装置
本专利技术涉及数据处理
，尤其涉及分布式日志数据监控方法及装置。
技术介绍
在现代分布式系统中，为了保护系统运行安全，发现数据异常波动，对产生的日志数据进行监控十分必要。现有技术中，通常由管理员定期对各个服务器下的日志数据进行查看分析，但是随着服务器节点规模呈几何指数增加，逐一对散落在各个服务器下的大量日志数据进行人工分析将耗费大量人力且效率极低，难以及时准确发现日志数据异常。
技术实现思路
本专利技术实施例提供一种分布式日志数据监控方法，用以对分布式日志数据进行监控，节省人力，提高效率，从而及时准确发现日志数据异常，该方法包括：获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本专利技术实施例提供一种分布式日志数据监控装置，用以对分布式日志数据进行监控，节省人力，提高效率，从而及时准确发现日志数据异常，该装置包括：获取模块，用于获取各分布式节点的日志数据；监控模块，用于根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。相较于现有技术中由管理员定期对各个服务器下的日志数据进行查看分析的方案而言，本专利技术实施例通过获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本专利技术实施例无需依靠人工分析日志数据，根据历史日志数据预先生成预先生成基线数据，然后根据获取的各分布式节点的日志数据和预先生成的基线数据，可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中分布式日志数据监控方法示意图；图2-图11为本专利技术一个具体实施例中分布式日志数据监控方法示意图；图12为本专利技术实施例中分布式日志数据监控装置结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。首先，对本专利技术实施例中涉及的名词进行介绍：ELK：三个开源软件的缩写，分别表示：ElasticSearch，Logstash，Kibana；ElasticSearch：基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查询，ElasticSearch的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等；Logstash：用于日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往ElasticSearch上去；Kibana：可视化工具，主要负责查询ElasticSearch的数据并以可视化的方式展现给业务方，比如各类饼图、直方图、区域图等；Filebeat：日志数据收集工具，在服务器上安装客户端后，Filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件(追踪文件的变化，不停的读)，并且转发这些信息到ElasticSearch或者Logstash中存放。Filebeat比Logstash更加轻量级，占用系统资源极少；Kafka：开源的分布式消息队列，支持订阅-发布模式，在分布式架构中用作消息总线来传递消息。为了对分布式日志数据进行监控，节省人力，提高效率，从而及时准确发现日志数据异常，本专利技术实施例提供一种分布式日志数据监控方法，如图1所示，该方法可以包括：步骤101、获取各分布式节点的日志数据；步骤102、根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。由图1所示可以得知，本专利技术实施例通过获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本专利技术实施例无需依靠人工分析日志数据，根据历史日志数据预先生成预先生成基线数据，然后根据获取的各分布式节点的日志数据和预先生成的基线数据，可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。具体实施时，获取各分布式节点的日志数据。实施例中，获取各分布式节点的日志数据包括：采集每个分布式节点的日志数据；对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；获取处理后的日志数据。本实施例中，采集每个分布式节点的日志数据，包括：利用Filebeat工具采集每个分布式节点的日志数据。本专利技术实施例的日志数据采集使用Filebeat工具，相较于现有的采用logstash的方案，filebeat比logstach轻量，占用资源更少，对业务应用的影响较logstash小很多。本实施例中，获取各分布式节点的日志数据还包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中；对所述日志数据进行预处理，包括：拉取所述消息队列中的日志数据，对所述日志数据进行预处理。本实施例中，利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中，包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入Kafka工具的消息队列中；对所述日志数据进行预处理，包括：利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理，将处理结果存入ElasticSearch工具中；从ElasticSearch工具中获取处理后的日志数据。需要说明的是，将所述日志数据存入Kafka工具的消息队列中，可以起到缓冲池的作用，能缓解日志数据峰值处理压力，同时可以减小消息丢失的可能。具体的，Filebeat需要在每个需要采集日志数据的分布式节点应用服务器上进行部署启动，定义输入，Path指向应用输出的日志文件路径，支持通配，定义输出为Kafka，Kafka的version必须配置，否则可能导致无法输出到kafka，然后启动Filebeat进程。利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理。Grok是一个logstash的过滤插件，支持根据模本文档来自技高网...

【技术保护点】
1.一种分布式日志数据监控方法，其特征在于，包括：/n获取各分布式节点的日志数据；/n根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。/n

【技术特征摘要】
1.一种分布式日志数据监控方法，其特征在于，包括：
获取各分布式节点的日志数据；
根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。


2.如权利要求1所述的分布式日志数据监控方法，其特征在于，获取各分布式节点的日志数据包括：
采集每个分布式节点的日志数据；
对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；
获取处理后的日志数据。


3.如权利要求2所述的分布式日志数据监控方法，其特征在于，采集每个分布式节点的日志数据，包括：利用Filebeat工具采集每个分布式节点的日志数据。


4.如权利要求3所述的分布式日志数据监控方法，其特征在于，获取各分布式节点的日志数据还包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中；
对所述日志数据进行预处理，包括：拉取所述消息队列中的日志数据，对所述日志数据进行预处理。


5.如权利要求4所述的分布式日志数据监控方法，其特征在于，利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中，包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入Kafka工具的消息队列中；
对所述日志数据进行预处理，包括：利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理，将处理结果存入ElasticSearch工具中；
从ElasticSearch工具中获取处理后的日志数据。


6.如权利要求5所述的分布式日志数据监控方法，其特征在于，还包括：从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理。


7.如权利要求6所述的分布式日志数据监控方法，其特征在于，从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理，包括：从ElasticSearch工具中获取处理后的日志数据后，利用Kibana工具对所述日志数据进行可视化检索处理。


8.如权利要求1所述的分布式日志数据监控方法，其特征在于，基线数据包括：历史日志数据的...

【专利技术属性】
技术研发人员：黄河峰，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11