一种基于分布式的日志统一管理方法技术

本发明专利技术公开了一种基于分布式的日志统一管理方法，包括以下步骤：S1、安装日志采集客户端；S2、利用appCode做初始化统一标准配置；S3、各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；S4、定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；S5、将转换后的数据推送到分布式消息kafka；S6、取提取所需数据；S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；S9、日志统一展示。本发明专利技术在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，能够大大的提高管理水平和工作效率。

A distributed log unified management method

【技术实现步骤摘要】
一种基于分布式的日志统一管理方法
本专利技术涉及一种基于分布式的日志统一管理方法。
技术介绍
传统的软件应用日志一般有两种管理方式：记录在本地文件中，当需要查询、处理时，从文件中抽取对应的信息，通过人工来处理，过程复杂且容易出错；另一种处理方式是把日志信息存储在数据库中，通过数据库语句来进行查询和分析。随着企业业务发展需要，软件应用系统规模、容量，复杂度，数量也日趋提高，传统日志管理模式存在存储量不高，处理能力差，查询效率低，吞吐量低，数据杂乱等问题。一个复杂的软件应用系统都是若干个独立的软件应用集成起来的，这些软件应用存在相互调用关系，出现问题时需针对性的进行跟踪定位就必须依赖日志记录来综合查询分析问题所在，以及后续系统的升级，都需要通过日志综合运行情况提供决策依据，然而独立的软件应用日志各自存储比较分散难于统一查看管理且无法满足后续更复杂业务的发展。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种采用分布式消息队列方式挺高了应用吞吐量，能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大大的提高管理水平，工作效率的基于分布式的日志统一管理方法。本专利技术的目的是通过以下技术方案来实现的：一种基于分布式的日志统一管理方法，包括以下步骤：S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；S5、将转换后的数据推送到分布式消息kafka；S6、日志系统通过kafka提供的监听器拉取提取所需数据，并采用List数据类型作为日志的缓存队列；S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；S9、日志统一展示：通过mongodb查找出所需数据，并转换成图表进行展示。进一步地，所述步骤S6具体实现方法为：设定kafka主题自动监听器，有信息时，自动读取信息数据，并按照不同的分类把数据拉取出来，装到List数据结构中，然后通过队列缓存起来。本专利技术的有益效果是：本专利技术在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，以及使用统一管理准确归类的模式大幅度的提高企业协同工作、处理错误效率，以及为更好的发展业务提供分析数据。能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大大的提高管理水平，工作效率。附图说明图1为本专利技术的基于分布式的日志统一管理方法的流程图。具体实施方式本专利技术提供了一种基于分布式的日志统一管理方法，将各个应用注册统一编码管理，分配appCode，以及收集应用的日志统一推送到分布式消息队列中；在分布式队列中提取日志信息，按照分类统一存储到mongodb，通过一个管理端统一展示所需数据，本专利技术通过appCode能在众多应用集中统一管理中快递查找到所需应用数据，并能查询对应应用全部的调用详情，运行详情，对于分析异常，定位异常非常方便快捷。在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大大的提高管理水平，工作效率。下面结合附图进一步说明本专利技术的技术方案。如图1所示，本专利技术的一种基于分布式的日志统一管理方法，包括以下步骤：S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；当应用需要对日志进行管理时，首先把各个应用统一注册到日志系统开放的接口中拿到日志系统返回交互所需的appCode，此值用于后续交互，后边日志分类，检索日志，排查故障，在众多应用集中统一管理的情况下能快速查询所需要的日志信息非常方便、快捷。S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；为了避免日志信息不规范，良好的可读性，已经高效率的查询，需统一规范日志的数据结构，日志分类，以及推送接口，在接入日志管理时还需接入日志收集客户端，并用交互凭据appCode初始化，其中客户端制定了规范以及健全交互安全性，明确了日志分类格式，日志推送格式，以及日志数据结构，利用客户端规范化的标准为后续统一管理提供可靠的数据源。S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；日志相关信息收集成功后，数据由日志收集客户端统一处理，由此只需把数据传到日志收集客户端提供的推送接口即可，制定统一的推送接口标准，有利于数据的统一性，强壮程序应用，提高开发效率，以及为持续集成提供便利。S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；S5、将转换后的数据推送到分布式消息kafka；数据经过转换后，推送到分布式消息kafka，按照应用appCodec创建kafka主题。其中kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写,kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在软件应用中的所有动作流数据，并需要能够支撑较大的数据量,且具备良好的容错能力，并能统一线上和离线的消息处理，大大提供了日志数据的吞吐量。S6、日志系统通过kafka提供的监听器拉取提取所需数据，并采用List数据类型作为日志的缓存队列；设定kafka主题自动监听器，有信息时，自动读取信息数据，并按照不同的分类把数据拉取出来，装到List数据结构中，然后通过队列缓存起来，并且设定队列大小初始化值，设定可控队列更有效的利用资源，提高性能。S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；为了可读性，更加科学的管理，以及提高查询效率，系统按照appCode把数据进行分类，存储到mongodb中，mongodb一个基于分布式文件存储的数据库,提供可扩展的高性能数据存储解决方案，支持动态查询，模式自由本文档来自技高网...

【技术保护点】
1.一种基于分布式的日志统一管理方法，其特征在于，包括以下步骤：/nS1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；/nS2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；/nS3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；/nS4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；/nS5、将转换后的数据推送到分布式消息kafka；/nS6、日志系统通过kafka提供的监听器拉取提取所需数据，并采用List数据类型作为日志的缓存队列；/nS7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；/nS8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；/nS9、日志统一展示：通过mongodb查找出所需数据，并转换成图表进行展示。/n...

【技术特征摘要】
1.一种基于分布式的日志统一管理方法，其特征在于，包括以下步骤：
S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；
S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；
S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；
S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；
S5、将转换后的数据推送到分布式...

【专利技术属性】
技术研发人员：唐雪飞，莫稽，马晨曦，胡茂秋，
申请(专利权)人：成都康赛信息技术有限公司，
类型：发明
国别省市：四川;51