一种基于分布式的日志统一管理方法技术

本发明专利技术公开了一种基于分布式的日志统一管理方法，包括以下步骤：S1、安装日志采集客户端；S2、利用appCode做初始化统一标准配置；S3、各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；S4、定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；S5、将转换后的数据推送到分布式消息kafka；S6、取提取所需数据；S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；S9、日志统一展示。本发明专利技术在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，能够大大的提高管理水平和工作效率。

A distributed log unified management method

【技术实现步骤摘要】
一种基于分布式的日志统一管理方法
本专利技术涉及一种基于分布式的日志统一管理方法。
技术介绍
传统的软件应用日志一般有两种管理方式：记录在本地文件中，当需要查询、处理时，从文件中抽取对应的信息，通过人工来处理，过程复杂且容易出错；另一种处理方式是把日志信息存储在数据库中，通过数据库语句来进行查询和分析。随着企业业务发展需要，软件应用系统规模、容量，复杂度，数量也日趋提高，传统日志管理模式存在存储量不高，处理能力差，查询效率低，吞吐量低，数据杂乱等问题。一个复杂的软件应用系统都是若干个独立的软件应用集成起来的，这些软件应用存在相互调用关系，出现问题时需针对性的进行跟踪定位就必须依赖日志记录来综合查询分析问题所在，以及后续系统的升级，都需要通过日志综合运行情况提供决策依据，然而独立的软件应用日志各自存储比较分散难于统一查看管理且无法满足后续更复杂业务的发展。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种采用分布式消息队列方式挺高了应用吞吐量，能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大本文档来自技高网...

【技术保护点】
1.一种基于分布式的日志统一管理方法，其特征在于，包括以下步骤：/nS1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；/nS2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；/nS3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；/nS4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMa...

【技术特征摘要】
1.一种基于分布式的日志统一管理方法，其特征在于，包括以下步骤：
S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；
S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；
S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；
S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；
S5、将转换后的数据推送到分布式...

【专利技术属性】
技术研发人员：唐雪飞，莫稽，马晨曦，胡茂秋，
申请(专利权)人：成都康赛信息技术有限公司，
类型：发明
国别省市：四川;51