一种分布式环境下的日志管理方法和装置制造方法及图纸

本发明专利技术提供了一种分布式环境下的日志管理方法和装置，其中的方法包括步骤：拦截收集日志数据并发送；接收日志数据，并对集中的日志数据进行分析整理；将整理后的日志数据存储在数据库中，提供给用户进行查询和统计。利用本发明专利技术可以将分散在各个物理存储位置的日志实时收集到一个集中的日志中心，并将各日志文件中的日志记录按照统一时间线顺序进行排序并结构化存储，提供了更强的日志查询、分析、统计功能。本发明专利技术解决了分布、集群部署时应用产生的日志在空间与时间上的不一致造成使用日志的各种问题，方便了用户的查询统计。

【技术实现步骤摘要】
一种分布式环境下的日志管理方法和装置
本专利技术涉及日志管理，尤其涉及分布式环境下的日志管理方法和装置。
技术介绍
当前基于J2EE的应用得到了广泛的使用。为了获取应用的运行情况以及便于调试，基于J2EE的应用一般都会使用某种日志组件将应用实时产生的日志写入到文件系统中。日志组件的典型例子包括Log4j、common-log等。由于基于J2EE的应用通常会部署在集群环境或分布式环境中，此时的日志就会分散在多个物理机器上。当需要从日志中查找或者定位某些问题时，将会面临以下问题:1)空间不统一，日志的存储位置分散:由于应用被分布或集群部署，每个应用将被部署在多个物理机器上，每个部署的应用实例产生自己的日志文件，此时应用的日志将被分散于每个物理机器上。2)时间不统一，每个实例产生自己的日志时间线:在集群部署的每个应用实例都使用自己的服务器时间作为产生日志时间，每个应用实例只写自己的日志，多个应用实例就产生了多条基于各自时间的日志文件。为了解决日志分散存储的问题，现有技术中存在一些实时日志收集方法，但由于收集过程中占用大量的资源，会造成应用系统本身性能显著下降。同时现有技术中本文档来自技高网...

【技术保护点】
一种分布式环境下的日志管理方法，包括以下步骤：?拦截收集日志数据并发送；?接收日志数据，并对集中的日志数据进行分析整理；将整理后的日志数据存储在数据库中，提供给用户进行查询和统计。

【技术特征摘要】
1.一种分布式环境下的日志管理方法，包括以下步骤: 拦截收集日志数据并发送； 接收日志数据，并对集中的日志数据进行分析整理； 将整理后的日志数据存储在数据库中，提供给用户进行查询和统计。2.根据权利要求1所述的分布式环境下的日志管理方法，其中，所述拦截收集日志数据并发送的步骤具体包括: 拦截日志数据并将日志放入日志待打包队列； 按时间或数据量条件将日志待打包队列中的日志进行压缩形成数据包，并放入数据包待发送队列； 连接日志中心，向日志中心发送日志数据包。3.根据权利要求2所述的分布式环境下的日志管理方法，其中，由打包线程将日志进行压缩形成数据包，由发送线程向日志中心发送日志数据包。4.根据权利要求2所述的分布式环境下的日志管理方法，其中，拦截日志时根据日志拦截参数来拦截日志，将符合条件的日志放入到待打包队列中。5.根据权利要求2所述的分布式环境下的日志管理方法，其中，在检测到数据包待发送队列中的数据长度大于一定长度阈值时或以固定的时间间隔发送日志数据包。6.根据权利要求2所述 分布式环境下的日志管理方法，其中，所述接收日志数据，并对集中的日志数据进行整理分析的步骤具体包括: 接收日志数据包,并将其放入数据包队列； 对数据包队列中的数据包进行解压并放入日志队列； 对日志队列中的日志进行分析并整理为固定的存储结构。7.根据权利要求6所...

【专利技术属性】
技术研发人员：孙凯，
申请(专利权)人：用友软件股份有限公司，
类型：发明
国别省市：