一种多数据源日志数据集中收集存储方法及装置制造方法及图纸

本发明专利技术提供一种多数据源日志数据集中收集存储方法，在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。本发明专利技术还提供一种方法所对应的装置。通过本发明专利技术来实现多数据源日志的收集存储和检索，可提高故障处理效率，提升数据分析能力，并为后期的故障排查奠定良好的基础。

A Method and Device for Collecting and Storing Log Data Sets from Multiple Data Sources

【技术实现步骤摘要】
一种多数据源日志数据集中收集存储方法及装置
本专利技术涉及日志处理领域，特别涉及一种多数据源日志数据集中收集存储方法及装置。
技术介绍
分布式应用是由不同的运行于分离的运行环境下的组件构成的应用程序，通常是在不同的平台上通过网络互联起来。典型的分布式应用有二端(Client/Server)，三端(client/middleware/server)和n端(client/multiplemiddleware/multipleserver)。目前，分布式应用集群已得到了广泛的应用。在分布式应用集群出现异常或故障时，为了降低异常或故障所造成的影响，技术人员都需要第一时间去进行异常排查或故障定位。传统情况下都是通过人工依次登录成群服务器节点进行硬件资源检测、操作系统状态检查、应用日志分析等步骤。但是，由于服务器集群存在地域分散性、排查步骤繁多等因素，因此，在具体进行排查或定位时，通常都需要消耗大量的时间，根本无法实现第一时间修复故障，这也导致企业SLA指标下降，并严重影响了系统用户的体验，同时也造成了企业的经济损失。
技术实现思路
本专利技术要解决的技术问题之一，在于提供一种多数据源日志数据集中收本文档来自技高网...

【技术保护点】
1.一种多数据源日志数据集中收集存储方法，其特征在于：所述方法包括如下步骤：步骤S1、在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；步骤S2、日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；步骤S3、在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。

【技术特征摘要】
1.一种多数据源日志数据集中收集存储方法，其特征在于：所述方法包括如下步骤：步骤S1、在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；步骤S2、日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；步骤S3、在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。2.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述步骤S2还包括：在对原始的日志数据进行处理时，日志处理系统对新日志数据中的日志内容属性进行扫描，并自动匹配告警规则，且根据告警规则触发日志预警系统发送警报内容进行告警；所述警报内容包括应用服务器IP、日志别名、日志路径以及日志内容。3.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述步骤S1具体为：在各应用服务器上安装日志收集系统客户端，并对日志收集系统的配置文件进行参数配置，配置的参数至少包括本机IP地址、日志文件路径、日志多行合并、收集规则、日志处理系统的地址以及日志间隔时间；运行日志收集系统的应用程序，应用程序读取配置文件，并检查配置文件是否正确，如果否，则停止应用程序的运行，并发送提示消息给日志收集系统客户端；如果是，则按照配置文件中配置的收集规则扫描对应的日志文件，并将扫描到的日志数据实时发送给日志处理系统。4.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述日志存储系统上设置有一个本地服务器节点以及至少一个服务器从节点；所述步骤S2具体包括：步骤S21、日志处理系统在接收到日志数据后，将原始的日志数据复制一份给日志存储系统，日志存储系统将原始的日志数据保存至本地服务器节点上，同时将原始的日志数据同步给各服务器从节点；步骤S22、日志处理系统对原始的日志数据进行属性提取，按照设定的属性合并规则来合并新日志数据，并根据设置的分类类型来对新日志数据进行分类；其中，提取的属性包括应用服务器IP、日志别名、日志路径、日志类型、服务器名称、日志内容、日志级别或者自定义属性；步骤S23、将处理后的新日志数据发送给日志存储系统，日志存储系统将新日志数据保存至本地服务器节点上，同时将新日志数据同步给各服务器从节点。5.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述步骤S3具体为：日志展示系统对存储在日志存储系统中的新日志数据进行扫描，并根据用户在日志展示系统的界面中设定的检索规则来建立日志索引，以从日志存储系统获取到对应的日志数据；日志展示系统根据不同的属性来对获取的日志数据进行展示，或者日志展示系统通过引入第三方的IP库来对日志的用户行为进行统计和展示。6.一种多数据源日志数据集中收集存储装置，其特征在于：所述装置包括日志收集模块、...

【专利技术属性】
技术研发人员：王国美，林先榕，
申请(专利权)人：福州慧校通教育信息技术有限公司，
类型：发明
国别省市：福建,35