分布式日志收集存储管理系统技术方案

本发明专利技术公开一种分布式日志收集存储管理系统，其特征在于，包括：采集单元、数据处理单元、数据存储单元，其中，采集单元，用于从各个节点服务器上采集生产日志文件数据；数据处理单元采用Logstash引擎，用于导入述采集单元所采集的生产日志文件数据，并经处理后导出；数据存储单元采用Elasticsearch引擎，用于存储数据处理单元导出的日志文件。本发明专利技术的分布式日志收集存储管理系统实现了将各个节点服务器的日志收集、清洗、汇总、查询、管理统计起来，这样能够通过日志管理系统能看出系统应用在产线的运行情况，排查问题变的更简单。排查问题变的更简单。排查问题变的更简单。

【技术实现步骤摘要】
分布式日志收集存储管理系统


[0001]本专利技术涉及工厂生产中的日志管理
，特别涉及一种分布式日志收集存储管理系统。

技术介绍

[0002]半导体工厂使用MES系统(生产执行系统)对工厂生产进行管理。而在目前的分布式应用系统中，随着节点数的增加，同时每个节点上的应用日志，分散在各个服务器当中。当需要排查产线系统的问题时，例如，在智能化搬运及仓储方面，当需要知道从立库设备、AGV(自动导向搬运车)设备、提升机设备或者MES系统发送了某段命令给MCS(输送线自动控制系统)，而MCS需要给设备或者MES系统回复一个交互通讯的文本的日志时，这时工作人员就需要去每台服务器上拉取相关的日志进行分析从而排查出问题。但是其存在较大弊端：1)如果生产比较繁忙时，可能一个日志文件就高达几十兆甚至更大，此分析日志的过程就变得很费时间，如果遇到生产环境的限制不允许从服务器复制大文件出来时，这会给排查带来了困难。2)目前系统的架构是分布式应用，对于某个项目的生产日志，会出现其中一部分日志存在A节点服务器，而另一部分日志则存在B节点服务器，想要获取完整的日志就需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式日志收集存储管理系统，其特征在于，包括：采集单元、数据处理单元、数据存储单元，其中，所述采集单元，用于从各个节点服务器上采集生产日志文件数据；所述数据处理单元，用于导入述采集单元所采集的生产日志文件数据，并经处理后导出；所述数据存储单元，用于存储所述数据处理单元导出的日志文件。2.如权利要求1所述的分布式日志收集存储管理系统，其特征在于：其中，所述数据处理单元采用Logstash引擎，工作流程如下：S1：采集到的生产日志文件数据通过数据导入插件inputplugin输入到数据处理单元；S2：对输入的生产日志文件数据通过过滤器filterplugin解析各个日志文件，并进行数据过滤，数据转换，数据清洗；S3：将过滤处理后的生产日志文件数据通过数据导出插件output plugin输出。3.如权利要求2所述的分布式日志收集存储管理系统，其特征在于：其中，所述数据处理单元包括以下功能模块：path模块，用于监控日志文件的路径；type模块，用于区分不同的文件的类型，并给文件打上类型标记；exclude模块，用于设置需要排除的日志文件；start_position模块，用于设置从哪里开设记录日志文件；stat_interval模块，用于设置每隔多久检查一次被监控的文件状态；sincedb_write_interval模块，用于设置每隔多久写一次sincedb文件；discover_interval模块，用于设置每隔多久去监控path下是否有文件；close_older模块，用于设置已经监控的文件,如果超过设定值的时间内没有...

【专利技术属性】
技术研发人员：方南权，高超，叶宇晖，王文瑞，
申请(专利权)人：上海哥瑞利软件股份有限公司，
类型：发明
国别省市：