【技术实现步骤摘要】
本专利技术涉及计算机信息，具体而言，涉及一种工厂cim、fa系统通用的日志追溯管理平台及其追溯方法。
技术介绍
1、日志log主要用于记录和储存系统运行的状况和用户操作的履历，这些信息是协助记录系统运行情况和排查问题的主要依据。例如，当某个软件系统发生崩溃时，技术人员可以通过日志记录来分析和解决问题。
2、针对linux系统持续写入应用日志的采集、存储和分析，目前有多种处理方式，包括使用shell、java等语言编写脚本以及使用elk工具等。然而，无论采用哪种处理方式，在面对大量日志时，都存在耗时过长、占用大量服务器资源等问题。例如：
3、1.使用shell、java等语言编写脚本采集日志文件，通常会使用copy/split等命令对日志文件进行备份和切分处理，然后使用truncate命令对日志进行截断清空操作，最后将备份的日志文件保存到数据库或文件服务器。然而，这种方式存在以下缺点：(1)在日志持续写入的情况下，可能会发生日志丢失的情况。(2)对于查询数据库或文件服务器中的日志，需要编写专门的页面将结果可视化。(3)在日志文件很多、很大的情况下，根据关键字查询日志时需要花费大量时间，而且还需要单独开发程序进行优化。(4)没有实时日志检索和可视化分析功能。
4、2.使用elk工具采集、处理日志时，存在以下缺点：(1)部署流程复杂：elk包含多个产品，需要分别部署和配置，因此部署流程比较复杂，需要一定的技术能力。(2)占用服务器资源：当日志文件很大时，elasticsearch可能会占用大量的服务
技术实现思路
1、鉴于上述问题，本专利技术提供了一种工厂cim、fa系统通用的日志追溯管理平台及其追溯方法，通过采集、存储和压缩备份日志，监控软件系统运行情况，通过日志检索，辅助分析软件系统异常的原因，减少对服务器资源的占用，并提升日志查询、分析的效率。
2、为解决上述技术问题，本专利技术采用的技术方案是：一种工厂cim、fa系统通用的日志追溯管理平台，包括监控警报模块、日志聚合模块、数据可视化模块和日志收集代理，所述日志收集代理连接于多个应用和日志聚合模块之间，用于收集所述多个应用的日志文件并转发至日志聚合模块，所述监控警报模块与多个应用相连以采集应用信息，并通过对应的export组件分别与硬件、数据库和消息中间件相连，用于采集指标数据，所述数据可视化模块与监控警报模块和日志聚合模块相连，用于将所述日志文件、应用信息和指标数据展示出来。
3、作为优选方案，所述监控警报模块为prometheus，所述日志聚合模块为loki，所述数据可视化模块为grafana，所述日志收集代理为promtail。
4、作为优选方案，所述应用包括starter插件和matrlx-api接口，所述监控警报模块接入matrlx-api接口，监控应用运行时的各种指标数据。
5、本专利技术还提供了一种如上任一项所述的工厂cim、fa系统通用的日志追溯管理平台的追溯方法，包括如下步骤：安装并配置监控警报模块、日志聚合模块、数据可视化模块和日志收集代理；利用所述监控警报模块设定定时任务，并采用增量形式读取应用输出的日志文件；根据设定规则解析日志文件，并将解析后的信息通过数据流发送至日志聚合模块；数据流发送成功后，在配置文件中记录日志文件读取的截止位置；配置日志标签，所述日志聚合模块根据日志标签建立索引，并对所述日志文件进行分组压缩存储；根据所述索引检索日志文件，并将其导入数据可视化模块，进行界面展示；根据设定配置文件，定期备份新日志文件和清除旧日志文件。
6、作为优选方案，所述设定规则包括：配置采集日志文件对应的主机ip、label标签、采集日志模块的命名和采集数据的具体路径。
7、作为优选方案，所述安装并配置监控警报模块、日志聚合模块、数据可视化模块和日志收集代理，包括：在服务器上安装部署日志收集代理、日志聚合模块和数据可视化模块；在日志收集代理的配置文件中，通过static_configs配置日志采集路径；通过scrape_configs配置日志解析规则和发送给日志聚合模块的数据格式；通过clients配置连接日志聚合模块实例的方式；通过positions配置单次日志采集时的截断位置。
8、作为优选方案，在服务器上安装部署数据可视化模块，包括：在grafana.ini配置文件中，配置grafana匿名登录；在grafana.ini配置文件中，配置grafana报警；在grafana页面上，添加数据源；在grafana页面上，配置报警邮件模板；在grafana页面上，配置监控模板。
9、与现有技术相比，本专利技术的有益效果包括：通过将采集日志的程序单独部署，不需要嵌套在软件系统中，使日志追溯系统和软件系统解耦。在日志持续采集的过程中，通过promtail存储每一次日志采集的结束位置，实现增量采集功能。
10、loki会根据标签+时间戳对数据去重，promtail可以设定日志采集的起始位置，无论是通过java的日志切分、设置多个采集器还是重新采集日志，都能有效的避免日志丢失。promtail和loki分开安装部署，将日志采集和日志查询分析解耦。将日志数据根据标签索引和分组，在日志查询关键字时不需要全文检索。通过合理的标签选择，使整个日志文件在通过loki存储时压缩了8倍以上。基于grafana的导入功能，使本专利技术的查询界面部署只需每次导入已经开发好的界面文件即可。
本文档来自技高网...【技术保护点】
1.一种工厂CIM、FA系统通用的日志追溯管理平台，其特征在于，包括监控警报模块、日志聚合模块、数据可视化模块和日志收集代理，所述日志收集代理连接于多个应用和日志聚合模块之间，用于收集所述多个应用的日志文件并转发至日志聚合模块，所述监控警报模块与多个应用相连以采集应用信息，并通过对应的Export组件分别与硬件、数据库和消息中间件相连，用于采集指标数据，所述数据可视化模块与监控警报模块和日志聚合模块相连，用于将所述日志文件、应用信息和指标数据展示出来。
2.根据权利要求1所述的工厂CIM、FA系统通用的日志追溯管理平台，其特征在于，所述监控警报模块为Prometheus，所述日志聚合模块为Loki，所述数据可视化模块为Grafana，所述日志收集代理为Promtail。
3.根据权利要求1所述的工厂CIM、FA系统通用的日志追溯管理平台，其特征在于，所述应用包括Starter插件和Matrlx-API接口，所述监控警报模块接入Matrlx-API接口，监控应用运行时的各种指标数据。
4.一种根据权利要求1-3任一项所述的工厂CIM、FA系统通用
5.根据权利要求4所述的工厂CIM、FA系统通用的日志追溯管理平台的追溯方法，其特征在于，所述设定规则包括：配置采集日志文件对应的主机IP、label标签、采集日志模块的命名和采集数据的具体路径。
6.根据权利要求4所述的工厂CIM、FA系统通用的日志追溯管理平台的追溯方法，其特征在于，所述安装并配置监控警报模块、日志聚合模块、数据可视化模块和日志收集代理，包括：
7.根据权利要求6所述的工厂CIM、FA系统通用的日志追溯管理平台的追溯方法，其特征在于，在服务器上安装部署数据可视化模块，包括：
...【技术特征摘要】
1.一种工厂cim、fa系统通用的日志追溯管理平台，其特征在于，包括监控警报模块、日志聚合模块、数据可视化模块和日志收集代理，所述日志收集代理连接于多个应用和日志聚合模块之间，用于收集所述多个应用的日志文件并转发至日志聚合模块，所述监控警报模块与多个应用相连以采集应用信息，并通过对应的export组件分别与硬件、数据库和消息中间件相连，用于采集指标数据，所述数据可视化模块与监控警报模块和日志聚合模块相连，用于将所述日志文件、应用信息和指标数据展示出来。
2.根据权利要求1所述的工厂cim、fa系统通用的日志追溯管理平台，其特征在于，所述监控警报模块为prometheus，所述日志聚合模块为loki，所述数据可视化模块为grafana，所述日志收集代理为promtail。
3.根据权利要求1所述的工厂cim、fa系统通用的日志追溯管理平台，其特征在于，所述应用包...
【专利技术属性】
技术研发人员：辛琳，
申请(专利权)人：江苏道达智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。