异常日志采集方法、装置、设备、介质和产品制造方法及图纸

本公开提供了一种异常日志采集方法，可以应用于系统监控领域。该异常日志采集方法包括：生成配置文件，所述生成配置文件包括对消息的生产者进行配置，所述消息的生产者包括日志采集器与日志输出器；根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件；拉取所述消息中间件中的异常日志以供消息的消费者监听是否触发预设条件，其中，所述预设条件包括同一异常事件对应输出的异常日志个数达到预设阈值；当触发预设条件时过滤所述异常日志以减少同一异常事件对应输出的异常日志个数，并将过滤后的异常日志写入存储介质。本公开还提供了一种异常日志采集装置、设备、存储介质和程序产品。存储介质和程序产品。存储介质和程序产品。

【技术实现步骤摘要】
异常日志采集方法、装置、设备、介质和产品


[0001]本公开涉及数据的传输及处理领域，具体涉及系统监控领域，更具体地涉及一种异常日志采集方法、装置、设备、介质和程序产品。

技术介绍

[0002]系统运行时异常日志监控是十分必要的，并且在出现异常事件时需及时告知相应的运维或开发人员。时下流行开源的ELK+ZABBIX框架，可以做异常日志收集分析，可视化及异常告警，但是框架涉及多个组件服务的部署，对于中小型单体或分布式系统来说是一种额外的部署及维护成本。
[0003]因此，如何在中小型系统中进行异常日志采集是本领域技术人员亟待解决的问题。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种异常日志采集方法、装置、设备、介质和程序产品。
[0005]根据本公开的第一个方面，提供了一种异常日志采集方法，包括：生成配置文件，所述生成配置文件包括对消息的生产者进行配置，所述消息的生产者包括日志采集器与日志输出器；根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件；拉取所述消息中间件中的异常日志以供消息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常日志采集方法，其特征在于，包括：生成配置文件，所述生成配置文件包括对消息的生产者进行配置，所述消息的生产者包括日志采集器与日志输出器；根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件；拉取所述消息中间件中的异常日志以供消息的消费者监听是否触发预设条件，其中，所述预设条件包括同一异常事件对应输出的异常日志个数达到预设阈值；当触发预设条件时过滤所述异常日志以减少同一异常事件对应输出的异常日志个数，并将过滤后的异常日志写入存储介质。2.根据权利要求1所述的方法，其特征在于，所述对消息的生产者进行配置，包括：配置所述日志采集器以明确异常日志输出的相关信息；配置所述日志输出器以明确异常日志输出的目的地。3.根据权利要求2所述的方法，其特征在于，所述根据配置文件采集并输出系统的运行日志，筛选出异常日志并写入消息中间件，包括：根据所述日志采集器采集所述运行日志，基于输出等级筛选运行日志中的异常日志；以及通过所述日志输出器输出至对应的所述消息中间件。4.根据权利要求1所述的方法，其特征在于，所述拉取所述消息中间件中的异常日志以供消息的消费者监听是否触发预设条件，包括：提取每个异常日志中的分类标识，根据所述分类标识对所述异常日志进行分类处理以确定同一异常事件；判断在规定时间内的同一异常事件出现的次数是否达到预设阈值；若是，则对于同一异常事件仅保留预设个数的所述异常日志；其中，所述预设个数小于所述预设阈值。5.根据权利要求4所述的方法，其特征在于，所述根据所述分类标识对所述异常日志进行分类处理以确定同一异常事件，包括：将同一所述分类标识格式转换为唯一Key值；将...

【专利技术属性】
技术研发人员：张良，邓张帆，贾璐然，李镭，戴雯，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：