基于流应用的日志数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种基于流应用的日志数据处理方法、装置、设备及介质，该方法包括：获取初始日志数据与初始日志数据的主题；根据初始日志数据的主题将初始日志数据发送至消息中间件的目标消息队列；利用流应用加载目标消息队列，读取目标消息队列内初始日志数据，确定目标日志数据，并基于预设规则数据库确定目标规则，初始日志数据的主题、流应用类型以及目标规则一一对应，预设规则数据库存储有多个目标规则；基于流应用将目标日志数据按目标规则进行处理，将处理后的日志数据存储于预设存储数据库。本发明专利技术在保障了日志数据处理的实时性的同时，还实现了日志数据处理的高可用性和通用性。性。性。

【技术实现步骤摘要】
基于流应用的日志数据处理方法、装置、设备及介质


[0001]本专利技术涉及数据处理
，具体涉及一种基于流应用的日志数据处理方法、装置、设备及介质。

技术介绍

[0002]日志系统的存在具有普遍性和必要性，其可以记录终端所产生的日志，并根据这些日志数据来观察终端运行情况，以快速准确的排查问题。目前，日志系统的发展越来越快，日志系统能够支持的功能也越来越多，例如，日志采集、日志查询、审计日志以及日志分析等，这些功能的实现依赖于对日志数据的处理。在传统的日志系统中，一个日志系统只服务于一个终端，产生的日志数据少，对日志数据的处理也相对简单，但随着业务场景变得更加多样化，一个日志系统可能涉及到多个终端，各终端的日志数据没有集中管理，不便于为用户提供与各终端日志相关的服务。
[0003]在相关技术中，通常采用各终端先将运行所产生的日志数据存储于本地，直至数据量达到一定程度后或等待一定时间后再将日志数据发送至日志系统，由日志系统统一对各终端的日志数据进行处理。一方面，不能及时对日志数据进行处理，存在日志数据处理实时性差的问题；另一方面，多终端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流应用的日志数据处理方法，其特征在于，包括：获取初始日志数据与所述初始日志数据的主题；根据所述初始日志数据的主题将所述初始日志数据发送至消息中间件的目标消息队列；利用流应用加载所述目标消息队列，读取所述目标消息队列内所述初始日志数据，确定目标日志数据，并基于预设规则数据库确定目标规则，所述初始日志数据的主题、所述流应用类型以及所述目标规则一一对应，所述预设规则数据库存储有多个目标规则；基于所述流应用将所述目标日志数据按所述目标规则进行处理，将处理后的所述目标日志数据存储于预设存储数据库。2.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理之前，还包括：利用所述流应用监听所述预设规则数据库；若监听到所述预设规则数据库中的所述目标规则改变，则利用规则引擎解析改变后的所述目标规则，确定目标更新规则；待所述目标更新规则完成后，对所述流应用存储的所述目标规则进行更新，直至更新为所述目标更新规则为止。3.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理，包括：若所述流应用为报警流应用，则基于所述目标规则实时检测所述目标日志数据是否触发报警，所述流应用至少包括报警流应用和跟踪流应用；若所述目标数据触发报警，则进行报警。4.如权利要求3所述的基于流应用的日志数据处理方法，其特征在于，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理，包括：若所述流应用为跟踪流应用，则基于所述目标规则将相同业务场景的所述目标日志数据进行聚合；将聚合后的所述目标日志数据按时间顺序进行排序，并存储于所述预设存储数据库。5.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，所述根据所述初始日志数据的主题将所述初始日志数据发送至消息中间件的目标消息队列，包括：通过预设间隔时间对所述初始日志数据进行定时落盘，并将同一所述主题的所述初始日志数据发送至同一所述目标消息队列中；若将所述初始日志数据发送至所述目标消息队列失败，则重新发送所述初始日志数据至所述目标消息队列。6.如权利要求1至5任一所述的基于流应用的日志...

【专利技术属性】
技术研发人员：侯树栋，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：