日志的处理方法、装置、电子设备及计算机可读介质制造方法及图纸

本公开涉及一种日志的处理方法、装置、电子设备及计算机可读介质，属于互联网技术领域。该方法包括：使用flink消费和解析原始日志，得到原始日志中的每条日志数据分别对应的日志解析信息；根据每条日志数据分别对应的组件来源需求，通过flink处理算子对日志解析信息进行数据清洗，并根据动态数据过滤配置进行数据过滤，得到每条日志数据分别对应的目标信息数据；通过flink写入算子将目标信息数据转发至kafka集群中的多个不同的kafka主题中，得到分流日志数据；通过多个flink下游作业分别消费各个kafka主题中的分流日志数据并写入对应的日志索引字典中。本公开通过实现上下游数据的解耦，可以提升日志处理的效率和灵活性。

【技术实现步骤摘要】

本公开涉及互联网，具体而言，涉及一种日志的处理方法、日志的处理装置、电子设备及计算机可读介质。

技术介绍

1、日志数据是记录系统运行是否符合预期目标的重要体现。是帮助发现系统故障和执行结果校验的重要手段之一。目前常见的日志体系是基于elasticsearch(分布式搜索和分析引擎)+logstash(数据处理管道)+kibana(为elasticsearch设计的开源分析和可视化平台)系统搭建的亿级海量日志数据收集、存储、展示平台。具有低时延(从服务日志生产端到elasticsearch存储约为10-30秒)、大数据量(每日20tb数据，高峰期40tb)等特性。

2、在如此大的海量数据场景下，由于日志数量过大、依赖组件过多、性能及成本要求较高等原因，现有的logstash并不能很好地满足业务使用方在性能及业务扩展方面的需求。

3、鉴于此，本领域亟需一种更灵活、性能更强的日志处理方法。

4、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。本文档来自技高网...

【技术保护点】

1.一种日志的处理方法，其特征在于，包括：

2.根据权利要求1所述的日志的处理方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的日志的处理方法，其特征在于，所述动态配置服务用于维护flink的数据过滤规则数据库。

4.根据权利要求2所述的日志的处理方法，其特征在于，所述动态配置服务提供前端网络页面以支持数据过滤规则的自定义配置。

5.根据权利要求1所述的日志的处理方法，其特征在于，所述根据动态数据过滤配置进行数据过滤，包括：

6.根据权利要求1所述的日志的处理方法，其特征在于，所述通过flink写入算子将所述每条日志数...

【技术特征摘要】

1.一种日志的处理方法，其特征在于，包括：

2.根据权利要求1所述的日志的处理方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的日志的处理方法，其特征在于，所述动态配置服务用于维护flink的数据过滤规则数据库。

4.根据权利要求2所述的日志的处理方法，其特征在于，所述动态配置服务提供前端网络页面以支持数据过滤规则的自定义配置。

5.根据权利要求1所述的日志的处理方法，其特征在于，所述根据动态数据过滤配置进行数据过滤，包括：

6.根据权利要求1所述的日志的处理方...

【专利技术属性】
技术研发人员：姚灼琛，
申请(专利权)人：广州博冠信息科技有限公司，
类型：发明
国别省市：