一种基于Flink实现实时监控告警的方法技术

本发明专利技术提供一种基于Flink实现实时监控告警的方法，涉及监控告警技术领域。该基于Flink实现实时监控告警的方法，该方法基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，包括指标统计作业任务和监控作业任务；指标统计作业任务，对业务数据进行实时统计计算；监控作业任务，对统计后的指标数据，识别是否命中了告警规则。本发明专利技术中，能够通过基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，包括指标统计作业任务和监控作业任务，通过指标统计作业任务对业务数据进行实时统计计算，通过监控作业任务对统计后的指标数据，识别是否命中了告警规则，并且告警规则维护在数据库中可以根据需要进行灵活调整，进而实现实时监测告警。实现实时监测告警。实现实时监测告警。

【技术实现步骤摘要】
一种基于Flink实现实时监控告警的方法


[0001]本专利技术涉及监控告警
，具体为一种基于Flink实现实时监控告警的方法。

技术介绍

[0002]在支付业务中，支付请求并发量大，越来越高的支付业务并发量，复杂的业务处理逻辑，需要对每一笔支付单做完整链路的实时监控，并及时发现超时处理的业务支付单；应用系统对接的渠道、商户等各种第三方网络接口比较多，容易发生由于网络、渠道或商户系统维护、甚至突发的不可预期的异常，导致业务处理出现超时的情况，需要及时监控到并发出告警。
[0003]传统的解决方法是采用不停地轮询扫描业务系统的关系数据库，通过SQL查询状态为“处理中”的业务支付单，并计算对应的超时时间，将超时时间超过一定阈值的业务支付单信息发送给告警平台。传统的关系数据库SQL查询方式，对数据库本身的要求较高，也难以应对分库分表以及不同业务分类的处理，应对大规模的并发处理性能和效率较为低下。
[0004]在业务系统使用过程中需要对一些业务数据进行指标统计，并对异常指标数据进行实时监控，这需要做到数据的实时处理和灵活的监控规则调整。
[0005]基于此，本领域技术人员提供了一种基于Flink实现实时监控告警的方法，以解决上述
技术介绍
中提出的问题。

技术实现思路

[0006](一)解决的技术问题
[0007]针对现有技术的不足，本专利技术提供了一种基于Flink实现实时监控告警的方法，能够通过基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，包括指标统计作业任务和监控作业任务，通过指标统计作业任务对业务数据进行实时统计计算，通过监控作业任务对统计后的指标数据，识别是否命中了告警规则，并且告警规则维护在数据库中可以根据需要进行灵活调整，进而实现实时监测告警，解决了在业务系统使用过程中需要对一些业务数据进行指标统计，并对异常指标数据进行实时监控，这需要做到数据的实时处理和灵活的监控规则调整的问题。
[0008](二)技术方案
[0009]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0010]一种基于Flink实现实时监控告警的方法，该方法基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，包括指标统计作业任务和监控作业任务；
[0011]指标统计作业任务，对业务数据进行实时统计计算；
[0012]监控作业任务，对统计后的指标数据，识别是否命中了告警规则；
[0013]其中，告警规则维护在数据库中可以根据需要进行灵活调整。
[0014]优选的，所述指标统计作业任务包括以下过程：
[0015]S1.业务系统将业务数据按规定的JSON格式发送到kafka消息队列中；
[0016]S2.指标统计作业任务消费业务系统发送到kafka中的数据，并对数据进行清洗、计算形成统计指标数据；
[0017]S3.最后将统计计算后的业务指标发送到kafka的告警topic，由监控作业任务进行异常指标监控。
[0018]优选的，所述监控作业任务包括以下过程：
[0019]1).监控作业任务消费处理完的指标数据并读取数据库中配置的告警规则；
[0020]2).通过指标代码(opsCode)和告警规则代码(ruleCode)进行关联，找到该业务指标所有需要监控的规则；
[0021]3).关联后的数据根据规则表达式，通过表达式引擎(如：Aviator)判断该指标数据是否命中了监控规则；
[0022]4).命中的指标数据落入数据库方便后续进行追踪，并发送告警信息给相关人员进行处理。
[0023]优选的，所述步骤S1中的业务数据的数据格式如附图1中所示；
[0024]其中，system:业务系统标识；
[0025]opsCode：业务类型代码；
[0026]Key：业务主键；
[0027]Eventtime：业务发生时间；
[0028]data：存放业务数据；
[0029]Hostname：业务系统所在系统hostname。
[0030]优选的，所述步骤S2中的处理流程如下：
[0031]A)Flink的kafka connector组件消费业务系统送来的业务数据；
[0032]B)Fliter组件对无效数据进行过滤，map function提取需要统计的业务数据字段；
[0033]C)统计计算：清洗后的数据利用window窗口组件进行统计计算，形成业务指标。
[0034]优选的，所述步骤C)中处理后的指标数据格式如附图4中所示；
[0035]其中，opsCode：指标代码；
[0036]System：系统代码；
[0037]Key：主键(如用户id)；
[0038]data：存放指标数据；
[0039]Starttime：开始时间；
[0040]Endtime：结束时间。
[0041]优选的，所述步骤4)中发送的告警信息包括短信、微信、邮件等。
[0042](三)有益效果
[0043]本专利技术提供了一种基于Flink实现实时监控告警的方法。具备以下有益效果：
[0044]1、本专利技术提供了一种基于Flink实现实时监控告警的方法，该方法通过基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，包括指标统计作业任务和监控作业任务，通过指标统计作业任务对业务数据进行实时统计计算，通过监控作业任务对统计后的指标数据，识别是否命中了告警规则，并且告警规则维护在数据库中可以根据需要进行灵
活调整，进而实现实时监测告警。
附图说明
[0045]图1为本专利技术的业务数据格式示意图；
[0046]图2为本专利技术的对数据进行清洗、计算形成统计指标数据的处理流程示意图；
[0047]图3为本专利技术的统计用户一小时内交易金额的指标统计表图；
[0048]图4为本专利技术的处理后的指标数据格式示意图；
[0049]图5为本专利技术的监控作业任务流程示意图；
[0050]图6为本专利技术的单个用户一小时内交易成功的金额统计表图。
具体实施方式
[0051]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0052]实施例：
[0053]如图1
‑
6所示，本专利技术实施例提供一种基于Flink实现实时监控告警的方法，该方法基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，包括指标统计作业任务和监控作业任务；
[0054]指标统计作业任务，对业务数据进行实时统计计算；
[0055]监控作业任务，对统计后的指标数据，识别是否命本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink实现实时监控告警的方法，该方法基于Flink分布式流式数据处理引擎，设计了2个实时作业任务，其特征在于：包括指标统计作业任务和监控作业任务；指标统计作业任务，对业务数据进行实时统计计算；监控作业任务，对统计后的指标数据，识别是否命中了告警规则；其中，告警规则维护在数据库中可以根据需要进行灵活调整。2.根据权利要求1所述的一种基于Flink实现实时监控告警的方法，其特征在于：所述指标统计作业任务包括以下过程：S1.业务系统将业务数据按规定的JSON格式发送到kafka消息队列中；S2.指标统计作业任务消费业务系统发送到kafka中的数据，并对数据进行清洗、计算形成统计指标数据；S3.最后将统计计算后的业务指标发送到kafka的告警topic，由监控作业任务进行异常指标监控。3.根据权利要求1所述的一种基于Flink实现实时监控告警的方法，其特征在于：所述监控作业任务包括以下过程：1).监控作业任务消费处理完的指标数据并读取数据库中配置的告警规则；2).通过指标代码(opsCode)和告警规则代码(ruleCode)进行关联，找到该业务指标所有需要监控的规则；3).关联后的数据根据规则表达式，通过表达式引擎(如：Aviator)判断该指标数据是否命中了监控规则；4).命中的指标数据落入数据库方便后续进行追踪，并发送告...

【专利技术属性】
技术研发人员：唐翔，
申请(专利权)人：上海通联金融服务有限公司，
类型：发明
国别省市：