基于Flink的告警方法、装置、设备、系统及介质制造方法及图纸

本申请提供一种基于Flink的告警方法、装置、设备、系统及介质。在本方法中，服务器通过获取实时交易数据并进行聚合和推送至Kafka中，利用流处理框架Flink从Kafka中获取数据后注册实体并将实体的字段数据存入自定义表中。从Redis中分别获取并运行Flink结构化查询语言(Flink StructuredQuery Language，简称：Flink SQL)脚本和QLExpress脚本，对自定义表中的字段数据进行初筛和切割，对切割后的数据进行精细化筛选、生成和推送告警信息。本方案在想要更新阈值条件时，只需要更新Flink SQL脚本和QLExpress脚本，有效提高了维护效率。有效提高了维护效率。有效提高了维护效率。

【技术实现步骤摘要】
基于Flink的告警方法、装置、设备、系统及介质


[0001]本申请涉及数据安全领域，尤其涉及一种基于Flink的告警方法、装置、设备、系统及介质。

技术介绍

[0002]随着科技的迅速发展，各种平台上的数据与日俱增，对于数据处理的高效性、告警的实时性、告警配置的灵活性、及时生效性、接收告警信息应用系统的多样性是各企业单位或者平台对自身告警系统的强烈指标要求。
[0003]现有技术中，将原始数据进行格式化后推送至消息系统Kafka中，再利用Flink将Kafka中的数据取出依据预设的阈值条件进行筛选处理，预设的阈值条件包括对数据进行初筛和用户定制的精细化筛选的阈值条件，再将筛选处理后的数据写入远程字典服务(Remote Dictionary Server，简称：Redis)中，再利用Promethues从Redis中拉取数据，并使用Grafana进行数据图表展示和告警。
[0004]综上所述，现有的告警方法在想要更新阈值条件时，只能停止方法的执行，再修改阈值条件对应的程序代码，导致维护效率较低。

技术实现思路

[0005]本申请提供一种基于Flink的告警方法、装置、设备、系统及介质，用于解决现有的告警方法在想要更新阈值条件时，只能停止方法的执行，再修改阈值条件对应的程序代码，导致维护效率较低的问题。
[0006]第一方面，本申请提供一种基于Flink的告警方法，应用于服务器，所述方法包括：
[0007]将从数据库中获取的实时交易数据进行主服务字段和子服务字段的组合，得到组合数据，并将所述组合数据存储至消息系统Kafka中；
[0008]通过流处理框架Flink，从所述Kafka中读取Json格式数据，将所述Json格式数据注册为一个实体，并将所述实体的字段数据存入自定义表中；
[0009]从远程字典服务Redis中取出预先存入的Flink结构化查询语言Flink SQL脚本，所述Flink SQL脚本是通过管理控制台设置的对数据进行初筛的第一阈值条件对应的处理脚本；
[0010]运行所述Flink SQL脚本对所述自定义表中的字段数据进行初筛和切割，得到初级告警数据；
[0011]从Redis中取出预先存入的规则引擎QLExpress脚本，所述规则引擎QLExpress脚本是通过管理控制台设置的用户定制的对数据精细化筛选的第二阈值条件、告警信息生成方式以及推送方式对应的处理脚本；
[0012]运行所述QLExpress脚本对所述初级告警数据进行精细化筛选、生成和推送告警信息。
[0013]在一种具体实施方式中，所述运行所述Flink SQL脚本对所述自定义表中的字段
数据进行初筛和切割，得到初级告警数据，包括：
[0014]运行所述Flink SQL脚本，从所述自定义表中获取预设的字段对应的字段数据；
[0015]根据预设的第一阈值条件对所述字段数据进行初步筛选处理；
[0016]对初步筛选后的数据按照预设分钟长度颗粒度进行切割，得到所述初级告警数据。
[0017]在一种具体实施方式中，所述运行所述QLExpress脚本对所述初级告警数据进行精细化筛选、生成和推送告警信息，包括：
[0018]运行所述QLExpress脚本，根据预设的第二阈值条件对所述初级告警数据进行精细化筛选；
[0019]根据精细化筛选后的数据和预设的告警信息生成方式，生成所述告警信息；
[0020]调用预设的应用程序接口API，将所述告警信息推送至所述API对应的应用程序。
[0021]在一种具体实施方式中，所述方法还包括：
[0022]接收管理控制台发送的Flink SQL脚本和QLExpress脚本；
[0023]将所述管理控制台发送的Flink SQL脚本和所述管理控制台发送的QLExpress脚本放置在数据库中进行存储；
[0024]将所述Redis中的现有的Flink SQL脚本和现有的QLExpress脚本更新为所述管理控制台发送的Flink SQL脚本和所述管理控制台发送的QLExpress脚本，并对所述管理控制台发送的Flink SQL脚本和所述管理控制台发送的QLExpress脚本设置预设的失效时间。
[0025]在一种具体实施方式中，所述方法还包括：
[0026]实时监测所述Redis中现有的Flink SQL脚本和现有的QLExpress脚本的存储时间；
[0027]若所述存储时间达到预设的失效时间，从数据库中获取Flink SQL脚本和QLExpress脚本；
[0028]将所述Redis中的现有的Flink SQL脚本和现有的QLExpress脚本更新为所述从数据库中获取的Flink SQL脚本和QLExpress脚本，并对所述从数据库中获取的Flink SQL脚本和QLExpress脚本设置所述失效时间。
[0029]第二方面，本申请提供一种基于Flink的告警装置，包括：
[0030]数据采集聚合模块，用于将从数据库中获取的实时交易数据进行主服务字段和子服务字段的组合，得到组合数据，并将所述组合数据存储至消息系统Kafka中；
[0031]数据处理模块，用于通过流处理框架Flink，从所述Kafka中读取Json格式数据，将所述Json格式数据注册为一个实体，并将所述实体的字段属性数据存入自定义表中；
[0032]所述数据处理模块，还用于从远程字典服务Redis中取出预先存入的Flink结构化查询语言Flink SQL脚本，所述Flink SQL脚本是通过管理控制台设置的对数据进行初筛的第一阈值条件对应的处理脚本；
[0033]所述数据处理模块，还用于运行所述Flink SQL脚本对所述自定义表中的字段属性数据进行初筛和切割，得到初级告警数据；
[0034]告警推送模块，用于从Redis中取出预先存入的规则引擎QLExpress脚本，所述规则引擎QLExpress脚本是通过管理控制台设置的用户定制的对数据精细化筛选的第二阈值条件、告警信息生成方式以及推送方式对应的处理脚本；
[0035]所述告警推送模块，还用于运行所述QLExpress脚本对所述初级告警数据进行精细化筛选、生成和推送告警信息。
[0036]在一种具体实施方式中，所述数据处理模块，具体用于：
[0037]运行所述Flink SQL脚本，从所述自定义表中获取预设的字段对应的字段数据；
[0038]根据预设的第一阈值条件对所述字段数据进行初步筛选处理；
[0039]对初步筛选后的数据按照预设分钟长度颗粒度进行切割，得到所述初级告警数据。
[0040]在一种具体实施方式中，所述告警推送模块，具体用于：
[0041]运行所述QLExpress脚本，根据预设的第二阈值条件对所述初级告警数据进行精细化筛选；
[0042]根据精细化筛选后的数据和预设的告警信息生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink的告警方法，其特征在于，应用于服务器，所述方法包括：将从数据库中获取的实时交易数据进行主服务字段和子服务字段的组合，得到组合数据，并将所述组合数据存储至消息系统Kafka中；通过流处理框架Flink，从所述Kafka中读取Json格式数据，将所述Json格式数据注册为一个实体，并将所述实体的字段数据存入自定义表中；从远程字典服务Redis中取出预先存入的Flink结构化查询语言Flink SQL脚本，所述Flink SQL脚本是通过管理控制台设置的对数据进行初筛的第一阈值条件对应的处理脚本；运行所述Flink SQL脚本对所述自定义表中的字段数据进行初筛和切割，得到初级告警数据；从Redis中取出预先存入的规则引擎QLExpress脚本，所述规则引擎QLExpress脚本是通过管理控制台设置的用户定制的对数据精细化筛选的第二阈值条件、告警信息生成方式以及推送方式对应的处理脚本；运行所述QLExpress脚本对所述初级告警数据进行精细化筛选、生成和推送告警信息。2.根据权利要求1所述的方法，其特征在于，所述运行所述Flink SQL脚本对所述自定义表中的字段数据进行初筛和切割，得到初级告警数据，包括：运行所述Flink SQL脚本，从所述自定义表中获取预设的字段对应的字段数据；根据预设的第一阈值条件对所述字段数据进行初步筛选处理；对初步筛选后的数据按照预设分钟长度颗粒度进行切割，得到所述初级告警数据。3.根据权利要求2所述的方法，其特征在于，所述运行所述QLExpress脚本对所述初级告警数据进行精细化筛选、生成和推送告警信息，包括：运行所述QLExpress脚本，根据预设的第二阈值条件对所述初级告警数据进行精细化筛选；根据精细化筛选后的数据和预设的告警信息生成方式，生成所述告警信息；调用预设的应用程序接口API，将所述告警信息推送至所述API对应的应用程序。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：接收管理控制台发送的Flink SQL脚本和QLExpress脚本；将所述管理控制台发送的Flink SQL脚本和所述管理控制台发送的QLExpress脚本放置在数据库中进行存储；将所述Redis中的现有的Flink SQL脚本和现有的QLExpress脚本更新为所述管理控制台发送的Flink SQL脚本和所述管理控制台发送的QLExpress脚本，并对所述管理控制台发送的Flink SQL脚本和所述管理控制台发送的QLExpress脚本设置预设的失效时间。5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：实时监测所述Redis中现有的Flink SQL脚本和现有的QLExpress脚本的存储时间；若所述存储时间达到预设的失效时间，从数据库中获取Flink SQL脚本和QLExpress脚本；将所述Redis中的现有的Flink SQL脚本和现有的QLExpress脚本更新为所述从数据库中获取的Flink SQL脚本和QLExpress脚本，并对所述从数据库中获取的Flink SQL脚本和QLExpress脚本设置所述失效时间。
6.一种基于Flink的告警装置，其特征在于，包括：数据采集聚合模块，用于将从数据库中获取的实时交易数据进行主服务字段和子服务字段的组合，得到组合数据，并将所述组合数据存储至消息系统Kafka中；数据处理模块，用于通过流处理框架Flink，从所述Kafka中读取Json格式数据，将所述Json格式数据注册为一个实体，并将所述实体的字段属性数据存入自定义表中；所述数据处理模块，还...

【专利技术属性】
技术研发人员：陈丽，高中纤，杨大龙，张伟，谢静，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：