作业监控数据的处理方法及装置、存储介质、电子设备制造方法及图纸

本申请公开了一种作业监控数据的处理方法及装置、存储介质、电子设备。该方法包括：根据目标作业的作业标识，确定目标作业的作业监控数据对应的队列分区标识，其中，目标作业为需要获取监控数据的作业，作业监控数据通过对应的队列分区存储在唯一对应的数据分析库中；根据队列分区标识，确定对应的数据分析库的地址；根据地址，向数据分析库发送数据查询请求，从数据分析库中拉取目标作业的作业监控数据。解决了相关技术中大数据处理引擎在作业数量增多的情况下，导致监控数据增多，监控数据获取端直接从处理引擎拉取监控数据的方式，对监控数据获取端的压力较大，造成故障率高的问题。题。题。

【技术实现步骤摘要】
作业监控数据的处理方法及装置、存储介质、电子设备


[0001]本申请涉及大数据处理领域，具体而言，涉及一种作业监控数据的处理方法及装置、存储介质、电子设备。

技术介绍

[0002]在大数据处理中，Flink作为一个流批数据处理框架软件得到广泛的应用，众多的业务开始采用Flink作为数据处理引擎。然而伴随着Flink数据处理引擎的作业或任务的增多，也为Flink数据处理引擎作业的监控带来了挑战。
[0003]Flink作业由于大部分都是流式数据处理，作业长期运行。作为流处理框架软件，其自身包含了一套较为完善的监控机制，并且以通过Flink WebMonitor监控数据获取端提供接口供外部系统获取监控数据。因此很多现有的监控系统，监控数据获取端会直接从Flink作业获取监控数据，或者进一步处理分析，或者直接进行存储展示等，如图1所示，图1是现有技术的作业监控数据的拉取方法的流程图。但是在Flink运行作业数量增加后，监控数据获取端拉取的作业监控数据的量会非常大，对监控数据获取端造成较大压力，如果处理不及时，容易造成监控数据丢失。另外作业一旦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业监控数据的处理方法，其特征在于，包括：根据目标作业的作业标识，确定所述目标作业的作业监控数据对应的队列分区标识，其中，所述目标作业为需要获取监控数据的作业，所述作业监控数据通过对应的队列分区存储在唯一对应的数据分析库中；根据所述队列分区标识，确定对应的数据分析库的地址；根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据。2.根据权利要求1所述的方法，其特征在于，根据所述队列分区标识，确定对应的数据分析库的地址包括：根据所述队列分区标识确定对应的队列中转接口标识，其中，所述队列中转接口与所述队列分区一一对应，所述队列中转接口用于从所述队列分区中拉取对应的作业监控数据，并推送给对应的所述数据分析库；将所述队列中转接口标识对应的队列中转接口的地址，作为对应的数据分析库的地址，其中，所述队列中转接口和对应的所述数据分析库部署在同一网络节点设备，共用所述网络节点设备的地址。3.根据权利要求2述的方法，其特征在于，根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据之前，所述方法还包括：通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据；将拉取的作业监控数据按照顺序存储在所述数据分析库中。4.根据权利要求3所述的方法，其特征在于，通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据之前，所述方法还包括：通过所述队列中转接口消费对应的队列分区中存储的对应作业的作业监控数据，其中，多个不同队列分区分别对应的多个队列中转接口通过同一个消费组从对应的队列分区中消费数据；将消费的作业监控数据缓存在所述队列中转接口的缓存中。5.根据权利要求4所述的方法，其特征在于，通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据之前，所述方法还包括：在所述数据分析库在第一预设时间内未从所述队列中转接口拉取数据的情况下，暂停所述队列中转接口从对应的队列分区中消费作业监控数据；在所述数据分析库恢复从所述队列中转接口拉取数据的情况下，重启所述队列中转接口从对应的队列分区中消费作业监控数据。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过所述数据分析库将所述作业监控数据中的告警数据推送给警报管理器，其中，所述告警数据为所述作业监控数据中需要进行告警检测的部分数据，所述警报管理器，所述队列中转接口和对应的所述数据分...

【专利技术属性】
技术研发人员：郭恒，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：