基于flink数据引擎的数据处理方法、装置制造方法及图纸

本申请实涉及一种基于flink数据引擎的数据处理方法、装置、电子装置和存储介质，通过接收数据监测的指令信息，指令信息携带有请求数据监测的flink作业的第一作业信息；根据指令信息，获取与所有flink作业关联的第一应用信息；根据第一应用信息，调取预设部署模式下的多个候选flink作业；根据第一作业信息在多个候选flink作业中检测目标flink作业，并根据目标flink作业的状态信息生成目标flink作业的数据吞吐信息，解决了无法实时查看基于flink数据引擎的flink作业的数据吞吐信息的问题，提升了基于flink数据引擎的flink作业的数据吞吐信息的透明化程度。吞吐信息的透明化程度。吞吐信息的透明化程度。

【技术实现步骤摘要】
基于flink数据引擎的数据处理方法、装置


[0001]本申请涉及数据审计
，特别是涉及一种基于flink数据引擎的数据处理方法、装置、以及电子装置和存储介质。

技术介绍

[0002]目前在测试产品的性能时，想要获取性能数据以及一些job(作业)运行的状态、反压等情况，都需要人工访问flink(分布式流数据引擎)的web界面进行查看，由于job是运行在yarn(yet another resource negotiator，另一种资源协调器)上的，我们需要先访问yarn的web(World Wide Web，万维网)界面，拿到application(yarn上运行的job的应用)ID(身份标识信息)对应运行的job，然后再进入flink的web界面，然后查看对应的metric(数据吞吐指标)。但是web界面也有不完善的地方，比如在想要获取flink的实时吞吐信息的情况下，web界面上只有flink总的吞吐信息，而每个job的DAG(有向无环图)图中都有多个operator(算子)运行着，每个operator都运行着不同的规则，每个oper本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于flink数据引擎的数据处理方法，其特征在于包括：接收数据监测的指令信息，其中，所述指令信息携带有请求数据监测的flink作业的第一作业信息；根据所述指令信息，获取与所述flink数据引擎中所有flink作业关联的第一应用信息，其中，所述第一应用信息至少包括所述flink作业对应的作业信息、状态信息；根据所述第一应用信息，调取预设部署模式下的多个候选flink作业；根据所述第一作业信息在所述多个候选flink作业中检测目标flink作业，并根据所述目标flink作业的所述状态信息生成所述目标flink作业的数据吞吐信息。2.根据权利要求1所述的基于flink数据引擎的数据处理方法，其特征在于，所述状态信息包括flink作业的第一顶点信息，根据所述目标flink作业的所述状态信息生成所述目标flink作业的数据吞吐信息包括：从所述目标flink作业的所述状态信息中提取所述第一顶点信息，并确定第一顶点信息中顶点的数目，其中，所述第一顶点信息包括以下其中之一：运行顶点信息、预设计划运行顶点信息；获取所述第一顶点信息中所述顶点的数据吞吐指标，并根据所述数据吞吐指标和所述顶点的数据，生成每个所述目标flink作业的数据吞吐信息，其中，所述数据吞吐指标包括：数据吞吐量最小值、数据吞吐量最大值、数据吞吐量平均值和数据吞吐量总和。3.根据权利要求2所述的基于flink数据引擎的数据处理方法，其特征在于，根据所述数据吞吐指标和所述顶点的数据，生成每个所述目标flink作业的数据吞吐信息包括：按预设数据吞吐指标确定每个所述顶点对应的目标数据吞吐指标，其中，所述预设数据吞吐指标包括预设算子的数据吞吐指标；获取每个所述目标flink作业的运行时间；根据每个所述顶点对应的目标数据吞吐指标、所述顶点的数目以及每个所述目标flink作业的运行时间，生成每个所述目标flink作业的数据吞吐信息。4.根据权利要求1所述的基于flink数据引擎的数据处理方法，其特征在于，在根据所述目标flink作业的所述状态信息生成所述目标flink作业的数据吞吐信息之后，所述方法还包括：将所述目标flink作业的数据吞吐信息存储至预设文件中，或者将所述flink作业的数据吞吐信息发送至elasticsearch并在kibana上展示。5.根据权利要求1所述的基于flink数据引擎的数据处理方法，其特征在于，所述状态信息至少包括运行状态，根据所述第一...

【专利技术属性】
技术研发人员：魏燕子，范渊，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：