基于Flink平台的数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供一种基于Flink平台的数据处理方法、装置、电子设备和存储介质，方法包括：根据Flink平台的数据结构预设多层数据层，所述多层数据层包括基于不同数据类型的接口；通过所述多层数据层的不同数据类型的接口调用相应的数据处理算子；根据所述数据处理算子生成数据处理任务；将所述数据处理任务发送到所述Flink平台进行运算。实施本实施例，可以基于Flink平台实现多层级可灵活配置，易于构建数据处理任务。数据处理任务。数据处理任务。

【技术实现步骤摘要】
基于Flink平台的数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及大数据
，具体而言，涉及基于Flink平台的数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]Flink大数据平台可使用数据处理算子进行数据处理，但是，目前的大数据处理引擎对Flink包装之后，仅保留单一的扩展模式，无法充分发挥Flink的全部优势。

技术实现思路

[0003]本申请实施例的目的在于提供基于一种Flink平台的数据处理方法、装置、电子设备和存储介质，能够在不同层面进行扩展，开发不同层次的算子，提高Flink平台的数据处理能力。
[0004]第一方面，本申请实施例提供了一种基于Flink平台的数据处理方法，包括：
[0005]根据Flink平台的数据结构预设多层数据层，所述多层数据层包括基于不同数据类型的接口；
[0006]通过所述多层数据层的不同数据类型的接口调用相应的数据处理算子；
[0007]根据所述数据处理算子生成数据处理任务；
[0008]将所述数据处理任务发送到所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink平台的数据处理方法，其特征在于，包括：根据Flink平台的数据结构预设多层数据层，所述多层数据层包括基于不同数据类型的接口；通过所述多层数据层的不同数据类型的接口调用相应的数据处理算子；根据所述数据处理算子生成数据处理任务；将所述数据处理任务发送到所述Flink平台进行运算。2.根据权利要求1所述的基于Flink平台的数据处理方法，其特征在于，所述多层数据层包括：原始数据层、TableAPI层、FlinkSQL层和数据集层；其中，所述原始数据层的接口的数据类型为基础数据结构；所述TableAPI层的接口的数据类型为基于二维表的数据结构；所述FlinkSQL层的接口的数据类型为基于数据库表的数据结构，所述FlinkSQL层配置有基于查询结构化查询语言变量的执行函数；所述数据集层的接口的数据类型为基于Flink数据集的数据结构。3.根据权利要求2所述的基于Flink平台的数据处理方法，其特征在于，所述根据所述数据处理算子生成数据处理任务的步骤，包括：确定调用的数据处理算子之间的连接顺序，根据所述连接顺序以所述数据处理算子为节点生成数据处理任务，以使所述Flink平台根据所述数据处理任务中所述数据处理算子的连接顺序进行运算。4.根据权利要求3所述的基于Flink平台的数据处理方法，其特征在于，在所述根据所述连接顺序以所述数据处理算子为节点生成数据处理任务的步骤之后，还包括：根据所述原始数据层对应的数据处理算子和所述TableAPI层对应的数据处理算子的连接方向，在所述原始数据层对应的数据处理算子和所述TableAPI层对应的数据处理算子之间加入第一插件调用模块，以通过所述第一插件调用模块调用所述Flink平台的数据转换插件对所述原始数据层对应的数据处理算子的输出数据或所述TableAPI层对应的数据处理算子的输出数据进行转换；或者，根据所述原始数据层对应的数据处理算子和所述FlinkSQL层对应的数据处理算子的连接方向，在所述原始数据层对应的数据处理算子和所述Fl...

【专利技术属性】
技术研发人员：叶盛，
申请(专利权)人：奇安信网神信息技术北京股份有限公司，
类型：发明
国别省市：