一种基于可视化动态构建FlinkSQL的方法和系统技术方案

公开了基于可视化动态构建Flink SQL的方法和系统，包括将算子划分为源端算子、处理算子和目标算子，从数据源栏拖取源端算子到画板并配置算子信息；基于处理业务，在算子栏选择多个处理算子到画板中，并对算子的处理顺序进行编排；目标端栏中拖取相应的目标端算子到画板并配置算子信息。本申请的方法和系统只需在平台中拖取相应算子即可自动同时生成多个不同的复杂度SQL语句，SQL的正确性和便捷性都得到了提升，加快了数据治理实施人员在数据接入处理的速度。处理的速度。处理的速度。

【技术实现步骤摘要】
一种基于可视化动态构建Flink SQL的方法和系统


[0001]本专利技术涉及计算机软件的
，尤其是一种基于可视化动态构建Flink SQL的方法和系统。

技术介绍

[0002]在大数据迅速发展的时代，大数据的价值和地位越专利技术显。当前大数据技术正处于蓬勃发展的上升时期，Flink作为当前主流的分布式流式处理引擎，集合了众多具有竞争力特性于一身，在同类数据处理引擎中脱颖而出。Flink具有高吞吐、低延迟、高性能、高可用、高度灵活的窗口操作等特性。Flink SQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。SQL语言简单易学，是使用Flink解决流式计算问题的前提条件。
[0003]FLink SQL虽然降低了学习和使用门槛，但是在实际的数据治理过程中构建的SQL往往都十分复杂，一般都会使用到各种自定义函数、连接、条件过滤和分组等操作。人为手动构建复杂的SQL语句不仅费时，还无法保证SQL语法正确性和数据治理质量，这严重影响了项目的实施质量和验收进度。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可视化动态构建Flink SQL的方法，其特征在于，包括：S1：将算子划分为源端算子、处理算子和目标算子，从数据源栏拖取所述源端算子到画板并配置算子信息；S2：基于处理业务，在算子栏选择多个所述处理算子到所述画板中，并对所述算子的处理顺序进行编排；S3：目标端栏中拖取相应的所述目标端算子到所述画板并配置算子信息。2.根据权利要求1所述的基于可视化动态构建Flink SQL的方法，其特征在于，一个所述画布的页面中可拖拉多个所述源端、处理算子和目标端进行动态编排。3.根据权利要求1所述的基于可视化动态构建Flink SQL的方法，其特征在于，所述源端算子为Flink Source端，根据其配置信息用于读取源数据库中的指定数据。4.根据权利要求1所述的基于可视化动态构建Flink SQL的方法，其特征在于，所述目标端算子为Flink Sink端，根据其配置信息向目标数据库写入加工处理后的数据。5.根据权利要求1所述的基于可视化动态构建Flink SQL的方法，其特征在于，所述处理算子按业务划分包括格转、校验、过滤和清洗算子。6.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算...

【专利技术属性】
技术研发人员：王龙，陈帅，吴文，林文楷，吴玉国，梁松海，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：