一种基于数据源生成FlinkSQL的方法技术

本发明专利技术涉及数据治理技术领域，提供一种基于数据源生成FlinkSQL的方法，本发明专利技术的方法包括：构建数据源字段类型映射表，将数据源字段与Flink字段的映射关系写入构建的数据源字段类型映射表中；采用数据源连接器从构建的数据源字段类型映射表中读取数据源的字段信息，根据数据源字段与Flink字段的映射关系将数据源的字段信息转换成Flink字段信息；根据Flink连接器类型为数据源补充性能参数，并为补充的性能参数设置默认值；根据FlinkSQL语法、数据源连接器类型、Flink字段信息以及补充的性能参数，生成与数据源对应的FlinkSQL代码。本发明专利技术可以降低数据治理人员编写FlinkSQL难度，提高数据源精度性和FlinkSQL脚本准确度，减少数据治理人员调试脚本的时间，提升数据治理效率。提升数据治理效率。提升数据治理效率。

【技术实现步骤摘要】
一种基于数据源生成FlinkSQL的方法


[0001]本专利技术涉及数据治理
，尤其涉及一种基于数据源生成FlinkSQL的方法。

技术介绍

[0002]Apache Flink作为实时计算最流行的计算框架，目前已经吸引越来越多的治理人员的重视，得到了越来越多的应用。在实际的FlinkSQL脚本开发过程中，治理人员通常是通过参考Flink官网，根据Flink官网提供的FlinkSQL语法结合提供的连接器属性，完成脚本的开发。但是Flink官网目前只给出了Mysql、PostgreSQL的字段类型与Flink类型对照关系对，暂无其他数据源的类型转换对照提供，对于数据源类型的支撑有限，造成数据治理存在以下不足：1.在面对新的数据源时，数据治理人员需要摸索该数据数据源类型与Flink类型的转换关系，消耗大量的工作资源，试错成本极高；2.当采用Flink官网提供的数据源进行数据定义时，由于数据源的差异较大，精度得不到保障，导致运算结果出现不可控的偏差；3.由于未对数据源进行针对性的调优，在大数据流量场景中，容易出现数据阻塞。<br/>[0003]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据源生成FlinkSQL的方法，其特征在于，所述方法包括：步骤S1：构建数据源字段类型映射表，将数据源字段与Flink字段的映射关系写入构建的数据源字段类型映射表中；步骤S2：采用数据源连接器从构建的数据源字段类型映射表中读取数据源的字段信息，根据数据源字段与Flink字段的映射关系将数据源的字段信息转换成Flink字段信息；步骤S3：根据Flink连接器类型为数据源补充性能参数，并为补充的性能参数设置默认值；步骤S4：根据FlinkSQL语法、数据源连接器类型、Flink字段信息以及补充的性能参数，生成与数据源对应的FlinkSQL代码。2.根据权利要求1所述的基于数据源生成FlinkSQL的方法，其特征在于，步骤S1中，构建数据源字段类型映射表包括：将字段名称作为数据源资源类型映射表的第一列，将与字段名称对应的字段类型作为数据源字段类型映射表的第二列，将与字段名称对应的说明作为数据源字段类型映射表的第三列。3.根据权利要求2所述的基于数据源生成FlinkSQL的方法，其特征在于，步骤S1中数据源字段类型映射表中字段名称包括主键ID、数据源类型DATABASE_TYPE、数据源字段类型DATA_TYPE、数据源字段长度DATA_PRECISION、数据源字段精度DATA_SCALE、Flink字段类型FLINK_DATA_TYPE、Flink字段长度FLINK_DATA_PRECISION、Flink字段精度FLINK_DATA_SCALE。4.根据权利要求1所述的基于数据源生成FlinkSQL的方法，其特征在于，步骤S2中，采用数据源连接器从构建的数据源字段类型映射表中读取数据源的字段信息，包括：根据来源数据库为数据源生成数据源连接器，当数据源的来源数据库为Mysql或Oracle，生成...

【专利技术属性】
技术研发人员：王飞，赵晨曦，李双，陈攀飞，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：