数据湖数据加载脚本生成方法和系统技术方案

本发明专利技术实施例提供了一种数据湖数据加载脚本生成方法和系统，该方法包括：数据源平台获取元数据信息；该数据源平台判断是否允许将获取的该元数据信息发送至数据湖平台，并将允许发送的该元数据信息发送至该数据湖平台；该数据湖平台接收该元数据信息，并根据该元数据信息生成数据湖数据加载脚本。通过本发明专利技术的上述实施例，由于数据源平台先判断是否允许将获取的元数据信息发送至数据湖平台，再传输元数据信息，因此，解决了对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，从而达到了提升数据传输的安全性的效果。

【技术实现步骤摘要】
数据湖数据加载脚本生成方法和系统
本专利技术实施例涉及大数据
，具体而言，涉及一种数据湖数据加载脚本生成方法和系统。
技术介绍
数据湖接入源系统多，表数量大，大面积数据接入是一个需要消耗大量人力的事情。其中，源系统是数据的提供方、生成者。目前大多自动化程序都依赖于直连数据源，通过获取数据源的元数据信息，生成对应的建表语句和加载脚本。但在金融等对安全要求严格的行业，直连方式往往不被允许。同时，亦需要数据湖和源系统双方人员不断沟通交流，然后由源系统人员整理出元数据信息后，通过表格文件发送给数据湖。然而，采用不同技术的数据源，元数据信息也不尽相同，需要进行统一的转换；同时不同经验人员、理解差异，提供的元数据信息及完整性也有差异，大量时间浪费在双方沟通、确认标准和口径的环节。针对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据湖数据加载脚本生成方法和系统，以至少解决对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题。根据本专利技术的一个实施例，提供了一种数据湖数据加载脚本生成方法，包括：数据源平台获取元数据信息；所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。在一个示例性实施例中，所述数据源平台获取元数据信息，可以包括：所述数据源平台接收表名清单信息；所述数据源平台根据所述表名清单信息获取对应的所述元数据信息，其中，所述元数据信息至少包括以下之一：所述表名清单的字段名，所述表名清单的字段类型，所述表名清单的存储空间占用量。在一个示例性实施例中，在数据源平台获取元数据信息之后，还可以包括：对所述元数据信息进行展示。在一个示例性实施例中，所述数据源平台将允许发送的所述元数据信息发送至数据湖平台，可以包括：所述数据源平台将允许发送的所述元数据信息进行压缩加密；所述数据源平台将经过压缩加密的所述元数据信息发送至数据湖平台。在一个示例性实施例中，所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本，可以包括：所述数据湖平台接收所述元数据信息；所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；所述数据湖平台根据所述数据湖环境建表语句生成数据湖数据加载脚本。在一个示例性实施例中，所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句，可以包括：所述数据湖平台将对应的所述元数据信息中的表名清单的字段类型转换为数据湖支持的数据库类型；所述数据湖平台根据转换后的所述数据湖支持的数据库类型生成数据湖环境建表语句。根据本专利技术的另一个实施例，提供了一种数据湖数据加载脚本生成系统，包括：数据源平台和数据湖平台；其中，所述数据源平台，包括：获取模块，用于获取元数据信息；发送模块，用于判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；所述数据湖平台，用于接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。在一个示例性实施例中，所述数据湖平台，可以包括：接收模块，用于接收所述元数据信息；第一生成模块，用于根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；第二生成模块，用于根据所述数据湖环境建表语句生成数据湖数据加载脚本。根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本专利技术的上述实施例，由于数据源平台先判断是否允许将获取的元数据信息发送至数据湖平台，再传输元数据信息，因此，可以解决对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，达到提升数据传输的安全性的效果。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的数据湖数据加载脚本生成方法的流程图；图2是根据本专利技术实施例的数据湖数据加载脚本生成系统的结构框图；图3是根据本专利技术可选实施例的数据湖数据加载脚本生成系统的结构框图；图4是根据本专利技术可选实施例的统一的元数据获取、传输、转换方法的流程图；图5是根据本专利技术可选实施例的可填写的连接信息表的示意图；图6是根据本专利技术可选实施例的可修改的数据源表的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了更好的理解本专利技术实施例以及可选实施例的技术方案，以下对本专利技术实施例以及可选实施例中可能出现的应用场景进行说明，但不用于限定以下场景的应用。在本实施例中提供了一种数据湖数据加载脚本生成方法，图1是根据本专利技术实施例的数据湖数据加载脚本生成方法的流程图，如图1所示，该流程包括如下步骤：步骤S101，数据源平台获取元数据信息。步骤S102，所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台。步骤S103，所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。在本实施例中，步骤S101可以包括：所述数据源平台接收表名清单信息；所述数据源平台根据所述表名清单信息获取对应的所述元数据信息，其中，所述元数据信息至少包括以下之一：所述表名清单的字段名，所述表名本文档来自技高网...

【技术保护点】
1.一种数据湖数据加载脚本生成方法，其特征在于，包括：/n数据源平台获取元数据信息；/n所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；/n所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。/n

【技术特征摘要】
1.一种数据湖数据加载脚本生成方法，其特征在于，包括：
数据源平台获取元数据信息；
所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；
所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。


2.根据权利要求1所述的方法，其特征在于，所述数据源平台获取元数据信息，包括：
所述数据源平台接收表名清单信息；
所述数据源平台根据所述表名清单信息获取对应的所述元数据信息，其中，所述元数据信息至少包括以下之一：所述表名清单的字段名，所述表名清单的字段类型，所述表名清单的存储空间占用量。


3.根据权利要求1所述的方法，其特征在于，在数据源平台获取元数据信息之后，还包括：
对所述元数据信息进行展示和筛选。


4.根据权利要求1所述的方法，其特征在于，所述数据源平台将允许发送的所述元数据信息发送至数据湖平台，包括：
所述数据源平台将允许发送的所述元数据信息进行压缩加密；
所述数据源平台将经过压缩加密的所述元数据信息发送至数据湖平台。


5.根据权利要求1所述的方法，其特征在于，所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本，包括：
所述数据湖平台接收所述元数据信息；
所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；
所述数据湖平台根据所述数据湖环境建表语句生成数据湖数据加载脚本。

【专利技术属性】
技术研发人员：季晓文，张勇，王丽，左开红，彭强，田江，向小佳，丁永建，李璠，
申请(专利权)人：光大科技有限公司，
类型：发明
国别省市：北京;11