【技术实现步骤摘要】
本专利技术属于数据处理和管理，特别涉及一种基于flink数据目录的表和函数元数据的分类管理业务平台。
技术介绍
1、在现代数据处理和分析领域，数据工程师和分析师通常需要同时处理流数据和批处理数据。这就引入了流批一体(stream-batch unification)的概念，即将流数据和批处理数据整合到一个统一的平台或系统中。在流批一体的处理环境中，flink hive catalog变得尤为重要，因为它充当了一个关键的元数据管理工具，使flink应用程序可以访问hive数据库中的表与函数的元数据。随着流批一体处理的广泛应用，用户希望能够将不同的flink表和flink自定义函数的元数据信息通过创建数据目录，使用flink hive catalog注册到hive数据库中，以便在一个统一hive数据库中管理和访问这些表与函数的元数据信息。
2、然而，现有的技术在这方面存在一定的限制：①在hive数据库中，不仅仅存储了hive表元数据信息，hive自定义函数元数据信息，还存储了用户通过flink hive catalog注册到hi...
【技术保护点】
1.一种基于Flink数据目录的表和函数元数据的分类管理业务平台，该业务平台包括连接第三方数据源模块、创建数据目录模块、创建Flink SQL任务模块、运行Flink SQL任务模块、获取元数据模块、元数据分类解析模块、元数据同步存储模块、分类查询和历史版本查询模块；所述连接第三方数据源模块用于在业务平台中连接第三方数据源并保存连接信息；所述创建数据目录模块用于在业务平台中创建目录类型为Hive的数据目录，该数据目录与Hive数据库一一对应；所述创建Flink SQL任务模块用于在业务平台中使用Hive类型的数据目录，并在业务平台中创建Flink SQL任务，通过用户...
【技术特征摘要】
1.一种基于flink数据目录的表和函数元数据的分类管理业务平台，该业务平台包括连接第三方数据源模块、创建数据目录模块、创建flink sql任务模块、运行flink sql任务模块、获取元数据模块、元数据分类解析模块、元数据同步存储模块、分类查询和历史版本查询模块；所述连接第三方数据源模块用于在业务平台中连接第三方数据源并保存连接信息；所述创建数据目录模块用于在业务平台中创建目录类型为hive的数据目录，该数据目录与hive数据库一一对应；所述创建flink sql任务模块用于在业务平台中使用hive类型的数据目录，并在业务平台中创建flink sql任务，通过用户创建sql定义表的元数据信息、函数的元数据信息；所述运行flink sql任务模块用于在flink运行环境中运行业务平台定义的flink sql任务，在运行过程中flink会通过flink hive catalog api将表与函数的元数据存储到数据目录对应中的hive数据库中；
2.根据权利要求1所述一种基于flink数据目录的表和函数元数据的分类管理业务平台，其特征在于：所述获取元数据模块包括：针对hive数据库进行元数据的全量获取模块、针对hive数据库进行元数据的增量获取模块；所述针对hive数据库进行元数据的全量获取只能获取一次，所述针对hive数据库进行元数据的增量获取是在全量获取的基础上仅仅获取增加的数据和删除后变化的数据。
3.根据权利要求2所述一种基于flink数据目录的表和函数元数据的分类管理业务平台，其特征在于：所述针对hive数据库进行元数据的全量获取模块，包括获取所有hive数据库名称模块、建立连接器模块、获取hive数据库所有表的全量元数据模块、获取hive数据库所有函数的全量元数据模块。
4.根据权利要求2所述一种基于flink数据目录的表和函数元数据的分类管理业务平台，其特征在于：所述针对hive数据库...
【专利技术属性】
技术研发人员：李勇，陈高英，桂宜飞，
申请(专利权)人：深圳银兴智能数据有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。