【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种数据共享方法、第一数据管理系统、第二数据管理系统、计算机集群、计算机可读存储介质、计算机程序产品。
技术介绍
1、随着信息技术的不断发展，互联网中产生了大量的数据，例如是各种应用的业务数据，包括但不限于电子商务应用的订单数据、社交应用的互动数据等等。为了便于快速查找或分析数据，可以采用数据仓库(data warehouse)进行数据管理。
2、数据仓库是来自一个或多个不同数据源的集成数据的中央存储库，用于提供数据查询和分析功能。随着云计算的发展，逐步产生了基于云原生的数据仓库，例如snowflake。snowflake是一个支持多租户、事务，且安全性高，扩展能力强的弹性系统。该弹性系统在云平台中可以作为“按需付费”服务提供给用户使用。
3、具体地，数据提供者(如用户a)可以将数据上传到云平台，数据以数据表的形式进行存储。云平台上的snowflake等数据仓库可以支持数据消费者(如用户b、用户c、用户d)使用熟悉的工具和界面进行管理和查询。其中，snowflake等可以对数据表进行克隆，具体是复制数据表的元数据，无需创建数据表的副本，从而实现数据提供者与数据消费者之间的数据共享。
4、然而，上述方法难以实现跨数据仓库的数据共享，尤其是难以支持外部引擎对私有格式数据的高性能访问，可用性较低。
技术实现思路
1、本申请提供了一种数据共享方法，数据管理系统可以对外提供软件开发套件，使得其他数据管理系统如大数据引擎可以调用软件
2、第一方面，本申请提供了一种数据共享方法。该方法用于实现在不同数据管理系统之间共享数据，尤其是私有格式数据。为了便于描述，本申请实施例将不同数据管理系统分别记作第一数据管理系统、第二数据管理系统。其中，第一数据管理系统和第二数据管理系统可以是数据仓库、数据库、湖仓或大数据引擎、人工智能开发平台中的不同类型数据管理系统。第一数据管理系统实质是一种客户端。在大数据场景下，该客户端可以是具有查询功能的软件系统，如集成spark、flink、presto等大数据引擎的软件系统。第二数据管理系统是与客户端连接的系统，支持客户端进行查询、分析。基于此，第二数据管理系统可以是数据仓库或数据库(如关系型数据库)。
3、具体地，第一数据管理系统接收第一查询语句，所述第一查询语句为基于第一查询语言的查询语句，然后第一数据管理系统根据所述第一查询语句，通过所述第二数据管理系统的软件开发套件sdk，获得第二查询语句，所述第二查询语句为基于第二查询语言的查询语句，接着第一数据管理系统根据所述第二查询语句，访问所述第二数据管理系统的统一开放访问服务，获得所述第二数据管理系统中的私有格式数据。
4、在该方法中，包括数据仓库在内的数据管理系统可以提供统一开放访问服务，并通过对包括大数据引擎在内的其他数据管理系统提供sdk，采用sdk整合其他数据管理系统，使得其他数据管理系统可以通过sdk进行查询语句转换，并基于转换后的查询语句，访问统一开放访问服务，从而实现对外共享数据管理系统内部的私有格式数据，通过支持私有格式数据的对外共享访问，打破了仅在数据管理系统内共享私有格式数据的界限，跟外部的数据库、数据仓库、湖仓或大数据引擎等其他数据管理系统打通了数据共享通道，提高了数据管理系统的可用性。
5、在一些可能的实现方式中，第二数据管理系统可以根据所述第二查询语句，通过所述统一开放访问服务中的元数据接口读取逻辑元数据，然后根据所述逻辑元数据，读取所述第二数据管理系统中的私有格式数据。
6、其中，逻辑元数据是指有关逻辑结构(例如表)的业务元数据。业务元数据是描述描述数据管理系统中业务领域相关概念、关系和规则的数据。基于此，第二数据管理系统可以根据逻辑元数据，读取该逻辑元数据所指向的私有格式数据。
7、由此打破仅在数据管理系统内共享私有格式数据的界限，在数据管理系统之间打通数据共享通道，提高数据管理系统的可用性。
8、在一些可能的实现方式中，第二数据管理系统在读取逻辑元数据时，可以根据所述第二查询语句创建事务，然后通过所述统一开放访问服务中的事务接口向全局事务管理获取所述事务的最新时间戳，接着通过所述统一开放访问服务中的元数据接口读取所述最新时间戳对应的元数据。
9、该方法通过引入事务概念，基于事务语义保障快照读的一致性，由此实现数据访问的一致性。
10、在一些可能的实现方式中，第二数据管理系统可以反序列化所述第二查询语句，获得待执行的算子，然后执行所述算子，并创建事务。上述事务可以保障算子执行结果要么一并提交或者一并回滚，由此可以保障数据一致性。
11、在一些可能的实现方式中，所述第一查询语言为结构化查询语言，所述第二查询语言为轻量级标记语言。其中，轻量级标记语言可以是脚本语言，例如为javascript语言。
12、该方法通过借助sdk进行查询语句转换，可以实现跨数据管理系统进行查询，进而实现不同数据管理系统之间进行数据共享。
13、在一些可能的实现方式中，所述第一数据管理系统向用户呈现共享操作界面，所述共享操作界面支持系统内共享数据的操作、向外部系统共享开放格式数据的操作、被外部系统访问私有格式数据的操作；当所述被外部系统访问私有格式数据的操作被触发时，所述第一数据管理系统返回所述第一数据管理系统的私有格式数据。
14、该方法中，第一数据管理系统支持多种共享模式，能够满足不同业务的需求。
15、在一些可能的实现方式中，所述私有格式数据包括列存单元数据。如此可以实现跨引擎共享列存单元数据等私有格式数据，全面打通了数据共享通道，具有较高可用性。
16、在一些可能的实现方式中，所述第一数据管理系统和所述第二数据管理系统为数据库、数据仓库、湖仓或大数据引擎、人工智能开发平台中的不同数据管理系统。例如，第一数据管理系统可以为大数据引擎、人工智能开发平台，第二数据管理系统可以为数据库、数据仓库或湖仓。
17、该方法打通了数据库、数据仓库、湖仓或大数据引擎、人工智能开发平台的数据共享通道，实现了数据库、数据仓库、湖仓或大数据引擎、人工智能开发平台之间的数据共享，尤其是私有格式数据共享。
18、在一些可能的实现方式中，所述第二数据管理系统可以根据所述逻辑元数据，通过抽象表格式，访问所述私有格式数据。抽象表格式、开放格式、私有数据均属于通用接口层，第二数据管理系统可以通过通用接口层的接口进行格式转换，从而实现通过抽象表格式访问私有格式数据。
19、如此可以实现私有格式数据的对外共享访本文档来自技高网...
【技术保护点】
1.一种数据共享方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述第二数据管理系统根据所述第二查询语句，通过所述统一开放访问服务中的元数据接口读取逻辑元数据，包括：
4.根据权利要求2所述的方法，其特征在于，所述第二数据管理系统根据所述第二查询语句创建事务，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一查询语言为结构化查询语言，所述第二查询语言为轻量级标记语言。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括:
7.根据权利要求1至6任一项所述的方法，其特征在于，所述私有格式数据包括列存单元数据。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一数据管理系统和所述第二数据管理系统为数据库、数据仓库、湖仓或大数据引擎、人工智能开发平台中的不同数据管理系统。
9.根据权利要求2至4任一项所述的方法，其特征在于，所述第二数据管理系统根据所述逻辑元数据
10.一种第一数据管理系统，其特征在于，所述系统包括：
11.根据权利要求10所述的系统，其特征在于，所述第一查询语言为结构化查询语言，所述第二查询语言为轻量级标记语言。
12.根据权利要求10或11所述的系统，其特征在于，所述系统还包括:
13.根据权利要求10至12任一项所述的系统，其特征在于，所述私有格式数据包括列存单元数据。
14.根据权利要求10至13任一项所述的方法，其特征在于，所述第一数据管理系统和所述第二数据管理系统为数据库、数据仓库、湖仓或大数据引擎、人工智能开发平台中的不同数据管理系统。
15.一种第二数据管理系统，其特征在于，所述系统包括：
16.根据权利要求15所述的系统，其特征在于，所述元数据读取模块用于：
17.根据权利要求16所述的方法，其特征在于，所述元数据读取模块具体用于：
18.根据权利要求15至17任一项所述的方法，其特征在于，所述数据读取模块具体用于：
19.一种计算机集群，其特征在于，所述计算机集群包括至少一台计算机，所述至少一台计算机包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储有计算机可读指令；所述至少一个处理器执行所述计算机可读指令，以使得所述计算机集群执行如权利要求1至9中任一项所述的方法中由第一数据管理系统或第二数据管理系统执行的步骤。
20.一种计算机可读存储介质，其特征在于，包括计算机可读指令；所述计算机可读指令用于实现权利要求1至9任一项所述的方法。
21.一种计算机程序产品，其特征在于，包括计算机可读指令；所述计算机可读指令用于实现权利要求1至9任一项所述的方法。
...【技术特征摘要】
1.一种数据共享方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述第二数据管理系统根据所述第二查询语句，通过所述统一开放访问服务中的元数据接口读取逻辑元数据，包括：
4.根据权利要求2所述的方法，其特征在于，所述第二数据管理系统根据所述第二查询语句创建事务，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一查询语言为结构化查询语言，所述第二查询语言为轻量级标记语言。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括:
7.根据权利要求1至6任一项所述的方法，其特征在于，所述私有格式数据包括列存单元数据。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一数据管理系统和所述第二数据管理系统为数据库、数据仓库、湖仓或大数据引擎、人工智能开发平台中的不同数据管理系统。
9.根据权利要求2至4任一项所述的方法，其特征在于，所述第二数据管理系统根据所述逻辑元数据，读取所述第二数据管理系统中的私有格式数据，包括：
10.一种第一数据管理系统，其特征在于，所述系统包括：
11.根据权利要求10所述的系统，其特征在于，所述第一查询语言为结构化查询语言，所述第二查询语言为轻量级标记语言。
12.根据权利要求1...
【专利技术属性】
技术研发人员：马文龙，张文亮，李梁，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。