【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据分析方法、系统、计算设备集群、计算机可读存储介质、计算机程序产品。
技术介绍
1、数据仓库(data warehouse)，是来自一个或多个不同数据源的集成数据的中央存储库。区别于传统的、用于日常事务处理的数据库，数据仓库用于支持复杂的分析操作，并且提供直观易懂的查询结果。随着云原生(cloud native)技术的不断发展，各大云厂商还推出了云原生数据仓库，以充分利用云基础设施，提升系统的弹性伸缩能力。云原生数据仓库通常采用存储和计算分离(存算分离)的架构，即存储层和计算层解耦，各层资源独立伸缩。
2、考虑到数据量不断增加，用户对并发分析的诉求也在不断变高。业界提出了采用多计算集群，如多虚拟仓库(virtual warehouse，vw)架构，提升并发能力。多vw架构包括云服务(cloud services)层、虚拟仓库(vw)层和存储层。其中，存储层可以采用数据分区的方式进行数据存储。在一些示例中，数据分区可以采用列存储方式存储数据。vw层包括多个vw，每个vw包括至少一个节点(nod...
【技术保护点】
1.一种数据分析方法，其特征在于，应用于数据分析系统，所述数据分析系统包括协调节点、元数据管理装置和多个计算集群，所述计算集群中包括元数据缓存，所述元数据管理装置中记录有所述元数据缓存的状态，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述一致性判断请求中包括所述查询语句的条件谓词；
3.根据权利要求2所述的方法，其特征在于，所述元数据管理装置存储有至少一条元数据，每条元数据记录有至少一个数据块的数据范围，所述元数据管理装置根据所述条件谓词，确定所述查询语句所要读取的元数据，包括：
4.根据权利要求3所述的方法，其特征...
【技术特征摘要】
1.一种数据分析方法，其特征在于，应用于数据分析系统，所述数据分析系统包括协调节点、元数据管理装置和多个计算集群，所述计算集群中包括元数据缓存，所述元数据管理装置中记录有所述元数据缓存的状态，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述一致性判断请求中包括所述查询语句的条件谓词；
3.根据权利要求2所述的方法，其特征在于，所述元数据管理装置存储有至少一条元数据，每条元数据记录有至少一个数据块的数据范围，所述元数据管理装置根据所述条件谓词，确定所述查询语句所要读取的元数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述元数据管理装置根据所述条件谓词查询所述元数据管理装置存储的元数据，确定所述查询语句所要读取的元数据，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述元数据管理装置中存储有块级别元数据或块组合级别元数据中的一种或多种。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述元数据管理装置通过缓存状态数据记录所述元数据缓存的状态，所述缓存状态数据包括事务头信息、元数据标识以及元数据的缓存位置，所述元数据标识包括块标识和组标识中的至少一种以及列标识，所述元数据的缓存位置通过计算集群标识表征。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述协调节点根据所述一致性判断结果，从所述多个计算集群中确定目标计算集群，包括：
8.根据权利要求7所述的方法，其特征在于，所述至少一个计算集群执行数据分析的代价包括所述计算集群的基础代价以及所述计算集群读取所述元数据缓存的代价；
9.根据权利要求1至8任一项所述的方法，其特征在于，所述分析请求中包括执行计划以及所述一致性判断结果；
10.根据权利要求9所述的方法，其特征在于，所述目标计算集群根据所述一致性判断结果查询所述元数据缓存，获取所述查询语句所要读取的元数据，包括：
11.根据权利要求1至10任一项所述的方法，其特征在于，所述方法还包括：
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
13.根据权利要求1至12任一项所述的方法，其特征在于，所述方法还包括：
14.一种数据分析系统，其特征在于，所述数据分析系统包括协调节点、元数据管理装置和多个计算集群，所述计算集群中包括元数据缓存，所述元数据管理装置中记录有所述元数据缓存的状态...
【专利技术属性】
技术研发人员：钟延辉，纪祥虎，曾凯，王传廷，张文亮，任波，黄海燕，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。