元数据的处理方法、系统以及计算设备技术方案

技术编号:43971275 阅读:19 留言:0更新日期:2025-01-10 19:59
一种元数据的处理方法、系统以及计算设备,该方法包括:数据生产集群生成共享数据的元数据,数据生产集群将共享数据存储至共享存储;数据生产集群接收元数据操作指令,并根据该元数据操作指令确定目标元数据,该目标元数据是目标共享数据的元数据,数据生产集群将目标元数据发送给数据消费集群;数据消费集群根据目标元数据从共享存储读取目标共享数据。该方法中数据消费集群可以实时获取共享数据的元数据,具有更好的用户体验,同时还可以节省元数据的存储成本。

【技术实现步骤摘要】

本申请涉及数据存储领域,并且更具体地,涉及一种元数据的处理方法、系统以及计算设备


技术介绍

1、数据仓库作为数据存储和分析的载体,当前,各大云厂商都推出了数据仓库服务。数据共享成为数据仓库服务的一种属性,其目的是消除数据之间烟囱,实现用户间数据的交易和共享,达成用户之间数据的互通和共享。数据共享指的是数据的生产者提供共享数据,数据的消费者订阅或购买数据生产者生产的某些共享数据。数据的消费者购买此项共享数据后,数据的消费者可以获取该共享数据,并基于该共享数据进行数据的分析计算。

2、在上述数据生产者生产并存储共享数据的过程中,还会生成并存储该共享数据的元数据。数据消费者从共享存储中获取共享据时,需要根据共享数据的元数据从共享存储中获取共享数据。相关的技术方案中,共享数据的元数据单独存储在元数据集群中。由于元数据集群是一个独立的用于存储元数据的集群,一方面,元数据集群的存储成本较高,无法进行大规模的、多集群间的数据共享,另一方面,数据消费集群无法实时获取共享数据,用户体验感较差。

3、因此,如何在节省共享数据的元数据的存储成本的情况下本文档来自技高网...

【技术保护点】

1.一种元数据的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述数据生产集群根据所述元数据操作指令确定目标元数据,包括:

5.根据权利要求4所述的方法,其特征在于,

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述数据生产集群将所述目标元数据发送给所述数据消费集群,包括:

7.一种元数据的处理系统,其特征在于,所述系统包括

8....

【技术特征摘要】

1.一种元数据的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述数据生产集群根据所述元数据操作指令确定目标元数据,包括:

5.根据权利要求4所述的方法,其特征在于,

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述数据生产集群将所述目标元数据发送给所述数据消费集群,包括:

7.一种元数据的处理系统,其特征在于,所述系统包括:

8.根据权利要求7所述的系统,其特征在于,

9.根据权利要求8所述的系统,其特征...

【专利技术属性】
技术研发人员:王卓吴伟王加元曾凯佟强钟延辉张文亮
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1