数据管理方法、装置、设备和存储介质制造方法及图纸

技术编号:43758427 阅读:21 留言:0更新日期:2024-12-24 16:02
本申请提供一种数据管理方法、装置、设备和存储介质,包括:获取来源于多个数据处理平台的多个数据表;根据多个数据表各自的数据结构信息,确定各数据表对应的元数据信息;根据多个数据表中相同数据结构信息下的数据表的元数据信息,构建数据模块,得到多个数据模块;根据多个数据模块对多个数据表进行管理。以提高数据表管理的灵活性和高效性,降低数据处理难度。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种数据管理方法、装置、设备和存储介质


技术介绍

1、目前,在数据采集及加工处理过程中,会涉及到数据在数据处理平台中的计算、流转、存储。其中,数据处理平台可以是hive、hbase或者kafka(卡夫卡)等。

2、然而,由于数据处理过程中针对数据的采集接入、处理逻辑及时效要求等的不同,因此一条数据处理链路往往需要使用到多种数据处理平台,而每个数据处理平台包括多个数据表,相关技术中针对每个数据处理平台中的数据表的管理和维护等都是分散、独立的,因此,存在数据维度难度较大、处理效率较低的问题。


技术实现思路

1、本申请提供一种数据管理方法、装置、设备和存储介质,以提高数据表管理的灵活性和高效性,降低数据处理难度。

2、第一方面,本申请提供一种数据管理方法,该方法包括:获取来源于多个数据处理平台的多个数据表;根据多个数据表各自的数据结构信息,确定各数据表对应的元数据信息;根据多个数据表中相同数据结构信息下的数据表的元数据信息,构建数据模块,得到多个数据模块;根本文档来自技高网...

【技术保护点】

1.一种数据管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述多个数据模块对所述多个数据表进行管理,包括:

3.根据权利要求1所述的方法,其特征在于,还包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取来源于多个数据处理平台的多个数据表之后,还包括:

5.根据权利要求4所述的方法,其特征在于,还包括:

6.根据权利要求4所述的方法,其特征在于,还包括:

7.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述多个数据模块对所述多个数据表进行管理,包括:...

【技术特征摘要】

1.一种数据管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述多个数据模块对所述多个数据表进行管理,包括:

3.根据权利要求1所述的方法,其特征在于,还包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取来源于多个数据处理平台的多个数据表之后,还包括:

5.根据权利要求4所述的方法,其特征在于,还包括:

6...

【专利技术属性】
技术研发人员:陈睿王淑君王胤超罗伟
申请(专利权)人:富途网络科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1