基于数据湖的表服务管理方法、系统、装置、电子设备制造方法及图纸

本申请公开了一种基于数据湖的表服务管理方法、系统、装置，基于数据湖的表服务管理系统完全独立于数据湖，而且该表服务管理系统的工作原理为：在确定数据湖中至少一个待管理数据表完成注册时，从各待管理数据表的注册描述信息中确定各待管理数据表的托管任务类型，以便在拉取到各待管理数据表的时间线之后，按照各待管理数据表的托管任务类型，从各待管理数据表的时间线中拉取各待管理数据表的至少一个待执行任务，并对这些待执行任务进行管理，如此能够实现由该表服务管理系统代管该数据湖中大量数据表的表服务的目的，从而能够有效地避免针对表服务对该数据湖中写入任务稳定性所产生的影响。性所产生的影响。性所产生的影响。

【技术实现步骤摘要】
基于数据湖的表服务管理方法、系统、装置、电子设备


[0001]本申请涉及计算机
，尤其涉及一种基于数据湖的表服务管理方法、系统、装置、电子设备、计算机可读介质。

技术介绍

[0002]在数据湖场景下，为了更好地提高读取性能，可以利用一些表服务(Table Service)针对已存储的数据表进行处理(例如，合并处理、归类处理等)。其中，表服务是指针对数据表所采取的表级数据操作；而且该表服务可以包括合并(compaction)、归类(clustering)等表级数据操作。
[0003]然而，当数据湖具有较大的数据量时，表服务对资源的要求通常会比较高，如此会对写入任务稳定性产生影响。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种基于数据湖的表服务管理方法、系统、装置、电子设备、计算机可读介质，能够有效地避免表服务对写入任务稳定性所产生的影响。
[0005]为了实现上述目的，本申请实施例提供的技术方案如下：
[0006]本申请实施例提供一种基于数据湖的表服务管理方法，应用于基于数据湖的表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据湖的表服务管理方法，其特征在于，应用于基于数据湖的表服务管理系统，所述方法包括：在确定至少一个待管理数据表完成注册时，从各所述待管理数据表的注册描述信息中确定各所述待管理数据表的托管任务类型；在拉取到各所述待管理数据表的时间线之后，按照各所述待管理数据表的托管任务类型，从各所述待管理数据表的时间线中拉取各所述待管理数据表的至少一个待执行任务；对各所述待管理数据表的至少一个待执行任务进行管理。2.根据权利要求1所述的方法，其特征在于，所述对各所述待管理数据表的至少一个待执行任务进行管理，包括：执行各所述待管理数据表的至少一个待执行任务。3.根据权利要求1所述的方法，其特征在于，所述待管理数据表的个数为N；第n个待管理数据表的至少一个待执行任务包括M个待执行任务；其中，n为正整数，n≤N，N为正整数；所述方法还包括：从第n个待管理数据表的注册描述信息中，确定所述第n个待管理数据表的第m个待执行任务对应的执行设备；其中，m为正整数，m≤M，M为正整数；所述对各所述待管理数据表的至少一个待执行任务进行管理，包括：将所述第n个待管理数据表的第m个待执行任务发送给所述第m个待执行任务对应的执行设备，以使所述第m个待执行任务对应的执行设备执行所述第n个待管理数据表的第m个待执行任务。4.根据权利要求1所述的方法，其特征在于，所述从各所述待管理数据表的时间线中拉取各所述待管理数据表的至少一个待执行任务之后，所述方法还包括：将各所述待管理数据表的至少一个待执行任务存储至预设存储空间；在从所述预设存储空间中扫描到至少一个候选任务和所述至少一个候选任务的任务描述信息之后，根据所述至少一个候选任务的任务描述信息，从所述至少一个候选任务中筛选出满足预设执行条件的至少一个目标任务；所述对各所述待管理数据表的至少一个待执行任务进行管理，包括：对所述至少一个目标任务进行管理。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述待管理数据表的个数为N；所述方法还包括：在获取到针对第n个待管理数据表的注册请求之后，根据所述注册请求携带的注册描述信息，对所述第n个待管理数据表进行注册处理；其中，n为正整数，n≤N，N为正整数。6.根据权利要求5所述的方法，其特征在于，所述注册请求是在创建所述第n个待管理数据表时触发的；或者，所述注册请求是在启动针对所述第n个待管理数据表的写入任务时触发的。7.根据权利要求1所述的方法，其特征在于，所述基于数据湖的表服务管理系统独立于数据湖；所述数据湖用于存储所述至少一个待管理数据表。8.一种基于数据湖的表服务管理系统，其特征在于，所述系统包括信息层和服务层；所述信息层，用于在确定至少一个待管理数据表完成注册时，从各所述待管理数据表
的注册描述信息中确定各所述待管理数据表的托管任务类型；所述信息层，还用于在拉取到各所述待管理数据表的时间线之后，按照各所述待管理数据表的托管任务类型，从各所述待管理数据表的时间线中拉...

【专利技术属性】
技术研发人员：喻兆靖，郭俊，杨诗旻，罗旋，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：