一种湖仓元数据变更确定方法、装置、设备、介质制造方法及图纸

技术编号:41133109 阅读:14 留言:0更新日期:2024-04-30 18:03
本申请公开了一种湖仓元数据变更确定方法、装置、电子设备、计算机可读介质,该方法包括:对于元数据存储系统来说,在该接收到由数据引擎发送的、用于请求对目标对象进行更新处理的元数据处理请求之后,执行该元数据处理请求对应的对象更新处理逻辑,以便在确定该对象更新处理逻辑执行完成之后,依据更新前的目标对象与更新后的目标对象之间的对比结果,生成该目标对象对应的更新描述消息,以使该更新描述消息能够表示出已对该目标对象进行更新处理,以便后续能够将该更新描述消息发送给消息接收对象,如此能够实现由该元数据存储系统自身完成数据更新检测处理,从而能够有效地克服当由其他设备进行数据更新检测处理时所造成的缺陷。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种湖仓元数据变更确定方法、装置、设备、介质


技术介绍

1、在一些应用场景下,用户可能需要针对某个元数据源(比如,hive等元数据源)下的库、表、分区等进行某些操作(比如,增、删、改等操作),以满足该用户的一些元数据需求。

2、另外,在一些应用场景下,为了更好地降低这些操作对其他业务所造成影响,其可能存在以下需求:将这些操作对应的元数据更新描述消息提供给相应业务,以使该业务获知由这些操作所产生的元数据更新情况,从而能够有效地避免因该业务不知该元数据更新情况而导致的不良影响(比如,无法及时地执行后续任务、继续查询访问更新前的内容等影响)。

3、然而,如何实现上述需求是一项亟待解决的技术问题。


技术实现思路

1、为了解决上述技术问题,本申请提供了一种湖仓元数据变更确定方法、装置、设备、介质。

2、为了实现上述目的,本申请提供的技术方案如下:

3、本申请提供一种湖仓元数据变更确定方法,所述方法应用于元数据存储系统,所述方法包括:

...

【技术保护点】

1.一种湖仓元数据变更确定方法,其特征在于,所述方法应用于元数据存储系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述更新描述消息的生成过程,包括:

3.根据权利要求2所述的方法,其特征在于,若所述目标对象为表对象,则所述依据所述目标对象的类型,生成所述更新描述消息,包括:

4.根据权利要求1所述的方法,其特征在于,所述目标对象用于记录多个元数据;

5.根据权利要求4所述的方法,其特征在于,所述依据所述至少一个数据块的数据块个数,生成所述更新描述消息,包括:

6.根据权利要求1所述的方法,其特征在于,所述目标对...

【技术特征摘要】

1.一种湖仓元数据变更确定方法,其特征在于,所述方法应用于元数据存储系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述更新描述消息的生成过程,包括:

3.根据权利要求2所述的方法,其特征在于,若所述目标对象为表对象,则所述依据所述目标对象的类型,生成所述更新描述消息,包括:

4.根据权利要求1所述的方法,其特征在于,所述目标对象用于记录多个元数据;

5.根据权利要求4所述的方法,其特征在于,所述依据所述至少一个数据块的数据块个数,生成所述更新描述消息,包括:

6.根据权利要求1所述的方法,其特征在于,所述目标对象用于记录多个元数据;

7.根据权利要求4-6任一项所述的方法,其特征在于,所述目标对象为库对象、表对象、或者分区对象。

8.根据权利要求1所述的方法,其特征在于,所述消息接收对象为消息中间件或者所述数据引擎对应的至少一个下游对象,所述消息中间件用于向各所述下游对象提供所述更新描述消息。

9.根据权利要求1所述的方法,其特征在于,所述依据更新前的目标对象与更新后的目标对象之间的对比结果,生成所述目标对象对应的更新描述消息,包括:

10.根据权利要求1所述的方法,其特征在于,所述消息接收对象还用于接收由所述数据引擎针...

【专利技术属性】
技术研发人员:李蒙军郭俊孙科徐庆
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1