【技术实现步骤摘要】
本申请涉及计算机,尤其涉及一种湖仓元数据变更确定方法、装置、设备、介质。
技术介绍
1、在一些应用场景下,用户可能需要针对某个元数据源(比如,hive等元数据源)下的库、表、分区等进行某些操作(比如,增、删、改等操作),以满足该用户的一些元数据需求。
2、另外,在一些应用场景下,为了更好地降低这些操作对其他业务所造成影响,其可能存在以下需求:将这些操作对应的元数据更新描述消息提供给相应业务,以使该业务获知由这些操作所产生的元数据更新情况,从而能够有效地避免因该业务不知该元数据更新情况而导致的不良影响(比如,无法及时地执行后续任务、继续查询访问更新前的内容等影响)。
3、然而,如何实现上述需求是一项亟待解决的技术问题。
技术实现思路
1、为了解决上述技术问题,本申请提供了一种湖仓元数据变更确定方法、装置、设备、介质。
2、为了实现上述目的,本申请提供的技术方案如下:
3、本申请提供一种湖仓元数据变更确定方法,所述方法应用于元数据存储系统,所述方
...
【技术保护点】
1.一种湖仓元数据变更确定方法,其特征在于,所述方法应用于元数据存储系统,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述更新描述消息的生成过程,包括:
3.根据权利要求2所述的方法,其特征在于,若所述目标对象为表对象,则所述依据所述目标对象的类型,生成所述更新描述消息,包括:
4.根据权利要求1所述的方法,其特征在于,所述目标对象用于记录多个元数据;
5.根据权利要求4所述的方法,其特征在于,所述依据所述至少一个数据块的数据块个数,生成所述更新描述消息,包括:
6.根据权利要求1所述的方法,其
...【技术特征摘要】
1.一种湖仓元数据变更确定方法,其特征在于,所述方法应用于元数据存储系统,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述更新描述消息的生成过程,包括:
3.根据权利要求2所述的方法,其特征在于,若所述目标对象为表对象,则所述依据所述目标对象的类型,生成所述更新描述消息,包括:
4.根据权利要求1所述的方法,其特征在于,所述目标对象用于记录多个元数据;
5.根据权利要求4所述的方法,其特征在于,所述依据所述至少一个数据块的数据块个数,生成所述更新描述消息,包括:
6.根据权利要求1所述的方法,其特征在于,所述目标对象用于记录多个元数据;
7.根据权利要求4-6任一项所述的方法,其特征在于,所述目标对象为库对象、表对象、或者分区对象。
8.根据权利要求1所述的方法,其特征在于,所述消息接收对象为消息中间件或者所述数据引擎对应的至少一个下游对象,所述消息中间件用于向各所述下游对象提供所述更新描述消息。
9.根据权利要求1所述的方法,其特征在于,所述依据更新前的目标对象与更新后的目标对象之间的对比结果,生成所述目标对象对应的更新描述消息,包括:
10.根据权利要求1所述的方法,其特征在于,所述消息接收对象还用于接收由所述数据引擎针...
【专利技术属性】
技术研发人员:李蒙军,郭俊,孙科,徐庆,
申请(专利权)人:北京火山引擎科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。