基于存算分离云原生数仓的计算终端启动方法和装置制造方法及图纸

技术编号:37989125 阅读:25 留言:0更新日期:2023-06-30 10:03
本公开的实施例公开了基于存算分离云原生数仓的计算终端启动方法和装置。该方法的一具体实施方式包括:响应于接收到计算终端启动指令,对内置的持久化存储引擎进行初始化,以获取引擎存储元数据信息集,其中,该引擎存储元数据信息集是数据计算端集执行数据持久化时所存储的、针对持久化数据的元数据信息集;获取针对该计算终端启动指令的所需元数据目录信息;根据该引擎存储元数据信息集和该所需元数据目录信息,加载该所需元数据目录信息对应的元数据信息集;根据该元数据信息集,执行计算终端启动操作。该实施方式与云计算有关,可以快捷、高效地实现数据计算终端的启动。高效地实现数据计算终端的启动。高效地实现数据计算终端的启动。

【技术实现步骤摘要】
基于存算分离云原生数仓的计算终端启动方法和装置


[0001]本公开的实施例涉及计算机
,具体涉及基于存算分离云原生数仓的计算终端启动方法和装置。

技术介绍

[0002]目前,基于存算分离的云原生数仓的相关技术已广泛应用于日常生活中。对于计算节点(即,数据技术终端)的启动,通常采用的方式为:计算节点需要扫描底层海量的元数据文件,以实现计算节点的启动。
[0003]然而,专利技术人发现,当采用上述方式来启动计算节点,经常会存在如下技术问题:针对海量的元数据文件的扫描,若对应磁盘的IOPS(Input/Output Operations Per Second,每秒进行读写操作的次数)不够高,会导致后续计算节点的启动时间交长,启动效率低下。
[0004]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于存算分离云原生数仓的计算终端启动方法,包括:响应于接收到计算终端启动指令,对内置的持久化存储引擎进行初始化,以获取引擎存储元数据信息集,其中,所述引擎存储元数据信息集是数据计算端集执行数据持久化时所存储的、针对持久化数据的元数据信息集;获取针对所述计算终端启动指令的所需元数据目录信息;根据所述引擎存储元数据信息集和所述所需元数据目录信息,加载所述所需元数据目录信息对应的元数据信息集;根据所述元数据信息集,执行计算终端启动操作。2.根据权利要求1所述的方法,其特征在于,所述根据所述引擎存储元数据信息集和所述所需元数据目录信息,加载所述所需元数据目录信息对应的元数据信息集,包括:确定所述引擎存储元数据信息集和所述所需元数据目录信息之间的差异元数据目录信息;响应于确定所述差异元数据目录信息不为空,从数据存储终端中读取所述差异元数据目录信息对应的差异元数据信息集。3.根据权利要求2所述的方法,其特征在于,在所述响应于确定所述差异元数据目录信息不为空,从数据存储终端中读取所述差异元数据目录信息对应的差异元数据信息集之后,所述方法还包括:响应于确定所述差异元数据目录信息为空,将所述引擎存储元数据信息集确定为所述元数据信息集。4.根据权利要求1所述的方法,其特征在于,所述引擎存储元数据信息集通过以下步骤获取:响应于接收到引擎存储元数据信息读取请求,从引擎存储元数据文件中获取所述引擎存储元数据信息集,其中,所述引擎存储元数据文件为数据存储终端中预先部署的文件,持久化存储引擎集中的各个持久化存储引擎对应存在同一数据共享的所述引擎存储元数据文件,所述数据计算端集中的数据计算端与所述持久化存储引擎集中的持久化存储引擎存在对应关系。5.根据权利要求4所述的方法,其特征在于,针对所述数据计算端集的数据计算扩充端存在内置的目标持久化存储引擎,所述目标持久化存储引擎与持久化存储引...

【专利技术属性】
技术研发人员:王学伟
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1