一种命名空间管理节点的启动方法和装置制造方法及图纸

本申请涉及一种命名空间管理节点的启动方法和装置，其中，该方法包括：接收启动请求，其中，启动请求用于请求启动命名空间管理节点；响应启动请求，根据命名空间管理节点所对应的元数据的数据信息创建多个加载线程；运行多个加载线程加载元数据；在元数据加载完成时，确定命名空间管理节点启动成功。本申请解决了相关技术中命名空间管理节点的启动效率较低的技术问题。较低的技术问题。较低的技术问题。

【技术实现步骤摘要】
一种命名空间管理节点的启动方法和装置


[0001]本申请涉及计算机领域，尤其涉及一种命名空间管理节点的启动方法和装置。

技术介绍

[0002]HDFS是当前主流的大数据存储系统，并且以集群的方式存在，一个HDFS集群中主要包括NameNode和DataNode两种组件，其中DataNode在HDFS中有多个，用于存储文件数据。NameNode最多有两个，但是只有一个是Active状态，另一个为standby状态，组成高可用(HA)的形式，NameNode(内存)中记录了HDFS中各个文件的元数据信息，例如：文件类型(文件or目录)，文件大小，文件实际存储在哪个DataNode上等等。
[0003]由于HDFS集群中同一时刻只有一个NameNode在提供服务，并且存储了整个文件系统中的全部元数据信息，在HDFS启动时，DataNode和NameNode同时启动，DataNode在启动必要的工作线程后，会立即向NameNode进行注册。NameNode会将所有的元数据信息载入内存，加载完毕后，整个集群才能对外提供服务，如果集群中存储的文件比较多(实际项目中一般会以亿为单位)，势必会延长NameNode的启动时间，导致整个集群启动时间延长。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请提供了一种命名空间管理节点的启动方法和装置，以至少解决相关技术中命名空间管理节点的启动效率较低的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种命名空间管理节点的启动方法，包括：
[0007]接收启动请求，其中，所述启动请求用于请求启动命名空间管理节点；
[0008]响应所述启动请求，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程；
[0009]运行所述多个加载线程加载所述元数据；
[0010]在所述元数据加载完成时，确定所述命名空间管理节点启动成功。
[0011]可选地，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程包括：
[0012]获取所述数据信息，其中，所述数据信息包括：所述元数据中包括的数据分块的目标数量和每个数据分块的数据偏移量，所述目标数量为大于或者等于2的整数；
[0013]创建所述目标数量的所述加载线程，得到所述多个加载线程。
[0014]可选地，运行所述多个加载线程加载所述元数据包括：
[0015]并行运行所述目标数量的加载线程；
[0016]通过所述目标数量的加载线程中的每个加载线程，按照所述每个数据分块的数据偏移量加载元数据，其中，一个加载线程对应一个数据分块。
[0017]可选地，通过所述目标数量的加载线程中的每个加载线程，按照所述每个数据分块的数据偏移量加载元数据包括：
[0018]根据所述每个数据分块的数据偏移量确定所述每个加载线程在所述元数据中对应的目标数据分块；
[0019]通过所述每个加载线程加载所述目标数据分块的数据。
[0020]可选地，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程包括：
[0021]获取所述元数据所包括的多个数据段中每个数据段所划分的数据分块的数量；
[0022]为所述每个数据段创建与所述每个数据段所划分的数据分块的数量相同的加载线程。
[0023]可选地，运行所述多个加载线程加载所述元数据包括：
[0024]按照所述元数据中数据段的排列顺序加载所述元数据中的每个数据段；
[0025]在加载所述元数据中的每个数据段时，并行运行为所述每个数据段创建的加载线程加载在所述每个数据段中所对应的数据分块。
[0026]可选地，在根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程之前，所述方法还包括：
[0027]获取所述元数据的分段信息，其中，所述分段信息用于指示所述元数据被划分为第一数量的数据段；
[0028]将所述第一数量的数据段中每个数据段划分为预设数据量的数据分块；
[0029]记录所述预设数据量和所述第一数量的数据段中每个数据段对应的所述数据分块的第二数量，得到所述数据信息。
[0030]根据本申请实施例的另一方面，还提供了一种命名空间管理节点的启动装置，包括：
[0031]接收模块，用于接收启动请求，其中，所述启动请求用于请求启动命名空间管理节点；
[0032]创建模块，用于响应所述启动请求，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程；
[0033]运行模块，用于运行所述多个加载线程加载所述元数据；
[0034]确定模块，用于在所述元数据加载完成时，确定所述命名空间管理节点启动成功。
[0035]根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
[0036]根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
[0037]在本申请实施例中，采用接收启动请求，其中，启动请求用于请求启动命名空间管理节点；响应启动请求，根据命名空间管理节点所对应的元数据的数据信息创建多个加载线程；运行多个加载线程加载元数据；在元数据加载完成时，确定命名空间管理节点启动成功的方式，响应接收到的启动请求，根据命名空间管理节点的元数据的数据信息来创建多个加载线程，运行多个加载线程加载元数据从而快速启动命名空间管理节点，相比于单线程加载元数据的方式，达到了提高元数据的加载速度的目的，从而实现了提高命名空间管理节点的启动效率的技术效果，进而解决了相关技术中命名空间管理节点的启动效率较低
的技术问题。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是根据本申请实施例的命名空间管理节点的启动方法的硬件环境的示意图；
[0041]图2是根据本申请实施例的一种可选的命名空间管理节点的启动方法的流程图；
[0042]图3是根据本申请可选的实施方式的一种大数据存储系统的启动过程的示意图；
[0043]图4是根据本申请实施例的一种元数据的划分方式的示意图；
[0044]图5是根据本申请实施例的一种可选的命名空间管理节点的启动装置的示意图；
[0045]图6是根据本申请实施例的一种电子装置的结构框图。
具体实施方式
[0046]为了使本
的人员更好地理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种命名空间管理节点的启动方法，其特征在于，包括：接收启动请求，其中，所述启动请求用于请求启动命名空间管理节点；响应所述启动请求，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程；运行所述多个加载线程加载所述元数据；在所述元数据加载完成时，确定所述命名空间管理节点启动成功。2.根据权利要求1所述的方法，其特征在于，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程包括：获取所述数据信息，其中，所述数据信息包括：所述元数据中包括的数据分块的目标数量和每个数据分块的数据偏移量，所述目标数量为大于或者等于2的整数；创建所述目标数量的所述加载线程，得到所述多个加载线程。3.根据权利要求2所述的方法，其特征在于，运行所述多个加载线程加载所述元数据包括：并行运行所述目标数量的加载线程；通过所述目标数量的加载线程中的每个加载线程，按照所述每个数据分块的数据偏移量加载元数据，其中，一个加载线程对应一个数据分块。4.根据权利要求3所述的方法，其特征在于，通过所述目标数量的加载线程中的每个加载线程，按照所述每个数据分块的数据偏移量加载元数据包括：根据所述每个数据分块的数据偏移量确定所述每个加载线程在所述元数据中对应的目标数据分块；通过所述每个加载线程加载所述目标数据分块的数据。5.根据权利要求1所述的方法，其特征在于，根据所述命名空间管理节点所对应的元数据的数据信息创建多个加载线程包括：获取所述元数据所包括的多个数据段中每个数据段所划分的数据分块的数量；为所述每个数据段创建与所述每个数据段所划分的数据...

【专利技术属性】
技术研发人员：梁海昆，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：