数据的存储方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种数据的存储方法、装置、电子设备和存储介质，应用于数据处理技术领域，其中，方法包括：获取分布式文件系统的名字节点中存储的元数据；确定元数据中的冷数据；将冷数据存储到预设的外部存储单元中，并删除名字节点中的冷数据。以解决现有技术中，由于名字节点的内存被消耗的越来越多，影响名字节点的响应速度以及名字节点的启动速度的问题。的响应速度以及名字节点的启动速度的问题。的响应速度以及名字节点的启动速度的问题。

【技术实现步骤摘要】
数据的存储方法、装置、电子设备和存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据的存储方法、装置、电子设备和存储介质。

技术介绍

[0002]Hadoop是由Apache基金主导的集群分布式项目，主要包含两个核心模块：Map/Reduce编程模式和HDFS(Hadoop Distribute File System)分布式文件系统。其中，HDFS主要通过文件数据块的多备份机制、心跳机制等来实现数据的高可用性、集群扩展性和数据的高速读写等特性。由于HDFS的上述特性，目前，大多数企业选择以HDFS为基础构建云存储。
[0003]HDFS集群有两类节点，并以管理者
‑
工作者模式运行，即一个NameNode(名字节点)作为管理者和多个DataNode(数据节点)作为工作者。NameNode(以下简称NN)主要负责管理HDFS文件系统，DataNode(以下简称DN)主要是用来存储数据文件。
[0004]大数据技术中，使用HDFS作为数据存储系统，同时这些数据的元数据信息会在NN内存中进行索引，NN的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的存储方法，其特征在于，包括：获取分布式文件系统的名字节点中存储的元数据；确定所述元数据中的冷数据；将所述冷数据存储到预设的外部存储单元中，并删除所述名字节点中的冷数据。2.根据权利要求1所述的数据的存储方法，其特征在于，所述将所述冷数据存储到预设的外部存储单元中，并删除所述名字节点中的冷数据之后，还包括：获取数据查询请求；判断所述名字节点中是否存在与所述数据查询请求对应的目标元数据；若所述名字节点中存在与所述数据查询请求对应的目标元数据时，返回所述目标元数据对应的存储数据；若所述名字节点中不存在与所述数据查询请求对应的目标元数据时，基于所述预设的外部存储单元，得到所述目标元数据对应的存储数据。3.根据权利要求2所述的数据的存储方法，其特征在于，所述基于所述预设的外部存储单元，得到所述目标元数据对应的存储数据，包括：判断所述预设的外部存储单元是否存在与所述数据查询请求对应的目标元数据；若所述预设的外部存储单元中存在所述目标元数据，将所述目标元数据加载至所述名字节点中，并返回所述目标元数据对应的存储数据。4.根据权利要求1所述的数据的存储方法，其特征在于，所述元数据的数量为至少一个，所述确定名字节点存储的元数据中的冷数据，包括：获取每个所述元数据各自的使用参数值，所述使用参数值指所述元数据在调用过程中产生的参数值；将不满足预设条件的使用参数值对应的元数据，作为所述冷数据。5.根据权利要求4所述的数据的存储方法，其特征在于，所述使用参数包括使用频率和/或使用间隔时长。6.根据权利要求1所述的数据的存储方法，其特...

【专利技术属性】
技术研发人员：梁海昆，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：