分布式文件系统的存储方法技术方案

本申请涉及一种分布式文件系统的存储方法

【技术实现步骤摘要】
分布式文件系统的存储方法、装置、电子设备及存储介质


[0001]本申请涉及大数据
，特别涉及一种分布式文件系统的存储方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]在现如今的大数据计算场景下，存在大量的数据分析业务，需要对海量数据进行处理，生成对应的业务报表，以完成各种繁杂的数据分析任务
。
尤其是在数据量越来越大的今天，存储等级逐渐发展到
PB、EB
甚至更大，这对我们的存储介质提出了越来越高的要求
。Hadoop
生态框架存在同样的技术难点，
hdfs(Hadoop Distributed File System
，分布式文件系统
)
分布式文件系统的数据存储量也面临着巨大的压力，导致基于
hdfs
做数据存储的
hive
等数仓工具存储压力很大
。
[0003]相关技术通过增加
hdfs
的
datanode
节点数量，或者是扩容现有
datanode
节点上的数据盘大小以及挂载新的数据盘从而达到扩容集群现有存储量的目的
。
[0004]然而，相关技术存在如下缺点：
(1)
受限于单块数据盘存储上限；
(2)
受限于数据盘扩容后读写性；
(3)
增加
datanode
节点数量需要对
hdfs
集群进行扩容配置，不易于维护与集群稳定；
(4)
挂载新的数据盘需要不停的人为干预操作，挂载后需要重新进行数据存储平衡，影响集群的性能与稳定；
(5)
服务器节点与数据盘价格昂贵，增加项目成本
。

技术实现思路

[0005]本申请提供一种分布式文件系统的存储方法
、
装置
、
电子设备及存储介质，以解决分布式文件系统的扩容受限于数据盘的存储上限和扩容后的读写性；挂载新的数据盘需要人为干预，挂载后需要重新进行数据存储平衡，影响集群的性能与稳定，同时扩容的成本较高的问题，通过将
hadoop
生态框架中的存储介质
hdfs
与华为云
OBS(Object Storage Service
，对象存储
)
对象存储进行对接，让
hdfs
可以使用本地数据盘同时，还能使用
OBS
存储所需业务数据，达到同时有两种存储介质的目的，可以实现存储容量无上限，增加存储介质的动态扩容便利性，无需人为配置干预，降低人力维护成本，降低资源的采购成本
。
[0006]本申请第一方面实施例提供一种分布式文件系统的存储方法，包括以下步骤：确定分布式文件系统中的至少一个待对接应用；获取每个分布式文件系统和待对接应用对应的对象存储服务
OBS
插件包；以及将所述每个分布式文件系统对应的
OBS
插件包添加至分布式文件系统，并将待对接应用对应的
OBS
插件包添加至对应的待对接应用，并重启所有添加
OBS
插件包的待对接应用和分布式文件系统，得到目标应用和目标分布式文件系统
。
[0007]可选地，在一些实施例中，在得到所述目标分布式文件系统后，包括：获取待存储数据和存储指令，其中，所述存储指令包括所述待存储数据的存储位置；解析所述存储位置，在所述存储位置为本地存储时，将所述待存储数据存储至目标分布式文件系统，在所述存储位置为云存储时，基于所述目标分布式文件系统和所述目标分布式文件系统对应的
OBS
存储桶，存储所述待存储数据
。
[0008]可选地，在一些实施例中，所述基于所述目标分布式文件系统和所述目标分布式文件系统对应的
OBS
存储桶，存储所述待存储数据，包括：发送预先建立的目标存储密钥至所述
OBS
存储桶；接收所述
OBS
存储桶基于所述目标存储密钥反馈的验证结果，在所述验证结果为验证通过时，将所述待存储数据写入
OBS
存储桶
。
[0009]可选地，在一些实施例中，在重启所有添加
OBS
插件包的待对接应用之后，还包括：对所述所有添加
OBS
插件包的待对接应用进行对接验证，得到验证结果；在所述验证结果为验证成功时，判定所述所有添加
OBS
插件包的待对接应用完成对接
。
[0010]可选地，在一些实施例中，所述待对接应用，包括：
HFDS
集群
、Mapreduce
集群
、Spark
集群和
Hive
集群中的至少一种
。
[0011]本申请第二方面实施例提供一种分布式文件系统的存储装置，包括：确定模块，用于确定分布式文件系统中的至少一个待对接应用；获取模块，用于获取每个分布式文件系统和待对接应用对应的对象存储服务
OBS
插件包；以及生成模块，用于将所述分布式文件系统对应的
OBS
插件包添加至分布式文件系统，并将每个待对接应用对应的
OBS
插件包添加至对应的待对接应用，并重启所有添加
OBS
插件包的待对接应用和分布式文件系统，得到目标应用和目标分布式文件系统
。
[0012]可选地，在一些实施例中，在得到所述目标分布式文件系统后，所述生成模块，包括：获取单元，用于获取待存储数据和存储指令，其中，所述存储指令包括所述待存储数据的存储位置；存储单元，用于解析所述存储位置，在所述存储位置为本地存储时，将所述待存储数据存储至目标分布式文件系统，在所述存储位置为云存储时，基于所述目标分布式文件系统和所述目标分布式文件系统对应的
OBS
存储桶，存储所述待存储数据
。
[0013]可选地，在一些实施例中，所述存储单元，包括：发送子单元，用于发送预先建立的目标存储密钥至所述
OBS
存储桶；接收子单元，用于接收所述
OBS
存储桶基于所述目标存储密钥反馈的验证结果，在所述验证结果为验证通过时，将所述待存储数据写入
OBS
存储桶
。
[0014]可选地，在一些实施例中，在重启所有添加
OBS
插件包的待对接应用之后，所述生成模块，还包括：验证单元，用于对所述所有添加
OBS
插件包的待对接应用进行对接验证，得到验证结果；判定单元，用于在所述验证结果为验证成功时，判定所述所有添加
OBS
插件包的待对接应用完成对接
。
[0015]可选地，在一些实施例中，所述待对接应用，包括：
...

【技术保护点】

【技术特征摘要】
1.
一种分布式文件系统的存储方法，其特征在于，包括以下步骤：确定分布式文件系统中的至少一个待对接应用；获取分布式文件系统和每个待对接应用对应的对象存储服务
OBS
插件包；以及将所述分布式文件系统对应的
OBS
插件包添加至分布式文件系统，并将每个待对接应用对应的
OBS
插件包添加至对应的待对接应用，并重启所有添加
OBS
插件包的待对接应用和分布式文件系统，得到目标应用和目标分布式文件系统
。2.
根据权利要求1所述的方法，其特征在于，在得到所述目标分布式文件系统后，包括：获取待存储数据和存储指令，其中，所述存储指令包括所述待存储数据的存储位置；解析所述存储位置，在所述存储位置为本地存储时，将所述待存储数据存储至目标分布式文件系统，在所述存储位置为云存储时，基于所述目标分布式文件系统和所述目标分布式文件系统对应的
OBS
存储桶，存储所述待存储数据
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述目标分布式文件系统和所述目标分布式文件系统对应的
OBS
存储桶，存储所述待存储数据，包括：发送预先建立的目标存储密钥至所述
OBS
存储桶；接收所述
OBS
存储桶基于所述目标存储密钥反馈的验证结果，在所述验证结果为验证通过时，将所述待存储数据写入
OBS
存储桶
。4.
根据权利要求1所述的方法，其特征在于，在重启所有添加
OBS
插件包的待对接应用之后，还包括：对所述所有添加
OBS
插件包的待对接应用进行对接验证，得到验证结果；在所述验证结果为验证成功时，判定所述所有添加
OBS
插件包的待对接应用完成对接
。5.
根据权利要求1所述的方法，其特征在于，所述待对接应用，包括：
HFDS
集群
、Mapreduce
集群
、Spa...

【专利技术属性】
技术研发人员：窦益坤，方银春，
申请(专利权)人：芜湖雄狮汽车科技有限公司奇瑞汽车股份有限公司，
类型：发明
国别省市：