一种数据的存储方法、装置、存储介质及电子设备制造方法及图纸

技术编号:42887715 阅读:18 留言:0更新日期:2024-09-30 15:08
本申请公开了一种数据的存储方法、装置、存储介质及电子设备,涉及数据处理技术领域,其中方法包括:首先获取客户端上传的存储请求中待存储数据对应的挂载协议类型;若挂载协议类型为对象存储协议类型,则确定待存储数据对应的键值信息,并基于键值信息将挂载协议类型转换为HDFS协议类型,HDFS协议类型为预设云存储网关支持的协议类型;通过预设云存储网关,将转换后的HDFS协议类型的待存储数据上传至云端进行存储。与目前现有技术相比,本申请通过将挂载协议类型转换为HDFS协议类型,再通过预设云存储网关进行数据存储,使得预设云存储网关可以兼容多种存储类型,避免出现多种存储类型导致的计算加载困难、数据存储复杂度高的问题。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据的存储方法、装置、存储介质及电子设备


技术介绍

1、分布式文件存储系统(hadoop distributed file system,hdfs)是大数据生态的默认的、基于文件的存储系统,主要适用于私有云大数据批处理场景;专业阵列存储设备,只提供高密度存储能力,多用于私有云场景进行历史数据存档;对象存储以对象的形式存储数据,每个对象包含数据本身、元数据和唯一的标识符,多适用于公有云环境。

2、目前,由于私有云高密度存储,私有云分布式存储,公有云对象存储三种存储架构缺乏访问统一入口,若要同时访问三种存储架,需要根据存储类型切换不同的访问入口,进行数据存储。

3、然而,现有的大数据存储架构中hdfs为文件系统传统目录树架构,而对象存储为键值对(key-value)形式的对象存储服务。两者存在一定的不兼容性,hdfs集成方案中将路径直接转化为对象存储的key,方便快速获取数据。但在获取某一目录下所有文件场景时,需要遍历整个对象存储的所有key进行前置匹配,其时延较高较差。另外,hdfs集成方案中涉及文件本文档来自技高网...

【技术保护点】

1.一种数据的存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取客户端上传的存储请求中待存储数据对应的挂载协议类型,包括:

3.根据权利要求2所述的方法,其特征在于,在所述若所述挂载协议类型为对象存储协议类型,则确定所述待存储数据对应的键值信息,并基于所述键值信息将所述挂载协议类型转换为分布式文件存储系统HDFS协议类型之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述若所述挂载协议类型为对象存储协议类型,则确定所述待存储数据对应的键值信息,并基于所述键值信息将所述挂载协议类型转换为分布式文件存储系统H...

【技术特征摘要】

1.一种数据的存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取客户端上传的存储请求中待存储数据对应的挂载协议类型,包括:

3.根据权利要求2所述的方法,其特征在于,在所述若所述挂载协议类型为对象存储协议类型,则确定所述待存储数据对应的键值信息,并基于所述键值信息将所述挂载协议类型转换为分布式文件存储系统hdfs协议类型之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述若所述挂载协议类型为对象存储协议类型,则确定所述待存储数据对应的键值信息,并基于所述键值信息将所述挂载协议类型转换为分布式文件存储系统hdfs协议类型,包括:

5.根据权利要求4所述的方法,其特征在于,所述依据所述路径操作请求类型确定预设键值数据库中所述待存储数据对应的键值信息,并基于所述...

【专利技术属性】
技术研发人员:王杰
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1