一种公有云分布式文件存储方法技术

本发明专利技术公开一种公有云分布式文件存储方法

【技术实现步骤摘要】
一种公有云分布式文件存储方法、系统及设备


[0001]本专利技术涉及文件存储领域，特别是涉及一种公有云分布式文件存储方法
、
系统及设备
。

技术介绍

[0002]目前主流的分布式文件存储系统多为
HDFS
，其本质是文件管理系统，
HDFS
是虚拟的文件系统，将磁盘集群抽象为一个文件操作系统，外部想要获取
/
写入数据都是通过操作文件系统
(
基于路径来定位数据
)
来进行的
。
但
HDFS
需要占用大量内存来存储文件目录和块信息，不适合大量小文件存储
、
延时高，对硬件设备要求较高，并且容错性需要靠大量保存副本来支撑
。

技术实现思路

[0003]本专利技术的目的是提供一种公有云分布式文件存储方法
、
系统及设备，能够快速处理大量分布式的文件，且提高数据存储的安全性
。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种公有云分布式文件存储方法，包括：
[0006]根据文件系统中的数据盘创建底层文件目录，并形成文件桶
bucket
的逻辑空间；
[0007]将文件桶
bucket
以
meta
数据写为
xl.json
格式文件；每个
xl.json
格式文件用于记载文件桶
bucket
名称
bucket_name、
版本
version、
对象锁
object_locking
和策略配置
quota
；
[0008]从分布式的业务系统中进行文件的上传；并将上传后的文件作为对象，同时生成对象的元数据；
[0009]对对象以及相应的元数据进行加密以及上传；
[0010]将上传后的数据分为多个
block
，并进行纠删码计算；
[0011]将纠删码计算后的
block
划分
N
个数据分片；
[0012]将分片后的数据通过并行的写操作进行数据落盘；
[0013]数据落盘时，将落盘的数据生成
meta
数据以
json
格式，与文件桶
bucket
的
xl.json
格式文件在同一底层文件目录中进行存储；
[0014]当业务系统访问文件桶
bucket
或操作资源时，根据密钥以及对应的文件桶
bucket
的策略配置
quota
进行访问控制
。
[0015]可选地，所述元数据包括：用户信息
account。
[0016]可选地，所述对对象以及相应的元数据进行加密以及上传，具体包括：
[0017]使用密钥管理系统
KMS
对对象以及相应的元数据进行服务器端加密；
[0018]对服务器端加密后的数据进行
TLS
证书加密
。
[0019]可选地，所述落盘的数据生成的
meta
数据包括：用户信息
account、
文件桶
bucket
以及文件桶
bucket
索引
bucket index。
[0020]可选地，所述当业务系统访问文件桶
bucket
或操作资源时，根据密钥以及对应的文件桶
bucket
的策略配置
quota
进行访问控制，具体包括：
[0021]使用
AWS
‑
IAM
工具，基于策略配置
quota
进行访问控制
。
[0022]一种公有云分布式文件存储系统，包括：
[0023]文件桶
bucket
创建模块，用于根据文件系统中的数据盘创建底层文件目录，并形成文件桶
bucket
的逻辑空间；
[0024]格式文件生成模块，用于将文件桶
bucket
以
meta
数据写为
xl.json
格式文件；每个
xl.json
格式文件用于记载文件桶
bucket
名称
bucket_name、
版本
version、
对象锁
object_locking
和策略配置
quota
；
[0025]文件处理模块，用于从分布式的业务系统中进行文件的上传；并将上传后的文件作为对象，同时生成对象的元数据；
[0026]加密上传模块，用于对对象以及相应的元数据进行加密以及上传；
[0027]纠删码计算模块，用于将上传后的数据分为多个
block
，并进行纠删码计算；
[0028]数据分片模块，用于将纠删码计算后的
block
划分
N
个数据分片；
[0029]数据落盘模块，用于将分片后的数据通过并行的写操作进行数据落盘；
[0030]存储模块，用于数据落盘时，将落盘的数据生成
meta
数据以
json
格式，与文件桶
bucket
的
xl.json
格式文件在同一底层文件目录中进行存储；
[0031]访问模块，用于当业务系统访问文件桶
bucket
或操作资源时，根据密钥以及对应的文件桶
bucket
的策略配置
quota
进行访问控制
。
[0032]一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种公有云分布式文件存储方法
。
[0033]可选地，所述存储器为计算机可读存储介质
。
[0034]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0035]本专利技术所提供的一种公有云分布式文件存储方法
、
系统及设备，基于对象存储，支持不同类型
、
不同大小的文件存储，效率更高，适用于公有云大量文件存储的场景；利用文件桶的逻辑空间方式进行策略配置，并基于策略进行有效的访问控制；结合纠删码算法，保护数据免受硬件故障而损坏，只要保证
N
个分片存在，无论数据分片还是冗余分片，数据就是可修复的
。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种公有云分布式文件存储方法，其特征在于，包括：根据文件系统中的数据盘创建底层文件目录，并形成文件桶
bucket
的逻辑空间；将文件桶
bucket
以
meta
数据写为
xl.json
格式文件；每个
xl.json
格式文件用于记载文件桶
bucket
名称
bucket_name、
版本
version、
对象锁
object_locking
和策略配置
quota
；从分布式的业务系统中进行文件的上传；并将上传后的文件作为对象，同时生成对象的元数据；对对象以及相应的元数据进行加密以及上传；将上传后的数据分为多个
block
，并进行纠删码计算；将纠删码计算后的
block
划分
N
个数据分片；将分片后的数据通过并行的写操作进行数据落盘；数据落盘时，将落盘的数据生成
meta
数据以
json
格式，与文件桶
bucket
的
xl.json
格式文件在同一底层文件目录中进行存储；当业务系统访问文件桶
bucket
或操作资源时，根据密钥以及对应的文件桶
bucket
的策略配置
quota
进行访问控制
。2.
根据权利要求1所述的一种公有云分布式文件存储方法，其特征在于，所述元数据包括：用户信息
account。3.
根据权利要求1所述的一种公有云分布式文件存储方法，其特征在于，所述对对象以及相应的元数据进行加密以及上传，具体包括：使用密钥管理系统
KMS
对对象以及相应的元数据进行服务器端加密；对服务器端加密后的数据进行
TLS
证书加密
。4.
根据权利要求1所述的一种公有云分布式文件存储方法，其特征在于，所述落盘的数据生成的
meta
数据包括：用户信息
account、
文件桶
bucket
以及文件桶
bucket
索引
bucket index。5.
根据权利要求1所述的一种公有云分布式文件存储方法，其特征在于，所述当业务系统访问文件桶
...

【专利技术属性】
技术研发人员：蒋琦洪，谢翔，杨艳秋，周纬，赵双楹，
申请(专利权)人：上海欧冶金诚信息服务股份有限公司，
类型：发明
国别省市：