文件存储方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种文件存储方法、装置、设备及存储介质。该方法包括：根据待存储文件的大小创建多个设定大小的存储区块，并根据多个存储区块的信息生成所述待存储文件的索引文件；根据多个客户端的存储请求扫描所述索引文件中的存储区块信息，确定多个满足存储条件的目标区块；将所述待存储文件中设定大小的数据分别存储至目标区块中；确定目标区块完成存储，返回执行根据至少一个客户端的存储请求扫描所述索引文件中的存储区块信息，确定至少一个满足存储条件的目标区块的操作，直到确定所有存储区块完成存储。本发明专利技术实施例提供的文件存储方法，可以将待存储文件的数据同时写入多个存储区块，提高大文件的存储速率，节省时间。

【技术实现步骤摘要】
文件存储方法、装置、设备及存储介质
本专利技术实施例涉及数据存储
，尤其涉及一种文件存储方法、装置、设备及存储介质。
技术介绍
在互联网产品中，随着多媒体应用和大数据应用越来越普及，超大的单个文件，如几百GB甚至TB级别的文件越来越多。几百GB级别、甚至TB级的单个大文件的存储对当前的分布式存储技术提出了相应的挑战。当前的分布式存储系统，如Hadoop分布式文件系统(HadoopDistributedFileSystem，HDFS)采取的方案是：将超大文件切分成默认64MB的数据块，将这些数据块分别存放到不同的数据盘上并在文件管理器(NameNode)中记录当前的文件由哪些数据块组成。在写入大文件的过程中，客户端采用将数据依次写入各个存储区块形成数据块。上述方案存在如下的缺点：当前的文件只能依次写入各个数据块，影响数据存储速率，浪费时间。
技术实现思路
本专利技术实施例提供一种文件存储方法、装置、设备及存储介质，以实现对大文件的并行存储，提高大文件的存储速率，节省时间。第一方面，本专利技术实施例提供了一本文档来自技高网...

【技术保护点】
1.一种文件存储方法，其特征在于，包括：/n根据待存储文件的大小创建多个设定大小的存储区块，并根据多个存储区块的信息生成所述待存储文件的索引文件；/n根据至少一个客户端的存储请求扫描所述索引文件中的存储区块信息，确定至少一个满足存储条件的目标区块；/n将所述待存储文件中设定大小的数据分别存储至目标区块中；/n确定目标区块完成存储，返回执行根据至少一个客户端的存储请求扫描所述索引文件中的存储区块信息，确定至少一个满足存储条件的目标区块的操作，直到确定所有存储区块完成存储。/n

【技术特征摘要】
1.一种文件存储方法，其特征在于，包括：
根据待存储文件的大小创建多个设定大小的存储区块，并根据多个存储区块的信息生成所述待存储文件的索引文件；
根据至少一个客户端的存储请求扫描所述索引文件中的存储区块信息，确定至少一个满足存储条件的目标区块；
将所述待存储文件中设定大小的数据分别存储至目标区块中；
确定目标区块完成存储，返回执行根据至少一个客户端的存储请求扫描所述索引文件中的存储区块信息，确定至少一个满足存储条件的目标区块的操作，直到确定所有存储区块完成存储。


2.根据权利要求1所述的方法，其特征在于，存储区块的信息包括：存储区块的编号、存储区块的当前状态、最近向存储区块写入数据的客户端标识信息、最近向存储区块写入数据的时间、存储区块的位置。


3.根据权利要求2所述的方法，其特征在于，根据待存储文件的大小创建多个设定大小的存储区块，并根据多个存储区块的信息生成所述待存储文件的索引文件，包括：
接收客户端发送的创建请求，所述创建请求中包括待存储文件的大小和哈希值；
根据所述待存储文件的大小和哈希值查询键值数据库中是否存储有所述待存储文件的索引文件；
若没有，则根据所述待存储文件的大小确定存储区域；
将所述存储区域划分为多个设定大小的存储区块，并获取多个存储区块的信息；
根据所述多个存储区块的信息生成所述待存储文件的索引文件。


4.根据权利要求3所述的方法，其特征在于，根据所述多个存储区块的信息生成所述待存储文件的索引文件之后，还包括：
将所述待存储文件的大小、哈希值和索引文件存储至键值数据库中。


5.根据权利要求2所述的方法，其特征在于，存储条件包括：存储区块的当前状态为初始化或者上传中，最近向存...

【专利技术属性】
技术研发人员：郭军，陈飞，蒋德为，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44