数据处理方法、装置、设备以及存储介质制造方法及图纸

技术编号:41622979 阅读:13 留言:0更新日期:2024-06-13 02:23
本公开提供了一种数据处理方法、装置、设备以及存储介质,涉及云计算技术领域,可应用于云平台。该方法包括:从待存储数据中确定元数据以及文件数据;基于元数据对文件数据进行分片,将每个分片数据的标识信息保存至元数据中;基于标识信息将分片数据存储至云端存储单元,并将元数据存储至本地存储单元或共享存储单元。该方法基于分片数据的标识信息对文件数据进行了去重存储,还保证了文件系统的高并发运作。

【技术实现步骤摘要】

本公开涉及云计算,尤其涉及一种数据处理方法、装置、设备以及存储介质


技术介绍

1、文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于nand flash的固态硬盘)或分区上的文件的方法和数据结构,即在存储设备上组织文件的方法。网络文件系统(network file system,nfs)是文件系统之上的一个网络抽象,其允许远程客户端以与本地文件系统类似的方式来通过网络进行访问。


技术实现思路

1、本公开提供了一种数据处理方法、装置、设备以及存储介质。

2、根据本公开的第一方面,提供了一种数据处理方法,包括:从待存储数据中确定元数据以及文件数据;基于元数据对文件数据进行分片,将每个分片数据的标识信息保存至元数据中;基于标识信息将分片数据存储至云端存储单元,并将元数据存储至本地存储单元或共享存储单元。

3、根据本公开的第二方面,提供了一种数据处理装置,包括:第一确定模块,被配置成从待存储数据中确定元数据以及文件数据;分片模块,被配置成基于元数据对文件数据进行分片,将每个分片数据的本文档来自技高网...

【技术保护点】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述元数据包括所述文件数据的属性信息;以及

3.根据权利要求2所述的方法,其中,所述基于所述标识信息将所述分片数据存储至云端存储单元,包括:

4.根据权利要求3所述的方法,其中,还包括:

5.根据权利要求4所述的方法,其中,所述基于所述目标读取分片的标识信息从所述目标读取分片所处位置对应的存储单元读取所述目标读取分片,包括:

6.根据权利要求5所述的方法,其中,还包括:

7.根据权利要求3所述的方法,其中,还包括:

8.根据权利要求7所述的...

【技术特征摘要】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述元数据包括所述文件数据的属性信息;以及

3.根据权利要求2所述的方法,其中,所述基于所述标识信息将所述分片数据存储至云端存储单元,包括:

4.根据权利要求3所述的方法,其中,还包括:

5.根据权利要求4所述的方法,其中,所述基于所述目标读取分片的标识信息从所述目标读取分片所处位置对应的存储单元读取所述目标读取分片,包括:

6.根据权利要求5所述的方法,其中,还包括:

7.根据权利要求3所述的方法,其中,还包括:

8.根据权利要求7所述的方法,其中,所述基于判断结果写入所述待写入数据,包括:

9.根据权利要求7所述的方法,其中,所述基于判断结果写入所述待写入数据,还包括:

10.一种数据处理装置,包括:

11.根据权利要求10所述的装置,其中,所...

【专利技术属性】
技术研发人员:万琼柱高佳祥徐荣波冯荣汉涂勇策周志勇
申请(专利权)人:广州度岭科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1