System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文件分块存储方法、装置及电子设备制造方法及图纸_技高网

文件分块存储方法、装置及电子设备制造方法及图纸

技术编号:41155922 阅读:2 留言:0更新日期:2024-04-30 18:20
本申请公开了一种文件分块存储方法、装置、电子设备及计算机可读存储介质,方法应用于客户端,包括:对待上传文件进行分块得到待上传文件对应的各分块,基于分块的内容得到各分块分别对应的唯一编码;将待上传文件对应的各分块以及分块对应的唯一编码上传到云存储服务端;对已上传文件对应的修改后文件进行分块得到修改后文件对应的各修改后分块,并基于修改后分块的内容得到各修改后分块分别对应的唯一编码;从各修改后分块分别对应的唯一编码中选择不一致编码,并将不一致编码以及不一致编码对应的修改后分块上传到云存储服务端。使用本申请提供的方案进行文件分块存储能够降低修改后文件分块存储到云存储服务端所消耗的系统资源。

【技术实现步骤摘要】

本申请涉及数据存储,具体涉及一种文件分块存储方法、装置、电子设备及计算机可读存储介质。


技术介绍

1、在当今数字化时代,数据的规模和复杂性不断增长,传统的存储方法面临着挑战。为了更高效安全地管理和存储大规模数据,分块存储技术应运而生。分块存储技术通过将数据划分为较小的块并分散上传到远程云空间上,既能有效的提高存储和访问效率,也能极大的提高数据安全性。

2、相关技术在进行分块存储时,通常是将一个文件分割为多个分块上传到云存储服务端,当文件在客户端被修改后,需要将修改后的文件重新分割为多个分块,并将重新分割的多个分块上传到云存储服务端,以使云存储服务端分块存储修改后的文件,实现分块存储的同步更新。

3、然而,将修改后文件的多个分块均重新上传到云存储服务端会耗费比较大的系统资源,对云存储服务端和客户端的设备资源耗费均比较大,且上传效率也比较低。


技术实现思路

1、本申请提供了一种文件分块存储方法、装置、电子设备及计算机可读存储介质,能够降低修改后文件分块存储到云存储服务端所消耗的系统资源,降低了分块存储对云存储服务端和客户端的资源耗费,提高了分块存储的文件上传效率。具体方案如下。

2、第一方面,本申请实施例提供了一种文件分块存储方法,应用于客户端,所述方法包括:

3、对待上传文件进行分块,得到所述待上传文件对应的各分块,并基于所述分块的内容使用预设编码算法对所述分块进行编码,得到各所述分块分别对应的唯一编码;

4、将所述待上传文件对应的各所述分块以及各所述分块分别对应的唯一编码上传到云存储服务端,以使所述云存储服务端存储所述待上传文件的各所述分块以及各所述分块分别对应的唯一编码;

5、在检测到已上传到所述云存储服务端的已上传文件被修改时,对所述已上传文件对应的修改后文件进行分块,得到所述修改后文件对应的各修改后分块,并基于所述修改后分块的内容使用所述预设编码算法对所述修改后分块进行编码,得到各所述修改后分块分别对应的唯一编码;

6、从各所述修改后分块分别对应的唯一编码中选择与所述已上传文件对应的各唯一编码不一致的不一致编码,并将所述不一致编码以及所述不一致编码对应的修改后分块上传到所述云存储服务端,以使所述云存储服务端存储所述不一致编码以及对应的修改后分块。

7、第二方面,本申请实施例还提供了一种文件分块存储装置,应用于客户端,所述装置包括:

8、分块单元,用于对待上传文件进行分块,得到所述待上传文件对应的各分块,并基于所述分块的内容使用预设编码算法对所述分块进行编码,得到各所述分块分别对应的唯一编码;

9、上传单元,用于将所述待上传文件对应的各所述分块以及各所述分块分别对应的唯一编码上传到云存储服务端,以使所述云存储服务端存储所述待上传文件的各所述分块以及各所述分块分别对应的唯一编码;

10、所述上传单元还用于在检测到已上传到所述云存储服务端的已上传文件被修改时,对所述已上传文件对应的修改后文件进行分块,得到所述修改后文件对应的各修改后分块,并基于所述修改后分块的内容使用所述预设编码算法对所述修改后分块进行编码,得到各所述修改后分块分别对应的唯一编码;

11、所述上传单元还用于从各所述修改后分块分别对应的唯一编码中选择与所述已上传文件对应的各唯一编码不一致的不一致编码,并将所述不一致编码以及所述不一致编码对应的修改后分块上传到所述云存储服务端,以使所述云存储服务端存储所述不一致编码以及对应的修改后分块。

12、第三方面,本申请实施例还提供了一种电子设备,包括:

13、处理器;以及

14、存储器,用于存储数据处理程序,该电子设备通电并通过所述处理器运行该程序后,执行如第一方面任一项所述的方法。

15、第四方面,本申请实施例还提供了一种计算机可读存储介质,存储有数据处理程序,该程序被处理器运行,执行如第一方面任一项所述的方法。

16、与现有技术相比,本申请具有以下优点:

17、本申请实施例提供的文件分块存储方法,客户端先对待上传文件进行分块,得到待上传文件对应的各分块,并基于分块的内容使用预设编码算法对待上传文件的各分块分别进行编码,得到各分块分别对应的唯一编码,由于本申请实施例是基于分块的内容进行编码得到的分块对应的唯一编码的,所以,不同分块内容对应的唯一编码不同,相同的分块内容对应的唯一编码相同,唯一编码能够唯一标识分块,再将待上传文件对应的各分块以及各分块分别对应的唯一编码上传到云存储服务端,这样,云存储服务端就能够存储待上传文件的各分块以及各分块分别对应的唯一编码。客户端在检测到已上传到云存储服务端的已上传文件被修改时,会对该已上传文件对应的修改后文件进行分块,得到修改后文件对应的各修改后分块,并基于修改后分块的分块内容使用上述预设编码算法对修改后分块进行编码,得到各修改后分块分别对应的修改后唯一编码,再从各修改后分块分别对应的唯一编码中选择与上述已上传文件对应的各唯一编码不一致的不一致编码,由于修改后分块对应的唯一编码与已上传文件的分块对应的唯一编码均是基于分块本身的内容使用预设编码算法得到的,因此,当修改后分块对应的唯一编码和已上传文件的分块对一个的唯一编码相同时,说明修改分块的内容与已上传文件的分块的内容相同,当修改后分块对应的唯一编码与已上传文件的分块对应的唯一编码不同时,说明修改后分块的内容与已上传文件的分块的内容不相同,即不一致编码对应的修改后分块的内容与已上传文件对应的分块的内容不相同,这种情况下,将不一致编码以及不一致编码对应的修改后分块上传到云存储服务端,使云存储服务端能够将已上述已上传文件的目标分块以及该目标分块对应的唯一编码替换为上述不一致编码以及不一致编码对应的修改后分块,目标分块为已上传文件对应的各分块中与不一致编码对应的分块。

18、可见,使用本申请提供的方案能够将各修改后分块中与已上传文件的分块不同的分块进行上传,而相同的分块无需上传,从而既能够在云存储服务端中更新已经发生了变化的分块,也无需进行相同分块的多次重复上传,降低了修改后文件分块存储到云存储服务端所消耗的系统资源,即降低了分块存储对云存储服务端和客户端的资源耗费,提高了分块存储的文件上传效率。

本文档来自技高网...

【技术保护点】

1.一种文件分块存储方法,其特征在于,应用于客户端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对待上传文件进行分块,得到所述待上传文件对应的各分块,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定待上传文件的各逻辑分块大小,包括:

4.根据权利要求2所述的方法,其特征在于,所述确定待上传文件的各逻辑分块大小以及确定各逻辑分块下各物理分块大小,包括:

5.根据权利要求4所述的方法,其特征在于,所述按照变长分块的方式确定待上传文件的各逻辑分块大小,包括:

6.根据权利要求1所述的方法,其特征在于,所述对待上传文件进行分块,包括:

7.根据权利要求1至5任一项所述的方法,其特征在于,在所述对待上传文件进行分块之前,所述方法还包括:

8.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1至5任一项所述的方法,其特征在于,所述将所述待上传文件对应的各所述分块以及各所述分块分别对应的唯一编码上传到云存储服务端,以使所述云存储服务端存储所述待上传文件的各所述分块以及各所述分块分别对应的唯一编码,包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.一种文件分块存储装置,其特征在于,应用于客户端,所述装置包括:

12.一种电子设备,其特征在于,包括:

13.一种计算机可读存储介质,其特征在于,存储有数据处理程序,该程序被处理器运行,执行如权利要求1-10中任一项所述的方法。

...

【技术特征摘要】

1.一种文件分块存储方法,其特征在于,应用于客户端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对待上传文件进行分块,得到所述待上传文件对应的各分块,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定待上传文件的各逻辑分块大小,包括:

4.根据权利要求2所述的方法,其特征在于,所述确定待上传文件的各逻辑分块大小以及确定各逻辑分块下各物理分块大小,包括:

5.根据权利要求4所述的方法,其特征在于,所述按照变长分块的方式确定待上传文件的各逻辑分块大小,包括:

6.根据权利要求1所述的方法,其特征在于,所述对待上传文件进行分块,包括:

7.根据权利要求1至5任一项所述的方法,其特征在于,在所述对待上传文件...

【专利技术属性】
技术研发人员:吴玮
申请(专利权)人:数篷科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1