System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文件读取方法、装置、设备及存储介质制造方法及图纸_技高网

文件读取方法、装置、设备及存储介质制造方法及图纸

技术编号:40055261 阅读:6 留言:0更新日期:2024-01-16 21:50
本发明专利技术属于数据存储技术领域,公开了一种文件读取方法、装置、设备及存储介质。本发明专利技术通过根据访问目录确定待读取文件在存储目录中的定向目录路径,存储目录是用户态文件系统应用所创建的与访问目录关联的本地文件系统目录;根据定向目录路径确定待读取文件的文件存储模式;在文件存储模式为离散存储模式时,根据待读取文件的重定向名称确定待读取文件在存储目录中的离散目录路径;根据离散目录路径对待读取文件进行重定向读取。利用用户态文件系统应用创建访问目录和存储目录,使用户能够在单一目录中访问海量文件,有效解决了单一文件系统存储容量和存储数量的限制,保证了对海量文件进行备份时文件的完整性,同时提升了文件处理的性能。

【技术实现步骤摘要】

本专利技术涉及数据存储,尤其涉及一种文件读取方法、装置、设备及存储介质


技术介绍

1、随着云计算、大数据技术的发展,新型的文件系统(例如:对象存储系统,nas专有存储文件系统等)支持海量文件的存储,特别是在单一目录中可支持海量文件的存储。对于灾备领域,常见使用异构系统进行数据备份,例如:将对象存储中的数据备份到本地文件系统中,将高性能nas中的数据备份到本地文件系统中等。当单一目录中有海量文件时,本地文件系统的存储存在以下缺点:由于本地文件系统使用b+树结构进行数据存储,每处理一个新文件,其处理的时间复杂度将达到o(1)−o(h),且会触发大量随机io操作,导致处理文件时性能低下。同时由于单一文件系统有存储容量和存储数量的限制,数据备份时受到相同的限制,导致海量文件无法在一个文件系统中完全存储下来。

2、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本专利技术的主要目的在于提供一种文件读取方法、装置、设备及存储介质,旨在解决现有技术在对单一目录下的海量文件进行备份时,无法保证海量文件存储时的完整性且备份时处理效率低下的技术问题。

2、为实现上述目的,本专利技术提供了一种文件读取方法,所述方法包括以下步骤:

3、在接收到文件读取请求时,根据访问目录确定待读取文件在存储目录中的定向目录路径,所述存储目录是用户态文件系统应用所创建的与所述访问目录关联的本地文件系统目录;

4、根据所述定向目录路径确定所述待读取文件的文件存储模式;

5、在所述文件存储模式为离散存储模式时,根据所述待读取文件的重定向名称确定所述待读取文件在所述存储目录中的离散目录路径;

6、根据所述离散目录路径对所述待读取文件进行重定向读取。

7、可选地,所述根据所述定向目录路径确定所述待读取文件的文件存储模式,包括:

8、根据所述定向目录路径在所述存储目录中确定所述待读取文件的分级目录;

9、在所述分级目录中查找是否存在模式标志文件;

10、在所述分级目录中存在模式标志文件时,确定所述待读取文件在所述分级目录下的文件存储模式为离散存储模式。

11、可选地,所述在所述文件存储模式为离散存储模式时,根据所述待读取文件的重定向名称确定所述待读取文件在所述存储目录中的离散目录路径之前,还包括:

12、根据预设散列函数对所述待读取文件的文件名进行散列值计算,得到所述待读取文件的文件名散列值;

13、对所述文件名散列值进行进制转换,得到所述待读取文件的重定向目录名;

14、根据所述重定向目录名和所述待读取文件的文件名确定所述待读取文件的重定向名称。

15、可选地,所述在接收到文件读取请求时,根据访问目录确定待读取文件在存储目录中的定向目录路径之前,还包括:

16、在接收到文件备份请求时,根据待存储文件的备份目录路径确定所述待存储文件的文件存储模式;

17、在所述文件存储模式为离散存储模式时,根据所述待存储文件的重定向名称确定所述待存储文件在所述存储目录中的离散存储路径;

18、根据所述离散存储路径对所述待存储文件进行离散存储。

19、可选地,所述根据待存储文件的备份目录路径确定所述待存储文件的文件存储模式,包括:

20、根据所述备份目录路径在所述存储目录中确定所述待存储文件的备份层级目录;

21、根据所述备份层级目录下的备份文件数量和所述待存储文件的存储文件数量确定当前文件数量;

22、在所述当前文件数量超过文件数量阈值时,确定所述备份层级目录下的文件存储模式为离散存储模式,并在所述备份层级目录下生成模式标志文件。

23、可选地,所述根据所述离散目录路径对所述待读取文件进行重定向读取之后,还包括:

24、在接收到文件枚举请求时,根据访问目录确定定向枚举目录在所述存储目录中的存储枚举路径;

25、在所述存储枚举路径下的第一层级目录中存在模式标志文件时,根据所述第一层级目录下的重定向目录名确定文件枚举路径;

26、根据所述文件枚举路径进行文件枚举。

27、可选地,所述根据所述文件枚举路径进行文件枚举,包括:

28、根据所述文件枚举路径确定多个存储子目录;

29、对各存储子目录进行文件枚举,得到多个存储子目录下的枚举文件;

30、根据各存储子目录的重定向名称、所述第一层级目录下的重定向目录名以及各存储子目录下的枚举文件确定所述定向枚举目录对应的枚举文件集。

31、此外,为实现上述目的,本专利技术还提出一种文件读取装置,所述文件读取装置包括:

32、处理模块,用于在接收到文件读取请求时,根据访问目录确定待读取文件在存储目录中的定向目录路径,所述存储目录是用户态文件系统应用所创建的与所述访问目录关联的本地文件系统目录;

33、所述处理模块,用于根据所述定向目录路径确定所述待读取文件的文件存储模式;

34、所述处理模块,还用于在所述文件存储模式为离散存储模式时,根据所述待读取文件的重定向名称确定所述待读取文件在所述存储目录中的离散目录路径;

35、读取模块,用于根据所述离散目录路径对所述待读取文件进行重定向读取。

36、此外,为实现上述目的,本专利技术还提出一种文件读取设备,所述文件读取设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文件读取程序,所述文件读取程序配置为实现如上文所述的文件读取方法的步骤。

37、此外,为实现上述目的,本专利技术还提出一种存储介质,所述存储介质上存储有文件读取程序,所述文件读取程序被处理器执行时实现如上文所述的文件读取方法的步骤。

38、本专利技术通过在接收到文件读取请求时,根据访问目录确定待读取文件在存储目录中的定向目录路径,所述存储目录是用户态文件系统应用所创建的与所述访问目录关联的本地文件系统目录;根据所述定向目录路径确定所述待读取文件的文件存储模式;在所述文件存储模式为离散存储模式时,根据所述待读取文件的重定向名称确定所述待读取文件在所述存储目录中的离散目录路径;根据所述离散目录路径对所述待读取文件进行重定向读取。通过上述方式,在根据访问目录确定待读取文件在存储目录中的定向目录路径,在待读取文件的文件存储模式为离散存储模式时,利用待读取文件的重定向名称确定待读取文件在存储目录中的离散目录路径,依据离散目录路径对待读取文件进行重定向读取,利用用户态文件系统应用创建访问目录和存储目录,将单一目录中的海量文件按照规则离散存储到不同本地文件系统的不同存储目录中,并将离散存储的文件聚合在一个访问目录上,使用户能够在单一目录中访问海量文件,有效解决了单一文件系统存储容量和存储数量的限制,保证了对海量文件进行备份时文件的完整性,同时提升了文件处理的性能。

本文档来自技高网...

【技术保护点】

1.一种文件读取方法,其特征在于,所述文件读取方法,包括:

2.如权利要求1所述的文件读取方法,其特征在于,所述根据所述定向目录路径确定所述待读取文件的文件存储模式,包括:

3.如权利要求1所述的文件读取方法,其特征在于,所述在所述文件存储模式为离散存储模式时,根据所述待读取文件的重定向名称确定所述待读取文件在所述存储目录中的离散目录路径之前,还包括:

4.如权利要求1至3中任一项所述的文件读取方法,其特征在于,所述在接收到文件读取请求时,根据访问目录确定待读取文件在存储目录中的定向目录路径之前,还包括:

5.如权利要求4所述的文件读取方法,其特征在于,所述根据待存储文件的备份目录路径确定所述待存储文件的文件存储模式,包括:

6.如权利要求1至3中任一项所述的文件读取方法,其特征在于,所述根据所述离散目录路径对所述待读取文件进行重定向读取之后,还包括:

7.如权利要求6所述的文件读取方法,其特征在于,所述根据所述文件枚举路径进行文件枚举,包括:

8.一种文件存储装置,其特征在于,所述文件存储装置包括:

9.一种文件存储设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文件存储程序,所述文件存储程序配置为实现如权利要求1至7中任一项所述的文件存储方法。

10.一种存储介质,其特征在于,所述存储介质上存储有文件存储程序,所述文件存储程序被处理器执行时实现如权利要求1至7任一项所述的文件存储方法。

...

【技术特征摘要】

1.一种文件读取方法,其特征在于,所述文件读取方法,包括:

2.如权利要求1所述的文件读取方法,其特征在于,所述根据所述定向目录路径确定所述待读取文件的文件存储模式,包括:

3.如权利要求1所述的文件读取方法,其特征在于,所述在所述文件存储模式为离散存储模式时,根据所述待读取文件的重定向名称确定所述待读取文件在所述存储目录中的离散目录路径之前,还包括:

4.如权利要求1至3中任一项所述的文件读取方法,其特征在于,所述在接收到文件读取请求时,根据访问目录确定待读取文件在存储目录中的定向目录路径之前,还包括:

5.如权利要求4所述的文件读取方法,其特征在于,所述根据待存储文件的备份目录路径确定所述待存储文件的文件存储模式,包括:...

【专利技术属性】
技术研发人员:叶宇强
申请(专利权)人:深圳市科力锐科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1