文件访问方法、装置、计算机设备及程序产品制造方法及图纸

技术编号:41457034 阅读:16 留言:0更新日期:2024-05-28 20:43
本发明专利技术涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明专利技术降低了文件存储系统的访问压力,提升了文件访问效率。

【技术实现步骤摘要】

本专利技术涉及计算机,具体涉及文件访问方法、装置、计算机设备及程序产品


技术介绍

1、随着人工智能技术的不断发展,多模态的模型训练在众多领域中得以广泛应用。目前,多模态的模型训练所采用的数据通常是几十kb到几百kb的小文件,并且在模型的每个训练轮次中,通常是由训练设备从远端的文件存储系统获取当前训练轮次所使用的小文件。然而,当训练设备有多个时,该多个训练设备从文件存储系统反复的获取小文件,容易造成文件存储系统的访问压力,出现数据阻塞,降低训练效率等问题。


技术实现思路

1、有鉴于此,本专利技术提供了一种文件访问方法、装置、计算机设备及程序产品,已解决文件存储系统的访问压力大,易出现数据阻塞,降低训练效率等问题。

2、第一方面,本专利技术提供了一种文件访问方法,该方法包括:

3、获取文件访问请求;文件访问请求包括待访问的第一文件在文件存储系统中的第一路径信息;

4、根据第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;画像数据池包括文件存储系统中第一文件类型的各文本文档来自技高网...

【技术保护点】

1.一种文件访问方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述获取文件保存请求之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述第一数量、所述最大存储容量、所述平均存储容量,确定所述目标文件集的文件类型,包括:

5.根据权利要求2所述的方法,其特征在于,所述根据所述文件保存请求生成所述目标文件集的画像数据,包括:

6.根据权利要求1所述的方法,其特征在于,所述画像数据包括所述文件集在所述文件存储系统中的第二路...

【技术特征摘要】

1.一种文件访问方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述获取文件保存请求之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述第一数量、所述最大存储容量、所述平均存储容量,确定所述目标文件集的文件类型,包括:

5.根据权利要求2所述的方法,其特征在于,所述根据所述文件保存请求生成所述目标文件集的画像数据,包括:

6.根据权利要求1所述的方法,其特征在于,所述画像数据包括所述文件集在所述文件存储系统中的第二路径信息;所述根据所述第一路径信息及画像数据池,确定所述第一文件是否满足文件预取条件,包括:

7.根据权利要求6所述的方法,其特征在于,所述将所述第一路径信息与所述画像数据池中的各第二路径信息进行匹配处理,包括:

8.根据权利要求6或7所述的方法,其特征在于,所述第二路径信息和所述第一路径信息包括多级目录;所述将所述第一路径信息与所述画像数据池中的各第二路径信息进行匹配处理,包括:

9.根据权利要求8所述的方法,其特征在于,所述确定所述第一路径信息中当前待匹配的目标目录,包括:

10.根据权利要求6所述的方法,其特征在于,所...

【专利技术属性】
技术研发人员:孙灵川李辉张凯张在贵李雪生
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1