【技术实现步骤摘要】
本专利技术涉及计算机,具体涉及文件访问方法、装置、计算机设备及程序产品。
技术介绍
1、随着人工智能技术的不断发展,多模态的模型训练在众多领域中得以广泛应用。目前,多模态的模型训练所采用的数据通常是几十kb到几百kb的小文件,并且在模型的每个训练轮次中,通常是由训练设备从远端的文件存储系统获取当前训练轮次所使用的小文件。然而,当训练设备有多个时,该多个训练设备从文件存储系统反复的获取小文件,容易造成文件存储系统的访问压力,出现数据阻塞,降低训练效率等问题。
技术实现思路
1、有鉴于此,本专利技术提供了一种文件访问方法、装置、计算机设备及程序产品,已解决文件存储系统的访问压力大,易出现数据阻塞,降低训练效率等问题。
2、第一方面,本专利技术提供了一种文件访问方法,该方法包括:
3、获取文件访问请求;文件访问请求包括待访问的第一文件在文件存储系统中的第一路径信息;
4、根据第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;画像数据池包括文件存储系统
...【技术保护点】
1.一种文件访问方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述获取文件保存请求之后,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一数量、所述最大存储容量、所述平均存储容量,确定所述目标文件集的文件类型,包括:
5.根据权利要求2所述的方法,其特征在于,所述根据所述文件保存请求生成所述目标文件集的画像数据,包括:
6.根据权利要求1所述的方法,其特征在于,所述画像数据包括所述文件集在所述文
...【技术特征摘要】
1.一种文件访问方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述获取文件保存请求之后,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一数量、所述最大存储容量、所述平均存储容量,确定所述目标文件集的文件类型,包括:
5.根据权利要求2所述的方法,其特征在于,所述根据所述文件保存请求生成所述目标文件集的画像数据,包括:
6.根据权利要求1所述的方法,其特征在于,所述画像数据包括所述文件集在所述文件存储系统中的第二路径信息;所述根据所述第一路径信息及画像数据池,确定所述第一文件是否满足文件预取条件,包括:
7.根据权利要求6所述的方法,其特征在于,所述将所述第一路径信息与所述画像数据池中的各第二路径信息进行匹配处理,包括:
8.根据权利要求6或7所述的方法,其特征在于,所述第二路径信息和所述第一路径信息包括多级目录;所述将所述第一路径信息与所述画像数据池中的各第二路径信息进行匹配处理,包括:
9.根据权利要求8所述的方法,其特征在于,所述确定所述第一路径信息中当前待匹配的目标目录,包括:
10.根据权利要求6所述的方法,其特征在于,所...
【专利技术属性】
技术研发人员:孙灵川,李辉,张凯,张在贵,李雪生,
申请(专利权)人:济南浪潮数据技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。