一种任务启动后读取文件方法及系统技术方案

本发明专利技术公开了一种任务启动后读取文件方法及系统，由文件服务器接收客户端任务启动后发送的文件读取请求，将文件读取请求所需的文件按照文件大小进行分组，分为包含大文件的第一分组和包含小文件的第二分组；对第二分组中的文件进行合并得到合并文件，并为每个合并文件配置一个用于查找原始文件的索引文件。之后，客户端就可以按第一预设数量分页读取第一分组中的文件，按第二预设数量分页读取第二分组中的合并文件。以此方式，由于在文件服务器中将小文件进行了合并处理，因此客户端分页读取文件的时候，读取到的是原始的大文件或者合并文件，减少了众多小文件的加载时间，减少任务启动后的文件读取时间，提高任务执行效率。

【技术实现步骤摘要】

本专利技术涉及文件读取的，特别涉及一种任务启动后读取文件方法及系统。

技术介绍

1、随着互联网用户的增加，大型的互联网项目通常为了应对海量的数据以及文件，通常都会采用分布式架构的方式来进行数据以及文件的存储。

2、而各种大型的ai训练项目或者大数据离线任务，通常在任务启动后，需要预先从分布式文件存储系统中读取大量的准备数据，当数据或者文件读取完毕后，才可以开始进行任务初始化，并执行后续任务。

3、因此，读取这些文件数据的io耗时(输入输出操作所需要的时间)制约了任务的执行总时间。通常生成的文件都是各种各样，并且还存在较多的小文件，而众多的小文件将导致整体io(输入输出操作)交互的次数以及耗时进一步增加。

技术实现思路

1、本专利技术所要解决的技术问题是：提供一种任务启动后读取文件的方法及系统，能够减少任务启动后的文件读取时间，提高任务执行效率。

2、为了解决上述技术问题，本专利技术采用的技术方案为：

3、一种任务启动后读取文件的方法，包括步骤：

4、本文档来自技高网...

【技术保护点】

1.一种任务启动后读取文件的方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种任务启动后读取文件的方法，其特征在于，将所述文件读取请求所需的文件进行分组，将文件大小大于阈值大小的文件划分至第一分组，将文件大小小于或者等于阈值大小的文件划分至第二分组，包括：

3.根据权利要求2所述的一种任务启动后读取文件的方法，其特征在于，文件服务器中对所述第二分组中的文件进行合并得到合并文件，每个所述合并文件的大小不超过第一阈值，包括：

4.根据权利要求1所述的一种任务启动后读取文件的方法，其特征在于，为每个所述合并文件配置一个用于查找原始文件的索引文件，包括...

【技术特征摘要】

1.一种任务启动后读取文件的方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种任务启动后读取文件的方法，其特征在于，将所述文件读取请求所需的文件进行分组，将文件大小大于阈值大小的文件划分至第一分组，将文件大小小于或者等于阈值大小的文件划分至第二分组，包括：

3.根据权利要求2所述的一种任务启动后读取文件的方法，其特征在于，文件服务器中对所述第二分组中的文件进行合并得到合并文件，每个所述合并文件的大小不超过第一阈值，包括：

4.根据权利要求1所述的一种任务启动后读取文件的方法，其特征在于，为每个所述合并文件配置一个用于查找原始文件的索引文件，包括：

5.根据权利要求1所述的一种任务启动后读取文件的方法，其特征在于，所述文件服务器接收客户端任务启动后发送的文件读取请求之前，包括：

6.一种任务启动后读取...

【专利技术属性】
技术研发人员：刘德建，张少敏，郭孟祺，郑坦，郑锦斌，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：