数据处理方法、电子设备及存储介质技术

本申请提供一种数据处理方法、电子设备及存储介质。该方法包括：处理模块接收来自目标应用程序的第一请求，第一请求用于请求读取第一文件的数据；第一文件的文件大小小于预设值；处理模块确定客户端的缓存盘是否存在第一文件的缓存文件；若确定存在第一文件的缓存文件，处理模块确定缓存文件是否有效；若确定第一文件的缓存文件有效，处理模块从客户端的缓存盘读取第一文件的缓存文件，以获取第一文件的数据；处理模块向目标应用程序发送第一文件的数据。本申请的方法，提升了读取海量小文件的数据的效率。

【技术实现步骤摘要】

本申请涉及数据读取领域，尤其涉及一种数据处理方法、电子设备及存储介质。

技术介绍

1、lustre是一种高性能的分布式文件系统，常用于大型计算集群和高性能计算(high performance computing，hpc)环境中。在lustre文件系统中，元数据和数据是分开存储和管理的。数据储存在lustre的多个对象存储目标(object storage object，ost)中，该存储方式可以支持lustre存储超大文件，并且提供高速的并发读写性能。

2、然而，在例如模型训练的场景下，需要读取海量小文件的数据，小文件的大小一般小于单次i/o(input/output，输入/输出)访问的带宽，频繁通过i/o读取数据，会造成网络带宽资源的浪费，导致lustre文件系统的传输性能低下。

3、因此，存在读取海量小文件的数据效率低的问题。

技术实现思路

1、本申请提供一种数据处理方法、电子设备及存储介质，用以解决读取海量小文件的数据效率低的技术问题。

2、第一方面，本申请提供一种本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，应用于客户端，所述客户端包括处理模块和目标应用程序，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一请求包括所述第一文件的标识，所述处理模块确定所述客户端的缓存盘是否存在所述第一文件的缓存文件，包括：

3.根据权利要求1或2所述的方法，其特征在于，

4.根据权利要求1至3任一项所述的方法，其特征在于，所述处理模块从所述客户端的缓存盘读取所述第一文件的缓存文件，以获取所述第一文件的数据，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述处理模块确定所述客户端的缓存盘是否存在所述...

【技术特征摘要】

1.一种数据处理方法，其特征在于，应用于客户端，所述客户端包括处理模块和目标应用程序，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一请求包括所述第一文件的标识，所述处理模块确定所述客户端的缓存盘是否存在所述第一文件的缓存文件，包括：

3.根据权利要求1或2所述的方法，其特征在于，

4.根据权利要求1至3任一项所述的方法，其特征在于，所述处理模块从所述客户端的缓存盘读取所述第一文件的缓存文件，以获取所述第一文件的数据，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述处理模块确定所述客户端的缓存盘是否存在所述第一文件的缓存文件，包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：朱恩水，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：