一种数据处理方法、装置、介质、产品以及设备制造方法及图纸

本申请应用于存储技术领域，提供了一种数据处理方法、装置、介质、产品以及设备，其中方法包括：缓存系统在接收到数据读取请求后，先确定出需要读取的待处理数据，并将存储在缓存系统中部分待处理数据发送给计算集群。在计算集群从缓存系统读取待处理数据的过程中，缓存系统可以从远端存储设备中获取未发送给计算集群的待处理数据。如此，计算集群可以直接从缓存系统中读取待处理数据。由于计算集群从缓存系统中读取待处理数据与缓存系统从远端存储设备中读取数据可以并行执行，可以提高计算集群读取数据的效率。

【技术实现步骤摘要】

本申请涉及存储，特别涉及一种数据处理方法、装置、介质、产品以及设备。

技术介绍

1、随着云计算技术的发展与应用，为了满足存储与计算的弹性扩展和高效存储，在存算一体架构的计算系统的基础上演化出存算分离架构的计算系统。其中，存算分离架构的计算系统中包括计算集群以及存储集群(也可称为远端存储设备)，计算集群包括多个计算引擎，计算集群可以通过网络访问远端存储设备。

2、但是，存算分离架构的计算系统中，计算集群访问远端存储设备的数据会受计算集群和远端存储设备之间网络时延等因素影响，尤其是在密集的数据访问的场景下，计算集群访问数据的性能较差。

技术实现思路

1、本申请提供了一种数据处理方法、装置、介质、产品以及设备，通过感知需要读取的数据的范围，提前从远端存储设备预取数据到缓存系统中，提高了计算集群读取数据的效率。

2、第一方面，提供了一种数据处理的方法，应用于缓存系统，该方法包括：缓存系统接收计算集群发送的针对待处理数据集的第一读数据请求，待处理数据集包括第一待处理数据和第二待处理数据。响应于第本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，应用于缓存系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述确定所述缓存系统已存储所述第二待处理数据之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述第二待处理数据发送至所述计算集群，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述第二待处理数据发送至所述计算集群，包括：

5.根据权利要求1所述方法，其特征在于，所述外部存储设备包括加速介质和远端存储设备，所述加速介质用于连接所述缓存系统，其中，所述缓存系统从所述加速介质读取数据的带宽，大于所述缓存系统从所述...

【技术特征摘要】

1.一种数据处理方法，其特征在于，应用于缓存系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述确定所述缓存系统已存储所述第二待处理数据之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述第二待处理数据发送至所述计算集群，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述第二待处理数据发送至所述计算集群，包括：

5.根据权利要求1所述方法，其特征在于，所述外部存储设备包括加速介质和远端存储设备，所述加速介质用于连接所述缓存系统，其中，所述缓存系统从所述加速介质读取数据的带宽，大于所述缓存系统从所述远端存储设备读取数据的带宽。

6.根据权利要求1至5任一项所述方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述缓存系统中存储的第三待处理数据从所述缓存系统中写入至所述加速介质，包括：

8.根据权利要求1所述方法，其特征在于，所述将所述缓存系统中已存储的所述第一待处理数据发送至所述计算集群，包括：

9.一种计算系统，其特征在于，所述计算系统包括计算集群、缓存系统和外部存储设备；其中，

10.根据权利要求9所述的计算系统，其特征在于，所述缓存系...

【专利技术属性】
技术研发人员：孟杰，张秦，林大云，刘江，陈贞，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：