数据处理方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

一种数据处理方法、装置、计算机设备及计算机可读存储介质，属于存储技术领域。本方法由计算集群中的计算节点实现负载均衡器的功能，使得计算节点可以从存储集群的多个网关设备中选择网关设备发送数据处理请求，数据处理的过程中计算节点无需通过负载均衡集群为数据处理请求选择网关设备，从而在构建存算分离的存储系统时，无须部署负载均衡集群，降低了构建存算分离的存储系统的成本。构建存算分离的存储系统的成本。构建存算分离的存储系统的成本。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及计算机可读存储介质


[0001]本申请涉及存储
，特别涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]随着云计算技术的发展与应用，为了满足存储与计算的弹性扩展和高效存储，在存算一体架构的存储系统的基础上演化出存算分离架构的存储系统。例如存算分离的存储系统包括计算集群、负载均衡集群以及存储集群，计算集群通过数据转发集群访问存储集群。
[0003]目前，在存算分离的存储系统中数据处理的过程可以是：计算集群中的计算节点将数据处理请求发送至数据转发集群中的负载均衡设备，负载均衡设备采用负载均衡方案，从存储集群中的多个网关设备中选择一个网关设备，并向选择出的网关设备转发数据处理请求，由该网关设备将发数据处理请求发送至存储集群中的存储节点，存储节点对该数据处理请求进行处理，例如读取数据或者存储数据。其中，数据转发集群中的负载均衡设备可以是负载均衡器，例如，F5网络公司提供的F5负载均衡器，或者负载均衡器Nginx，也可以是部署有Linux虚拟服务器(Linux virtual本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述方法由所述计算集群中的计算节点执行，所述方法包括：接收数据处理请求，所述数据处理请求指示对文件进行处理；从所述存储集群的多个网关设备中确定第一网关设备；向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理。2.根据权利要求1所述的方法，其特征在于，所述计算节点中记录有所述多个网关设备与索引之间的对应关系，所述多个网关设备中的每个网关设备分别对应一个索引；所述从所述存储集群的多个网关设备中，确定第一网关设备包括：对所述数据处理请求携带的所述文件的标识进行哈希计算，得到所述文件的哈希值；基于所述哈希值，获取目标索引；基于所述多个网关设备与索引之间的对应关系，将所述多个网关设备中所述目标索引对应的网关设备确定为所述第一网关设备。3.根据权利要求2所述的方法，其特征在于，所述多个网关设备与索引之间的对应关系包括所述多个网关设备中每个网关设备的标识以及每个网关设备所对应的索引，每个网关设备的标识包括每个网关设备的网络协议IP地址。4.根据权利要求2或3所述的方法，其特征在于，所述目标索引为所述哈希值与所述多个网关设备的数目之间的余数。5.根据权利要求1所述的方法，其特征在于，所述从所述存储集群的多个网关设备中确定第一网关设备包括：在所述多个网关设备中随机选择任一网关设备作为所述第一网关设备。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述从所述存储集群的多个网关设备中，确定第一网关设备之前，所述方法还包括：从所述存储集群中的监控节点，获取所述存储集群中各个网关设备所处的状态，其中，所述状态包括空闲状态、繁忙状态或故障状态中任意一种；基于所述存储集群中各个网关设备所处的状态，确定处于空闲状态的所述多个网关设备。7.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理，包括：若所述第一网关设备处于繁忙状态或故障状态，基于记录的所述多个网关设备所处的状态，从所述多个网关设备中，确定第二网关设备，所述第二网关设备为所述多个网关设备中处于空闲状态的任一网关设备；向所述第二网关设备发送所述数据处理请求，由所述第二网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理。8.一种数据处理装置，其特征在于，所述装置应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述装置被配置为所述计算集群中的计算节点，所述装置包括：
接收模块，用于接收数据处...

【专利技术属性】
技术研发人员：沈姝，吴启庆，杨建，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：