一种数据处理方法、装置、计算机设备及计算机可读存储介质，属于存储技术领域。本方法由计算集群中的计算节点实现负载均衡器的功能，使得计算节点可以从存储集群的多个网关设备中选择网关设备发送数据处理请求，数据处理的过程中计算节点无需通过负载均衡集群为数据处理请求选择网关设备，从而在构建存算分离的存储系统时，无须部署负载均衡集群，降低了构建存算分离的存储系统的成本。构建存算分离的存储系统的成本。构建存算分离的存储系统的成本。
【技术实现步骤摘要】
数据处理方法、装置、计算机设备及计算机可读存储介质
[0001]本申请涉及存储
，特别涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质。
技术介绍
[0002]随着云计算技术的发展与应用，为了满足存储与计算的弹性扩展和高效存储，在存算一体架构的存储系统的基础上演化出存算分离架构的存储系统。例如存算分离的存储系统包括计算集群、负载均衡集群以及存储集群，计算集群通过数据转发集群访问存储集群。
[0003]目前，在存算分离的存储系统中数据处理的过程可以是：计算集群中的计算节点将数据处理请求发送至数据转发集群中的负载均衡设备，负载均衡设备采用负载均衡方案，从存储集群中的多个网关设备中选择一个网关设备，并向选择出的网关设备转发数据处理请求，由该网关设备将发数据处理请求发送至存储集群中的存储节点，存储节点对该数据处理请求进行处理，例如读取数据或者存储数据。其中，数据转发集群中的负载均衡设备可以是负载均衡器，例如，F5网络公司提供的F5负载均衡器，或者负载均衡器Nginx，也可以是部署有Linux虚拟服务器(Linux virtual server，LVS)。
[0004]但是，在存算分离的存储系统比较大的情况下，为了实现负载均衡，负载均衡集群中部署的负载均衡设备可能不止一台，且负载均衡设备造价昂贵，导致构建存算分离的存储系统的成本不断增加。因此，如何提供一种低成本的存储系统成为亟待解决的技术问题。
技术实现思路
[0005]本申请提供了一种数据处理方法、装置、计算机设备以及存储介质，能够构建存算分离的存储系统的成本。该技术方案如下：
[0006]第一方面，提供了一种数据处理方法，所述方法应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述方法由所述计算集群中的计算节点执行，所述方法包括：接收数据处理请求，所述数据处理请求指示对文件进行处理；从所述存储集群的多个网关设备中确定第一网关设备；向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理。
[0007]本方法由计算集群中的计算节点实现负载均衡器的功能，使得计算节点可以从存储集群的多个网关设备中选择网关设备发送数据处理请求，数据处理的过程中计算节点无需通过负载均衡集群为数据处理请求选择网关设备，从而在构建存算分离的存储系统时，无须部署负载均衡集群，降低了构建存算分离的存储系统的成本。
[0008]在一种可能的实现方式中，所述计算节点中记录有所述多个网关设备与索引之间的对应关系，所述多个网关设备中的每个网关设备分别对应一个索引；所述从所述存储集群的多个网关设备中，确定第一网关设备包括：对所述数据处理请求携带的所述文件的标
识进行哈希计算，得到所述文件的哈希值；基于所述哈希值，获取目标索引；基于所述多个网关设备与索引之间的对应关系，将所述多个网关设备中所述目标索引对应的网关设备确定为所述第一网关设备。
[0009]在一种可能的实现方式中，所述多个网关设备与索引之间的对应关系包括所述多个网关设备中每个网关设备的标识以及每个网关设备所对应的索引，每个网关设备的标识包括每个网关设备的网络协议IP地址。
[0010]在一种可能的实现方式中，所述目标索引为所述哈希值与所述多个网关设备的数目之间的余数。
[0011]在一种可能的实现方式中，所述从所述存储集群的多个网关设备中确定第一网关设备包括：
[0012]在所述多个网关设备中随机选择任一网关设备作为所述第一网关设备。
[0013]在一种可能的实现方式中，所述从所述存储集群的多个网关设备中，确定第一网关设备之前，所述方法还包括：
[0014]从所述存储集群中的监控节点，获取所述存储集群中各个网关设备所处的状态，其中，所述状态包括空闲状态、繁忙状态或故障状态中任意一种；
[0015]基于所述存储集群中各个网关设备所处的状态，确定处于空闲状态的所述多个网关设备。
[0016]在一种可能的实现方式中，所述向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理，包括：
[0017]若所述第一网关设备处于繁忙状态或故障状态，基于记录的所述多个网关设备所处的状态，从所述多个网关设备中，确定第二网关设备，向所述第二网关设备发送所述数据处理请求，由所述第二网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理，所述第二网关设备为所述多个网关设备中处于空闲状态的任一网关设备。
[0018]第二方面，提供了一种数据处理方法，其特征在于，所述方法应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述方法由所述存储集群中的网关设备执行，所述方法包括：接收所述计算集群中计算节点的数据处理请求，所述数据处理请求指示对文件进行处理，所述网关设备由所述计算节点从所述存储集群中的多个网关设备中确定；向所述存储集群中的存储节点发送所述数据处理请求，由所述存储节点基于所述数据处理请求对所述文件中进行处理。
[0019]在一种可能的实现方式中，所述接收所述计算集群中计算节点的数据处理请求之前，所述方法还包括：向所述存储集群中的监控节点发送所述网关设备所处的状态，所述状态包括空闲状态、繁忙状态或故障状态中任意一种。
[0020]在一种可能的实现方式中，所述存储集群包括M个资源池，每个资源池包括一个主网关软件和N个备用网关软件，所述网关设备包括一个资源池内的主网关软件，由所述网关设备中的主网关软件接收并发送所述数据处理请求，所述M和所述N均为大于或等于1的整数；
[0021]所述接收所述计算集群中计算节点的数据处理请求之前，所述方法还包括：若所
述网关设备中的主网关软件处于故障状态或繁忙状态，所述网关设备中的网关监控模块启用所述主网关软件所在资源池中的一个备用网关软件，由启用的所述备用网关软件接收并发送所述数据处理请求。
[0022]在一种可能的实现方式中，所述网关设备中的网关监控模块启用所述主网关软件所在资源池中的一个备用网关软件包括：若所述网关设备还包括所述主网关软件所在资源池中的K个备用网关软件，所述网关监控模块启用所述K个备用网关软件中的任一备用网关软件，所述K为大于等于1且小于等于所述N的整数；或者，若所述主网关软件所在资源池中的一个备用网关软件部署在备用网关设备，所述网关监控模块向所述备用网关设备发送地址更新请求，所述地址更新请指示所述备用网关设备将IP地址修改为所述网关设备的IP地址，并启用所述备用网关设备中的备用软件。
[0023]第三方面，提供了一种存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述计算集群包括计算节点；
[0024]所述计算节点，用于接收数据处理请求；从所述存储集群的多个网关设备中确定第一网关设备；向所述第一网关设备发送所述数据处理请求，其中，所述数据处理请求本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述方法由所述计算集群中的计算节点执行，所述方法包括：接收数据处理请求，所述数据处理请求指示对文件进行处理；从所述存储集群的多个网关设备中确定第一网关设备；向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理。2.根据权利要求1所述的方法，其特征在于，所述计算节点中记录有所述多个网关设备与索引之间的对应关系，所述多个网关设备中的每个网关设备分别对应一个索引；所述从所述存储集群的多个网关设备中，确定第一网关设备包括：对所述数据处理请求携带的所述文件的标识进行哈希计算，得到所述文件的哈希值；基于所述哈希值，获取目标索引；基于所述多个网关设备与索引之间的对应关系，将所述多个网关设备中所述目标索引对应的网关设备确定为所述第一网关设备。3.根据权利要求2所述的方法，其特征在于，所述多个网关设备与索引之间的对应关系包括所述多个网关设备中每个网关设备的标识以及每个网关设备所对应的索引，每个网关设备的标识包括每个网关设备的网络协议IP地址。4.根据权利要求2或3所述的方法，其特征在于，所述目标索引为所述哈希值与所述多个网关设备的数目之间的余数。5.根据权利要求1所述的方法，其特征在于，所述从所述存储集群的多个网关设备中确定第一网关设备包括：在所述多个网关设备中随机选择任一网关设备作为所述第一网关设备。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述从所述存储集群的多个网关设备中，确定第一网关设备之前，所述方法还包括：从所述存储集群中的监控节点，获取所述存储集群中各个网关设备所处的状态，其中，所述状态包括空闲状态、繁忙状态或故障状态中任意一种；基于所述存储集群中各个网关设备所处的状态，确定处于空闲状态的所述多个网关设备。7.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理，包括：若所述第一网关设备处于繁忙状态或故障状态，基于记录的所述多个网关设备所处的状态，从所述多个网关设备中，确定第二网关设备，所述第二网关设备为所述多个网关设备中处于空闲状态的任一网关设备；向所述第二网关设备发送所述数据处理请求，由所述第二网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理。8.一种数据处理装置，其特征在于，所述装置应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述装置被配置为所述计算集群中的计算节点，所述装置包括：
接收模块，用于接收数据处...
【专利技术属性】
技术研发人员：沈姝，吴启庆，杨建，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。