集群存储网络并行负载的控制方法及系统技术方案

本发明专利技术公开了一种集群存储网络并行负载的控制方法及系统，该方法包括：当侦测到客户端的数据请求时，确定存放所述数据请求对应的数据块的集群存储网络的存储节点；获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点的数量，为各个确定的存储节点分配对应的带宽；控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。本发明专利技术通过控制各个确定的存储节点按照分配的带宽将数据传送给客户端，使得各个存储节点在资源竞争中处于均衡的状态，及时的将客户端的请求数据发送出去，加快数据请求的完成时间，进而提高客户端的实际吞吐率。

【技术实现步骤摘要】
集群存储网络并行负载的控制方法及系统
本专利技术涉及到集群存储领域，特别涉及到一种集群存储网络并行负载的控制方法及系统。
技术介绍
集群存储网络一般构架于标准的高速低延时的TCP/IP以太网之上，并且为了获取较高的数据存储可靠性、可扩展性以及存储性能，集群存储网络通常情况下将数据块分条（称作striping）存放在多个存储节点上，因而会在客户端请求读取一个数据块的时候，集群存储网络中保存有当前请求读取的数据块的各个数据片段的所有存储节点将同步响应，这种通信模式也被称为多对一（M：1）通信方式。在（M:1）的通信方式下，由于交换机缓存或者是客户端到交换机的数据传输链路的带宽有限，当多存储节点在同步响应客户端的数据请求的时候，参与竞争网络瓶颈资源的所有传输流均将以自己最大限度的负载速率像客户端发送当前请求的数据，因此在极短的时间之内，交换机的缓冲buffer、交换队列以及交换机到客户端的有限的链路带宽等网络瓶颈资源就会消耗殆尽。以至于在资源竞争中处于失利地位的存储节点不能及时的将客户端的本次请求数据发送出去，客户端由于同步机制的存在，当收不到本次请求的全部数据时，需要不停的对那些处于资源竞争失利地位的存储节点发送重复的TCP回复数据包，要求其重传丢失的数据包。因而，最后导致本次数据请求的最终完成时间不断延长，降低了客户端的实际吞吐率。
技术实现思路
本专利技术的主要目的为提供一种集群存储网络并行负载的控制方法，旨在实现控制各个确定的存储节点按照分配的对应带宽传送数据给客户端，提高客户端的实际吞吐率。本专利技术还提出一种集群存储网络并行负载的控制系统，旨在实现控制各个确定的存储节点按照分配的对应带宽传送数据给客户端，提高客户端的实际吞吐率。一种集群存储网络并行负载的控制方法，该方法包括：当侦测到客户端的数据请求时，确定存放所述数据请求对应的数据块的集群存储网络的存储节点；获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点的数量，为各个确定的存储节点分配对应的带宽；控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。优选地，在所述控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块的步骤之后，该方法还包括：将所述确定的存储节点的数量及为各个确定的存储节点分配的带宽保存。优选地，在所述确定存放所述数据请求对应的数据块的集群存储系统的存储节点的步骤之后，该方法还包括：判断所述确定的存储节点的数量与保存的存储节点的数量是否一致；若所述确定的存储节点的数量与保存的存储节点的数量不一致，则获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点数，给所述数据请求对应的数据的存储节点分配对应的带宽。优选地，在所述判断所述确定的存储节点的数量与保存的存储节点的数量是否一致的步骤之后，该方法还包括：若所述确定的存储节点的数量与保存的存储节点的数量一致，则控制各个确定的存储节点按照保存的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。优选地，所述控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块的步骤包括：侦测各个确定的存储节点进行数据传送的带宽，并判断各个存储节点进行数据传送的带宽是否超过分配的的带宽或保存的带宽；若各个确定的存储节点进行数据传送的带宽超过分配的带宽或保存的带宽，控制各个确定的存储节点按照小于等于所述分配的带宽或所述保存的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。一种集群存储网络并行负载的控制系统，该系统包括：分析模块，用于当侦测到客户端的数据请求时，确定存放所述数据请求对应的数据块的集群存储网络的存储节点；数据处理模块，用于获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点的数量，为各个确定的存储节点分配对应的带宽；控制模块，用于控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。优选地，该系统还包括：存储模块，用于将所述确定的存储节点的数量及为各个确定的存储节点分配的带宽保存。优选地，所述分析模块，还用于判断所述确定的存储节点的数量与保存的存储节点的数量是否一致；所述数据处理模块，还用于若所述确定的存储节点的数量与保存的存储节点的数量不一致，则获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点数，给所述数据请求对应的数据的存储节点分配对应的带宽。优选地，所述控制模块，还用于若所述确定的存储节点的数量与保存的存储节点的数量一致，则控制各个确定的存储节点按照保存的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。优选地，该系统还包括侦测模块，所述侦测模块，用于侦测各个确定的存储节点进行数据传送的带宽；所述分析模块，还用于判断各个存储节点进行数据传送的带宽是否超过分配的带宽或保存的带宽；所述控制模块，还用于若各个确定的存储节点进行数据传送的带宽超过分配的带宽或保存的带宽，控制各个确定的存储节点按照小于等于所述分配的带宽或所述保存的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。相对现有技术，本专利技术通过控制各个确定的存储节点按照分配的带宽将数据传送给客户端，使得各个存储节点在资源竞争中处于均衡的状态，及时的将客户端的请求数据发送出去，加快数据请求的完成时间，进而提高客户端的实际吞吐率。附图说明图1为本专利技术集群存储网络并行负载的控制方法的第一实施例的具体流程图；图2为本专利技术集群存储网络并行负载的控制方法的第二实施例的具体流程图；图3为本专利技术集群存储网络并行负载的控制方法的第三实施例的具体流程图；图4为本专利技术集群存储网络并行负载的控制方法的第四实施例的具体流程图；图5为本专利技术集群存储网络并行负载的控制系统的第一实施例的具体架构图；图6为本专利技术集群存储网络并行负载的控制系统的第二实施例的具体架构图；图7为本专利技术集群存储网络并行负载的控制系统的第三实施例的具体架构图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，为本专利技术集群存储网络并行负载的控制方法的第一实施例的具体流程图。需要强调的是：图1所示流程图仅为一个较佳实施例，本领域的技术人员当知，任何围绕本专利技术思想构建的实施例都不应脱离于如下技术方案涵盖的范围：当侦测到客户端的数据请求时，确定存放所述数据请求对应的数据块的集群存储网络的存储节点；获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点的数量，为各个确定的存储节点分配对应的带宽；控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。以下是本实施例逐步实现对集群存储网络并行负载进行控制的具体步骤：步本文档来自技高网...

【技术保护点】
一种集群存储网络并行负载的控制方法，其特征在于，该方法包括：当侦测到客户端的数据请求时，确定存放所述数据请求对应的数据块的集群存储网络的存储节点；获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点的数量，为各个确定的存储节点分配对应的带宽；控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。

【技术特征摘要】
1.一种集群存储网络并行负载的控制方法，其特征在于，该方法包括：当侦测到客户端的数据请求时，确定存放所述数据请求对应的数据块的集群存储网络的存储节点；获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点的数量，为各个确定的存储节点分配对应的带宽；控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块；其中，所述控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块的步骤包括：侦测各个确定的存储节点进行数据传送的带宽，并判断各个存储节点进行数据传送的带宽是否超过分配的带宽或保存的带宽；若各个确定的存储节点进行数据传送的带宽超过分配的带宽或保存的带宽，控制各个确定的存储节点按照小于等于所述分配的带宽或所述保存的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块。2.根据权利要求1所述的集群存储网络并行负载的控制方法，其特征在于，在所述控制各个确定的存储节点按照分配的带宽，将存储的所述数据请求对应的数据块的数据片段传送给所述客户端，以生成完整的数据块的步骤之后，该方法还包括：将所述确定的存储节点的数量及为各个确定的存储节点分配的带宽保存。3.根据权利要求2所述的集群存储网络并行负载的控制方法，其特征在于，在所述确定存放所述数据请求对应的数据块的集群存储系统的存储节点的步骤之后，该方法还包括：判断所述确定的存储节点的数量与保存的存储节点的数量是否一致；若所述确定的存储节点的数量与保存的存储节点的数量不一致，则获取集群存储网络的最大链路传输带宽，根据获取的最大链路传输带宽及确定的存储节点数，给所述数据请求对应的数据的存储节点分配对应的带宽。4.根据权利要求3所述的集群存储网络并行负载的控制方法，其特征在于，在所述判断所述确定的存储节点的数量与保存的存储节点的数量是否一致的步骤之后，该方法还包括：若所述确定的存储节点的数量与保存的存储节点的数量一致...

【专利技术属性】
技术研发人员：霍道安，付伟，徐泽明，
申请(专利权)人：国家超级计算深圳中心深圳云计算中心，
类型：发明
国别省市：