带宽资源分配方法、数据传输方法、装置及系统制造方法及图纸

本申请提供了带宽资源分配、数据传输方法、装置及系统，其中带宽资源分配方法应用于数据处理系统中的服务器，且服务器与每个业务单元相连，其中一种带宽资源分配方法包括：响应于所有业务单元发送带宽资源请求，在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向；将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值，确定为第一带宽资源总和；判断所述第一带宽资源总和是否小于预设带宽阈值；如果是，则为目标业务单元分配带宽资源。本申请服务器能够站在全局角度，合理地为目标业务单元合理分配的带宽资源，以便目标业务单元能够利用分配的带宽资源高效进行数据传输。

【技术实现步骤摘要】

本申请涉及计算机
，尤其涉及带宽资源分配、数据传输方法、装置及系统。
技术介绍
一个支持跨地域的大型分布式数据处理系统，其内的数据量是巨大的，这些数据可能位于不同地域的数个集群内。如图1所示为一个数据处理系统，该系统包括集群A、集群B和集群C，每个集群的数据分为三个层级：商业数据层、中间数据层和原始数据层。数据处理系统中不同集群之间的数据存在依赖关系，且同一集群中不同层次上的数据也存在依赖关系，为了避免集群之间跨地域远程访问所依赖的数据，需将存在依赖关系的数据复制到不同地域的集群上。例如：集群B和集群C对集群A的数据存在依赖关系，为了避免集群B和集群C跨地域远程访问集群A的数据，将集群A的数据复制到集群B和集群C上。由于数据处理系统中集群间的带宽资源有限，因此如何在各个集群间合理分配带宽资源，以便高效利用有限带宽资源传输数据，是现在需要解决的问题。
技术实现思路
本申请提供了一种带宽资源分配、数据传输方法、装置及系统，本申请能够在集群间合理分配带宽资源，以有效利用有限带宽资源高效传输数据。为了解决上述问题，本申请提供下述技术手段：一种带宽资源分配方法，应用于数据处理系统中的服务器，所述数据处理系统还包括多个集群，每个集群包含至少一个业务单元，所述服务器与多个集群中每个业务单元相连；所述方法包括：响应于所有业务单元发送带宽资源请求，在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向；其中，所述带宽资源请求中包含数据传输方向；将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值，确定为第一带宽资源总和；判断所述第一带宽资源总和是否小于预设带宽阈值；其中，所述预设带宽阈值为：所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值；如果是，则为目标业务单元分配带宽资源；所述目标业务单元为：包括所述目标数据传输方向的带宽资源请求所对应的业务单元。本申请还提供了一种数据传输方法，应用于数据处理系统中的任意一个业务单元，所述数据处理系统还包括多个集群及服务器，每个集群包含至少一个业务单元，所述服务器与每个集群中每个业务单元相连；所述方法包括：在与其它业务单元进行数据传输之前，任意一个当前业务单元向所述服务器发送带宽资源请求；接收所述服务器按照上述带宽资源分配方法的方式分配的带宽资源；利用所述分配的带宽资源与其它业务单元进行数据传输。本申请提供一种带宽资源分配装置，应用于数据处理系统中的服务器，所述数据处理系统还包括多个集群，每个集群包含至少一个业务单元，所述服务器与多个集群中每个业务单元相连；所述装置包括：选择单元，用于响应于所有业务单元发送带宽资源请求，在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向；其中，所述带宽资源请求中包含数据传输方向；第一确定单元，用于将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值，确定为第一带宽资源总和；第一判断单元，用于判断所述第一带宽资源总和是否小于预设带宽阈值；其中，所述预设带宽阈值为：所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值；分配单元，用于在第一带宽资源总和小于预设带宽阈值情况下，为目标业务单元分配带宽资源；所述目标业务单元为：包括所述目标数据传输方向的带宽资源请求所对应的业务单元。本申请提供一种数据传输装置，应用于数据处理系统中的任意一个业务单元，所述数据处理系统还包括多个集群及服务器，每个集群包含至少一个业务单元，所述服务器与每个集群中每个业务单元相连；所述装置包括：发送单元，用于在与其它业务单元进行数据传输之前，任意一个当前业务单元向所述服务器发送带宽资源请求；接收单元，用于接收所述服务器按照权利要求1的方式分配的带宽资源；传输单元，用于利用所述分配的带宽资源与其它业务单元进行数据传输。本申请提供一种数据处理系统，包括：多个集群以及服务器，每个集群中包含至少一个业务单元，所述服务器与多个集群中每个业务单元相连；所述服务器用于执行带宽资源分配的方法；任意一个业务单元，用于执行数据传输的方法。与现有技术相比，本申请具有以下优点：本申请提供的实施例应用于与所有业务单元相连的服务器，服务器能够综合目标数据传输方向上所有业务单元已使用的带宽资源和目标业务单元请求分配的带宽资源，判断是否应该为目标业务单元分配带宽资源。所以服务器能够站在全局角度，合理地为目标业务单元合理分配的带宽资源。并且，服务器中设有每个数据传输方向上能够使用的最高带宽阈值(预设带宽阈值)，因此，服务器可以控制每个数据传输方向上带宽资源的使用量，防止某个数据传输方向过度使用整体的带宽资源，引发带宽资源分配不均匀；还可以在已使用的带宽资源总和大于最高带宽阈值时，服务器不为目标业务单元分配带宽资源。所以本申请实施例能够提前防止业务单元过度使用带宽资源，而导致带宽资源拥塞问题。当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有技术数据处理系统的结构示意图；图2为本申请实施例公开的数据处理系统的结构示意图；图3为本申请实施例公开的带宽资源分配方法的流程图；图4为本申请实施例公开的带宽资源分配方法中为分配带宽资源的流程图；图5为本申请实施例公开的带宽资源分配方法中按优先级分配带宽资源的流程图；图6为本申请实施例公开的带宽资源分配方法中为业务单元分配带宽资源的流程图；图7为本申请实施例公开的数据传输方法的流程图；图8为本申请实施例公开的数据传输方法中业务单元判定是否发送带宽资源请求的流程图；图9为本申请实施例公开的带宽资源分配装置的结构示意图；图10为本申请实施例公开的带宽资源分配装置中分配单元的结构示意图；图11为本申请实施例公开的带宽资源分配装置的分配单元中第二分配单元的结构示意图；图12为本申请实施例公开的带宽资源分配装置的分配单元中第三分配单元的结构示意图；图13为本申请实施例公开的数据传输装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。如图2所示，在介绍本申请实施例之前首先介绍一种数据处理系统，以方便本领域技术人员更容易理解本申请实施例的应用场景。其中，数据处理系统包括多个集群100以及服务器200，每个集群中包含至少一个业务单元101，所述服务器200与多个集群100中每个业务单元相连。其中多个集群分别采用：集群1、集群2……集群N表示，N为非零自然数。一个业务单元可以同时向多个集群传输数据，所以一个业务单元的数据传输方向可以有多个，对应的带宽资源请求中也可以有多个数据传输方向。集群间有多个数据传输方向，如图1所示，集群间的数据传输方向有：集群A至集群B、集群B至集群C和本文档来自技高网...

【技术保护点】
一种带宽资源分配方法，其特征在于，应用于数据处理系统中的服务器，所述数据处理系统还包括多个集群，每个集群包含至少一个业务单元，所述服务器与多个集群中每个业务单元相连；所述方法包括：响应于所有业务单元发送带宽资源请求，在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向；其中，所述带宽资源请求中包含数据传输方向；将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值，确定为第一带宽资源总和；判断所述第一带宽资源总和是否小于预设带宽阈值；其中，所述预设带宽阈值为：所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值；如果是，则为目标业务单元分配带宽资源；所述目标业务单元为：包括所述目标数据传输方向的带宽资源请求所对应的业务单元。

【技术特征摘要】
1.一种带宽资源分配方法，其特征在于，应用于数据处理系统中的服务器，所述数据处理系统还包括多个集群，每个集群包含至少一个业务单元，所述服务器与多个集群中每个业务单元相连；所述方法包括：响应于所有业务单元发送带宽资源请求，在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目标数据传输方向；其中，所述带宽资源请求中包含数据传输方向；将所有业务单元在所述目标数据传输方向上已使用的带宽资源的和值，确定为第一带宽资源总和；判断所述第一带宽资源总和是否小于预设带宽阈值；其中，所述预设带宽阈值为：所述目标数据传输方向上所有业务单元所能使用的最高带宽阈值；如果是，则为目标业务单元分配带宽资源；所述目标业务单元为：包括所述目标数据传输方向的带宽资源请求所对应的业务单元。2.如权利要求1所述的方法，其特征在于，所述带宽资源请求中还包含请求分配的带宽资源和优先级级别；则所述为目标业务单元分配带宽资源，包括：将所有业务单元在所述目标数据传输方向上请求分配的带宽资源的和值，确定为第二带宽资源总和；将所述第一带宽资源总和与所述第二带宽资源总和的和值，确定为第三带宽资源总和；判断所述第三带宽资源总和是否大于所述预设带宽阈值；如果否，则为所有目标业务单元分配带宽资源；如果是，则按所有带宽资源请求中优先级级别的高低顺序，逐个向所述目标业务单元分配带宽资源，直到在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值。3.如权利要求2所述的方法，其特征在于，所述按所有带宽资源请求中优先级级别的高低顺序，逐个向所述目标业务单元分配带宽资源，直到在所述目标数据传输方向上所有业务单元已使用的带宽资源总和大于所述预设带宽阈值，包括：将所有带宽资源请求中优先级级别最高的带宽资源请求，确定为目标带宽资源请求；判断第一带宽资源总和是否大于所述预设带宽阈值；如果否，则向所述目标带宽资源请求对应的业务单元分配带宽资源，并将该分配的带宽资源添加至所述第一带宽资源总和内，以及，在删除该目标带宽资源请求后，执行将所有带宽资源请求中优先级级别最高的带宽资源请求，确定为目标带宽资源请求的步骤；如果是，则结束在所述目标数据传输方向上分配带宽资源的流程。4.如权利要求3所述的方法，其特征在于，所述向所述目标带宽资源请求对应的业务单元分配带宽资源，包括：获取所述目标带宽资源请求中请求分配的目标带宽资源；将所述第一带宽资源总和与所述目标带宽资源的和值，确定为目标带宽资源总和；判断所述目标带宽资源总和是否大于所述预设带宽阈值；如果是，则将所述预设带宽阈值与所述第一带宽资源总和的带宽资源差值，分配至所述目标带宽资源请求对应的业务单元；如果否，则将所述目标带宽资源分配至所述目标带宽资源请求对应的业务单元。5.一种数据传输方法，其特征在于，应用于数据处理系统中的任意一个业务单元，所述数据处理系统还包括多个集群及服务器，每个集群包含至少一个业务单元，所述服务器与每个集群中每个业务单元相连；所述方法包括：在与其它业务单元进行数据传输之前，任意一个当前业务单元向所述服务器发送带宽资源请求；接收所述服务器按照权利要求1的方式分配的带宽资源；利用所述分配的带宽资源与其它业务单元进行数据传输。6.如权利要求5所述的方法，其特征在于，在任意一个当前业务单元向所述服务器发送带宽资源请求之前，还包括：计算所述当前业务单元在所有数据传输方向上已使用的业务带宽资源；判断所述业务带宽资源是否小于第二预设带宽阈值，其中，所述第二预设带宽阈值表示所述当前业务单元所能使用的最高带宽阈值；如果是，则执行向所述服务器发送的带宽资源请求的步骤；如果否，则延迟预设时间后再执行向所述服务器发送的带宽资源请求的步骤。7.一种带宽资源分配装置，其特征在于，应用于数据处理系统中的服务器，所述数据处理系统还包括多个集群，每个集群包含至少一个业务单元，所述服务器与多个集群中每个业务单元相连；所述装置包括：选择单元，用于响应于所有业务单元发送带宽资源请求，在所有带宽资源请求指示的多个数据传输方向中选择一个数据传输方向作为目...

【专利技术属性】
技术研发人员：何乐，徐凯，尹小明，罗李，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY