一种分布式数据传输优化方法、系统及相关设备技术方案

本发明专利技术实施例提供了一种分布式数据传输优化方法、系统及相关设备，用于提高数据传输的效率。本发明专利技术实施例方法包括：获取多条训练数据及数据传输策略的超参数空间，每一条所述训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中所述集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；将所述多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略。

【技术实现步骤摘要】
一种分布式数据传输优化方法、系统及相关设备
本专利技术涉及分布式数据传输优化
，尤其涉及一种分布式数据传输优化方法、系统及相关设备。
技术介绍
近年随着深度学习在人工智能领域的应用越来越广，深度学习使用的模型应用也越来越复杂、数据集也越来越大。使用单机训练这些模型往往需要的时间按月计。为了节省对这些模型的训练时间，往往在大规模集群上采用数据并行的方式对模型进行训练。目前在数据并行训练中公认的高效方式是基于聚合方式交互模型训练过程中的权重或梯度，聚合过程中的集群中的节点之间的数据通信经常采用数据并行框架默认的数据传输策略(依据经验设置集群底层网络拓扑以及集群内节点组合策略)，没有数据传输策略调节优化，无法发挥集合通信最佳的网络吞吐量，导致数据通信效率低下。
技术实现思路
本专利技术实施例提供了一种分布式数据传输优化方法、系统及相关设备，用于提高数据传输的效率。本专利技术实施例第一方面提供了一种分布式数据传输优化方法，可包括：获取多条训练数据及数据传输策略的超参数空间，每一条所述训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中所述集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；将所述多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略。可选的，作为一种可能的实施方式，本专利技术实施例中的分布式数据传输优化方法，还可以包括：采集所述集群在执行所述最优数据传输策略时单位时间内的网络吞吐量参数记作参数A；判断所述参数A是否满足预设条件，若不满足，则将所述最优数据传输策略及所述参数A作为所述多条训练数据中的一条训练数据代入贝叶斯优化算法模型，以重新确定最优数据传输策略。可选的，作为一种可能的实施方式，本专利技术实施例中，在将所述最优数据传输策略及所述参数A作为所述多条训练数据中的一条训练数据代入贝叶斯优化算法模型之前，所述方法还可以包括：判断所述最优数据传输策略与所述多条训练数据是否存在重复数据，若存在重复数据，则去除重复数据。可选的，作为一种可能的实施方式，本专利技术实施例中，所述获取多条训练数据可包括：随机选定所述超参数空间中的每个参数的初始值，组成多种数据传输策略；在集群中分别配置所述多种数据传输策略，并分别采集执行所述多种数据传输策略执行过程中所述集群在单位时间内的网络吞吐量参数。可选的，作为一种可能的实施方式，本专利技术实施例中，所述将所述多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略，可包括：采用高斯过程对所述多个训练数据进行拟合，得到数据传输策略与网络吞吐量参数之间的函数作为输出函数；设置获取函数并根据所述输出函数在所述数据传输策略的超参数空间中搜索得到最优数据传输策略，以使得所述获取函数最大化。可选的，作为一种可能的实施方式，本专利技术实施例中，所述集群在单位时间内的网络吞吐量参数的计算过程可包括：计算n个节点在时间t内的网络吞吐量均值(avgxi)，累加所有节点的网络吞吐量均值(∑i(avgxi))，i为1至n之间的正整数；计算所述集群在单位时间内的网络吞吐量参数为(∑i(avgxi))/(n*t)。可选的，作为一种可能的实施方式，本专利技术实施例中，所述数据传输策略的超参数空间可包括：聚合通信操作参数、拓扑连接参数，数据片参数，域内通信分组参数，域间通信分组参数。本专利技术实施例第二方面提供了一种分布式数据传输优化系统，可包括：获取模块，获取多条训练数据及数据传输策略的超参数空间，每一条训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；第一计算模块，用于将多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略。可选的，作为一种可能的实施方式，本专利技术实施例中的分布式数据传输优化系统，还可以包括：采集模块，用于采集集群在执行最优数据传输策略时单位时间内的网络吞吐量参数记作参数A；判断模块，判断参数A是否满足预设条件，若不满足，则将最优数据传输策略及参数A作为多条训练数据中的一条训练数据代入贝叶斯优化算法模型，以重新确定最优数据传输策略。可选的，作为一种可能的实施方式，本专利技术实施例中，在将最优数据传输策略及参数A作为多条训练数据中的一条训练数据代入贝叶斯优化算法模型之前，方法还包括：判断最优数据传输策略与多条训练数据是否存在重复数据，若存在重复数据，则去除重复数据。可选的，作为一种可能的实施方式，本专利技术实施例中的获取模块可包括：随机单元，随机选定超参数空间中的每个参数的初始值，组成多种数据传输策略；采集单元，在集群中分别配置多种数据传输策略，并分别采集执行多种数据传输策略执行过程中集群在单位时间内的网络吞吐量参数。可选的，作为一种可能的实施方式，本专利技术实施例中的计算模块可包括：拟合单元，采用高斯过程对多个训练数据进行拟合，得到数据传输策略与网络吞吐量参数之间的函数作为输出函数；搜索单元，设置获取函数并根据输出函数在数据传输策略的超参数空间中搜索得到最优数据传输策略，以使得获取函数最大化。可选的，作为一种可能的实施方式，本专利技术实施例中的分布式数据传输优化系统，还可以包括：第二计算模块，用于计算n个节点在时间t内的网络吞吐量均值(avgxi)，累加所有节点的网络吞吐量均值(∑i(avgxi))，i为1至n之间的正整数；第三计算模块，用于计算集群在单位时间内的网络吞吐量参数为(∑i(avgxi))/(n*t)。本专利技术实施例第三方面提供了一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。本专利技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例中，可以预先获取多条训练数据及数据传输策略的超参数空间，将多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略。相对于现有方案，本专利技术实施例实现了基于贝叶斯优化算法实现了数据传输策略的优化，提高了数据传输的效率。附图说明图1为本专利技术实施例中一种分布式数据传输优化方法的一个实施例示意图；图2为本专利技术实施例中一种分布式数据传输优化方法的另一个实施例示意图；图3为本专利技术实施例中一种分布式数据传输优化方法的一个具体应用实施例示意图本文档来自技高网...

【技术保护点】
1.一种分布式数据传输优化方法，其特征在于，包括：/n获取多条训练数据及数据传输策略的超参数空间，每一条所述训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中所述集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；/n将所述多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略。/n

【技术特征摘要】
1.一种分布式数据传输优化方法，其特征在于，包括：
获取多条训练数据及数据传输策略的超参数空间，每一条所述训练数据包含集群配置的一种数据传输策略及在执行对应的数据传输策略过程中所述集群在单位时间内的网络吞吐量参数，其中，每个初始策略包含一组预设参数字段以及各个预设参数字段的字段值；
将所述多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略。


2.根据权利要求1所述的方法，其特征在于，还包括：
采集所述集群在执行所述最优数据传输策略时单位时间内的网络吞吐量参数记作参数A；
判断所述参数A是否满足预设条件，若不满足，则将所述最优数据传输策略及所述参数A作为所述多条训练数据中的一条训练数据代入贝叶斯优化算法模型，以重新确定最优数据传输策略。


3.根据权利要求2所述的方法，其特征在于，在将所述最优数据传输策略及所述参数A作为所述多条训练数据中的一条训练数据代入贝叶斯优化算法模型之前，所述方法还包括：
判断所述最优数据传输策略与所述多条训练数据是否存在重复数据，若存在重复数据，则去除重复数据。


4.根据权利要求3所述的方法，其特征在于，所述获取多条训练数据包括：
随机选定所述超参数空间中的每个参数的初始值，组成多种数据传输策略；
在集群中分别配置所述多种数据传输策略，并分别采集执行所述多种数据传输策略执行过程中所述集群在单位时间内的网络吞吐量参数。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述多个训练数据及数据传输策略的超参数空间代入贝叶斯优化算法模型，计算得到当前训练数据下的最优数据传输策略，包括：
采用高斯过程对所述多...

【专利技术属性】
技术研发人员：刘永恒，任智祥，张凡，付志鹏，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：广东;44