【技术实现步骤摘要】
面向神经网络计算的分布式数据路由的建模方法和装置
[0001]本专利技术涉及基于特定计算模型的计算机系统领域，特别涉及一种面向神经网络计算的分布式数据路由的建模方法和装置。
技术介绍
[0002]随着人工智能产业化应用的快速发展，大规模深度神经网络模型的分布式训练系统越来越成为学术界和工业界的研究热点。已有的深度学习编译器在编译神经网络分布式模型时将全局逻辑计算图产生的张量数据部署到不同设备进程的物理计算图的过程中，缺少统一的分布式路由策略。
技术实现思路
[0003]本专利技术的目的在于提供一种面向神经网络计算的分布式数据路由的建模方法和装置，以克服现有技术中的不足。
[0004]为实现上述目的，本专利技术提供如下技术方案：本专利技术公开了一种面向神经网络计算的分布式数据路由的建模方法，包括如下步骤：S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布...
【技术保护点】
【技术特征摘要】
1.一种面向神经网络计算的分布式数据路由的建模方法，其特征在于，包括如下步骤：S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；S4：推演中间通信原语类型，具体子步骤如下：S41：推演生产者算子的输出张量的分布式属性：根据生产者算子的输入张量的分布式属性，推演输出张量的合法分布式属性；S42：推演中间通信原语：根据生产者算子输出张量的分布式属性和消费者算子所需的输入张量的分布式属性，推演出所需的中间通信原语类型；S5：推导出中间通信原语的传输代价：推导出不同分布式属性之间进行转换的通信代价；S6：推导中间通信原语的建模方式，子步骤如下：S61：定义基本的原子操作；S62：构建复杂操作：复杂操作由基本原子操作复合而成；采用或方式构建复杂目标操作，获取的目标操作是多个原子操作的并联关系；采用分冶方式构建复杂操作，获取的目标操作是多个原子操作通过中间分布式属性的串联关系；采用复合方式构建复杂操作，所述复合方式指通过串联和并联组合使用构建更加复杂的目标操作；S7：插入传输代价最小的中间通信原语：选择传输代价最小的原语，将其插入到全局逻辑张量和局部物理张量之间。2.如权利要求1所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S1中：所述广播属性是指将逻辑张量的数据发送到集群中的其他节点；其中所述散播属性是指将逻辑张量的数据沿着指定维度进行划分并散播至其他节点，定义沿着横轴切分所得张量分量的散播属性为S(0)，沿着纵轴切分所得张量分量的散播属性为S(1)；所述局部规约属性反映不同逻辑张量的分量分发到物理设备进程上进行计算，计算所得的局部物理张量是不同逻辑张量切分之前完整张量进行计算所得的全局逻辑张量的部分值，上述局部物理张量与全局逻辑张量的形状一致，全局逻辑张量可以通过对所有逻辑张量分量计算所得的局部物理张量进行逐元素规约操作来获取。3.如权利要求1所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S3具体过程如下：对于存在生产消费关系的相邻算子之间，当出现同一个逻辑张量对于它的生产者算子产生的分布式属性和消费者算子所需的分布式属性不同的情形，需要在所述逻辑张量的生产者算子与消费者算子之间插入中间通信原语，否则，不需要插入中间通信原语。4.如权利要求2所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S5的具体子步骤如下：
S51：推导散播属性转换为任意分布式属性的通信代价，包括如下类型：散播属性S(0)与散播属性S(1)之间转换的通信代价：通过中间通信原语All2All实现两种不同散播属性的之间的转换，跨设备之间转换过程中所产生的传输数据量为全局逻辑张量的大小；散播属性转换为广播属性的通信代价：通过中间通信原语AllGather实现将散播属性转换为广播属性，通信代价为输出张量的设备进程数量与全局逻辑张量大小的乘积；S52：局部规约属性转换为任意分布式属性的通信代价，包括如下类型：局部规约属性转换为散播属性的通信代价：通过中间通信原语ReduceScatter实现将局部规约属性转换为散播属性，通信代价为输入张量的设备进程数量与全局逻辑张量大小的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。