【技术实现步骤摘要】
本专利技术涉及分布式训练技术，具体涉及一种基于可编程网络的聚合通信优化方法及其系统。
技术介绍
1、随着人工智能和网络技术的迅猛发展，深度神经网络(dnns)已在新一代应用和服务的各个方面得到了广泛的应用，例如计算机视觉、自然语言处理等。由于数据集规模和模型大小的急剧增长，单一节点算力已无法满足不同应用场景庞大的计算需求，因此，dnn模型通常采用分布式训练(dt)的方法。多数分布式训练使用含有多个工作服务器和至少一个参数服务器(ps)的参数服务器架构来并行训练dnn模型，以缓解机器学习带来的计算开销。
2、一种可行的方法是利用可编程网络设备的可编程性，基于在网计算技术将分布式训练的梯度聚合计算任务卸载到可编程交换机上进行，即在网聚合(ina)，从而显著减少网络传输的数据量，加快分布式训练。具体而言，在ps架构中，各工作节点计算出的待全局梯度结果进入网络后，只利用网络的传输功能，即交换机只负责转发，使梯度数据最终到达ps端且仅由ps聚合。得益于可编程网络设备的发展，可编程交换机的可编程性和在网计算能力能够为dt提供在网聚合功能
3、本文档来自技高网...
【技术保护点】
1.基于可编程网络的聚合通信优化方法，其特征在于，包括步骤：
2.根据权利要求1所述的聚合通信优化方法，其特征在于，计算可编程交换机位置部署和梯度路由策略的方法包括：
3.根据权利要求1或2所述的聚合通信优化方法，其特征在于，线性规划求解模型的表达式为：
4.根据权利要求3所述的聚合通信优化方法，其特征在于，流量负载和的表达式为：
5.根据权利要求1所述的聚合通信优化方法，其特征在于，聚合器可用的确定方法包括：
6.一种基于可编程网络的聚合通信优化系统，其特征在于，包括：
7.根据权利要求6所述的...
【技术特征摘要】
1.基于可编程网络的聚合通信优化方法，其特征在于，包括步骤：
2.根据权利要求1所述的聚合通信优化方法，其特征在于，计算可编程交换机位置部署和梯度路由策略的方法包括：
3.根据权利要求1或2所述的聚合通信优化方法，其特征在于，线性规划求解模型的表达式为：
4.根据权利要求3所述的聚合通信优化方法，其特征在于，流量负载和的表达式为：
5.根据权利要求1所述...
【专利技术属性】
技术研发人员：罗龙，陈栖栖，杨树林，范文琪，虞红芳，孙罡，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。