一种实现通信计算联合规划的去中心化分布式训练方法技术

本发明专利技术提出一种实现通信计算联合规划的去中心化分布式训练方法，包括，通过中央控制节点收集无线网络中所有参与节点信息；根据参与节点信息通过中央控制节点以收敛到指定误差为终止条件执行分布式训练计算部署子流程，得到训练节点本地训练的超参数配置；通过各个参与节点对训练模型初始化得到初始化本地模型，根据本地训练的超参数配置基于分布式随机梯度下降算法对初始化本地模型进行训练，同时通过中央控制节点执行分布式训练通信部署子流程，得到训练节点参数同步过程的超参数配置；将训练完成后各个参与节点的模型参数通过D2D链路发送给邻居节点，并接收邻居节点的模型参数，根据参数同步过程的超参数配置执行参数同步。数同步。数同步。

【技术实现步骤摘要】
一种实现通信计算联合规划的去中心化分布式训练方法


[0001]本专利技术属于无线通信


技术介绍

[0002]随着深度学习在计算机视觉、自然语言处理和语音处理中的成功，人工智能(AI)迎来了前所未有的发展热潮，它被嵌入到各种应用中，例如自动驾驶、智能制造等。这种基于深度学习的方法极大程度上依赖于模型的复杂程度与样本数据量的提升。然而，实际中数据大多生成于边缘网络且分布呈现少量多处的态势，传输开销巨大；此外，这些数据往往与个人的隐私性紧密相关。在这种情况下，传统云计算中心收集所有数据进行集中训练已难以适配未来多样化的新兴智能应用需求，催生了将模型训练任务下沉到网络边缘进行分布式协作训练的新型计算范式。
[0003]现有技术中，边缘网络的分布式协作训练大多以集中式的参数服务器(PS)架构部署在网络中。在PS架构中，多个参与节点(例如，移动终端和移动边缘计算服务器)基于本地数据集协作训练共享模型，由星形网络拓扑的中央服务器定期收集并下发所有设备的模型参数进行全局平均，直到实现分布式训练模型的收敛。但是这种集中式的分布式训练架构非常依赖本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现通信计算联合规划的去中心化分布式训练方法，其特征在于，包括：获取无线网络中参与分布式训练的移动终端节点和边缘计算节点并基于接收信号强度或物理距离建立D2D链路；通过中央控制节点收集所述无线网络中所有参与节点信息；根据所述参与节点信息通过所述中央控制节点以收敛到指定误差为终止条件执行分布式训练计算部署子流程，得到训练节点本地训练的超参数配置；通过各个参与节点对训练模型初始化得到初始化本地模型，根据所述本地训练的超参数配置基于分布式随机梯度下降算法对所述初始化本地模型进行训练，同时通过所述中央控制节点执行分布式训练通信部署子流程，得到训练节点参数同步过程的超参数配置；将训练完成后所述各个参与节点的模型参数通过所述D2D链路发送给邻居节点，并接收所述邻居节点的模型参数，根据所述参数同步过程的超参数配置执行参数同步。2.根据权利要求1所述的方法，其特征在于，在根据所述参与节点信息通过所述中央控制节点以收敛到指定误差为终止条件执行分布式训练计算部署子流程之前，还包括：通过中央控制节点将不满足预设条件的节点从所有参与节点的集合中剔除，其中所述参与节点信息包括：根据发射信号导频所估计的信道状态、节点数目，形成初始连接拓扑、设备在给定模型上的算力、本地数据集的大小以及数据分布。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述参与节点信息通过所述中央控制节点以收敛到指定误差为终止条件执行分布式训练计算部署子流程，包括：选择节点N建模为图V1×
N
，网络拓扑结构建模为W0；基于共识程度δ对网络拓扑进行处理得到W＝f
s
(W0,δ)；以收敛到指定误差∈为终止条件执行分布式训练计算部署子流程，得到节点本地训练的超参数配置；所述训练节点本地训练的超参数配置数据包括：参数交换网络拓扑结构W、本地训练周期E
l
、批量采样方式、批量大小信息。4.根据权利要求1所述的方法，其特征在于，所述通过所述中央控制节点执行分布式训练通信部署子流程，包括：通过中央控制节点依据各个节点上传的算力f
i
信息估计各个节点完成本地计算的时间t
i
；通过中央控制节点控制各个参与节点在完成本地训练后立即执行去中心化的参数同步过程，基于离线调度思想，以最小化传输为优化目标进行动态带宽分配。5.根据权利要求1所述的方法，其特征在于，所述节点参数同步过程的超参数配置数据包括：参数聚合权重[ω
ij
...

【专利技术属性】
技术研发人员：郭凤仙，程堃，彭木根，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：