半异步联邦学习的方法和通信装置制造方法及图纸

本申请提供了一种联邦学习的方法,通信装置通过设置阈值(时间阈值或/和计数阈值)触发终端设备发送的局部模型的融合生成全局模型，且在设计局部模型的融合权重时，综合考虑终端设备的局部模型所包含的数据特性、滞后程度以及对应终端设备的样本集数据特征的利用程度，既可避免同步式系统中模型上传版本同步要求所导致的训练效率低下的问题，也可避免异步式系统“即到即更”原则导致的收敛不稳定和泛化能力差的问题。能力差的问题。能力差的问题。

【技术实现步骤摘要】
半异步联邦学习的方法和通信装置


[0001]本申请涉及通信领域，并且具体地，涉及一种半异步联邦学习的方法和通信装置。

技术介绍

[0002]随着大数据时代的到来，每台设备每天都会以各种形式产生巨量的原始数据，这些数据将以“孤岛”的形式诞生并存在于世界的各个角落。传统的集中式学习要求各个边缘设备将本地数据统一传输到中心端的服务器上，其后再利用收集到的数据进行模型的训练与学习，然而这一架构随着时代的发展逐渐受到如下因素的限制：(1)边缘设备广泛地分布于世界上各个地区和角落，这些设备将以飞快的速度源源不断地产生和积累巨大量级的原始数据。若中心端需要收集来自全部边缘设备的原始数据，势必会带来巨大的通信损耗和算力需求；(2)随着现实生活中实际场景的复杂化，越来越多的学习任务要求边缘设备能够做出及时而有效的决策与反馈。传统的集中式学习由于涉及到大量数据的上传势必会导致较大程度的时延，致使其无法满足实际任务场景的实时需求；(3)考虑到行业竞争、用户隐私安全、行政手续复杂等问题，将数据进行集中整合将面临越来越大的阻力制约。因而系统部署将越来越倾向于在本地存储数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半异步式联邦学习的方法，其特征在于，包括:计算节点在第t轮迭代中向K个子节点中的部分或全部发送第一参数，所述第一参数包括第一全局模型、第一时间戳t
‑
1，其中，所述第一全局模型为所述计算节点在第t
‑
1轮迭代中生成的全局模型，t为大于或等于1的整数，所述K个子节点是参与模型训练的所有子节点；所述计算节点在第t轮迭代中接收至少一个子节点发送的第二参数，所述第二参数包括第一局部模型和第一版本号t'，其中，所述第一版本号表示所述第一局部模型是所述子节点基于本地数据集对在第t'+1轮迭代中接收的全局模型训练生成的，所述第一版本号是所述子节点根据第t'+1轮迭代中接收到的时间戳确定的，1≤t'+1≤t且t'为自然数；当达到第一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，生成第二全局模型，同时将第一时间戳t
‑
1更新为第二时间戳t，m为大于或等于1且小于或等于K的整数；所述计算节点在第t+1轮迭代中向所述K个子节点中的部分或全部或子节点发送第三参数，所述第三参数包括所述第二全局模型、第二时间戳t。2.根据权利要求1所述的方法，其特征在于，所述第一阈值包括时间阈值L和/或计数阈值N，N大于等于1且为整数，所述时间阈值L为预先设置的每轮迭代中用来上传局部模型的时间单元的个数，L大于等于1且为整数，以及，所述当达到所述第一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，包括：所述第一阈值为所述计数阈值N，所述计算节点使用模型融合算法对到达所述第一阈值时接收到的所述m个第一局部模型进行融合，所述m大于或等于所述计数阈值N；或者所述第一阈值为所述时间阈值L，所述计算节点使用模型融合算法对在L个时间单元上接收到的m个第一局部模型进行融合；或者所述第一阈值包括所述计数阈值N和所述时间阈值L，当达到所述计数阈值N和所述时间阈值L中任一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合。3.根据权利要求1或2所述的方法，其特征在于，所述第一参数还包括第一贡献向量，所述第一贡献向量包括所述K个子节点在所述第一全局模型中的贡献占比，以及所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，生成第二全局模型，包括：所述计算节点根据所述第一贡献向量、第一样本占比向量和所述m个第一局部模型对应的第一版本号t'确定所述第一融合权重，其中，所述第一融合权重包括所述m个第一局部模型中每一个局部模型和所述第一全局模型进行模型融合时的权重，所述第一样本占比向量包括所述K个子节点中每个子节点的本地数据集在所述K个子节点的所有本地数据集中的占比；所述计算节点根据所述第一融合权重、所述m个第一局部模型和所述第一全局模型确定所述第二全局模型；所述方法还包括：所述计算节点根据所述第一融合权重和所述第一贡献向量确定第二贡献向量，所述第
二贡献向量为所述K个子节点在所述第二全局模型中的贡献占比；所述计算节点在第t+1轮迭代中向所述K个子节点中的部分或者全部子节点发送所述第二贡献向量。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，在所述计算节点在第t轮迭代中接收至少一个子节点发送的第二参数之前，所述方法还包括：所述计算节点接收来自至少一个子节点的第一资源分配请求消息，所述第一资源分配请求消息包括所述第一版本号t'；当所述计算节点接收的所述第一资源分配请求的个数小于或等于系统内资源的个数时，所述计算节点根据所述第一资源分配请求消息通知所述至少一个子节点在分配的资源上发送所述第二参数；或者当所述计算节点接收的所述第一资源分配请求的个数大于系统内资源的个数时，所述计算节点根据所述至少一个子节点发送的所述第一资源分配请求消息和所述第一占比向量确定所述至少一个子节点中每一个子节点被分配资源的概率；所述计算节点根据所述概率确定资源分配结果；所述计算节点向所述至少一个子节点发送所述资源分配结果。5.一种半异步式联邦学习的方法，其特征在于，包括:子节点在第t轮迭代中从计算节点接收第一参数，所述第一参数包括第一全局模型、第一时间戳t
‑
1，所述第一全局模型是所述计算节点在第t
‑
1轮迭代中生成的全局模型，t为大于或等于1的整数；所述子节点基于本地数据集对所述第一全局模型或者所述第一全局模型之前接收到的全局模型进行训练，生成第一局部模型；所述子节点在第t轮迭代中向所述计算节点发送第二参数，所述第二参数包括第一局部模型和第一版本号t'，其中，所述第一版本号表示所述第一局部模型是所述子节点基于本地数据集对在第t'+1轮迭代中接收的全局模型训练生成的，所述第一版本号是所述子节点根据第t'+1轮迭代中接收到的时间戳确定的，1≤t'+1≤t且t'为自然数；所述子节点在第t+1轮迭代中从所述计算节点接收第三参数，所述第三参数包括所述第二全局模型、第二时间戳t。6.根据权利要求5所述的方法，其特征在于，所述第一局部模型是所述子节点基于所述本地数据集对在第t'轮迭代中接收的全局模型训练生成的，包括：当所述子节点处于空闲状态时，所述第一局部模型是所述子节点基于所述本地数据集对所述第一全局模型训练生成的；或者当所述子节点正在训练第三全局模型时，所述第三全局模型为所述第一全局模型之前接收到的全局模型，所述第一局部模型是所述子节点根据所述子节点在所述第一全局模型中的影响占比，选择继续训练所述第三全局模型生成的，或者，选择开始训练所述第一全局模型生成的；或者所述第一局部模型是所述子节点本地保存的已完成训练但未成功上传的至少一个局部模型中最新的局部模型。7.根据权利要求6所述的方法，其特征在于，所述第一参数还包括第一贡献向量，所述第一贡献向量为所述K个子节点在所述第一全局模型中的贡献占比，以及
所述第一局部模型是所述子节点根据所述子节点在所述第一全局模型中的影响占比，选择继续训练所述第三全局模型生成的，或者，选择开始训练所述第一全局模型生成的，包括：当子节点在所述第一全局模型中的贡献占比与所述K个子节点在所述第一全局模型中的贡献占比之和的比值大于或等于所述第一样本占比，所述子节点不再训练所述第三全局模型，并开始训练所述第一全局模型，其中，所述第一样本占比为所述子节点的本地数据集与所述K个子节点的所有本地数据集的比值；当子节点在所述第一全局模型中的贡献占比与所述K个子节点在所述第一全局模型中的贡献占比之和的比值小于所述第一样本占比，所述子节点继续训练所述第三全局模型；所述方法还包括：所述子节点在第t+1轮迭代中从所述计算节点接收所述第二贡献向量，所述第二贡献向量为所述K个子节点在所述第二全局模型中的贡献占比。8.根据权利要求5
‑
7中任一项所述的方法，其特征在于，在所述子节点在第t轮迭代中向计算节点发送第二参数之前，所述方法还包括：所述子节点向所述计算节点发送第一资源分配请求消息，所述第一资源分配请求消息包括所述第一版本号t'；所述子节点从所述计算节点接收资源分配结果；所述子节点根据所述资源分配结果在分配的资源上发送所述第二参数。9.一种通信装置，应用于计算节点，其特征在于，包括:发送单元，用于在第t轮迭代中向K个子节点中的部分或全部发送第一参数，所述第一参数包括第一全局模型、第一时间戳t
‑
1，其中，所述第一全局模型为所述计算节点在第t
‑
1轮迭代中生成的全局模型，t为大于或等于1的整数，所述K个子节点是参与模型训练的所有子节点；接收单元，用于在第t轮迭代中接收至少一个子节点发送的第二参数，所述第二参数包括第一局部模型...

【专利技术属性】
技术研发人员：张朝阳，王忠禹，于天航，王坚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：