【技术实现步骤摘要】
本专利技术实施例涉及面向资源受限的边缘设备的分布式模型训练，尤其涉及一种基于神经组合的轻量化联邦学习方法和装置。
技术介绍
1、资源受限是在边缘网络中部署联邦模型训练的一大挑战，目前面向资源高效的轻量化联邦学习技术主要有以下几种方案：(1)利用稀疏化、量化等技术对客户端上传给服务器的梯度进行压缩，从而减小梯度传输所需要的通信资源开销；(2)利用模型剪枝技术降低模型的复杂度，从而减小模型训练所需要的计算资源开销，并且客户端与服务器之间也只需要传输修剪后的梯度，同时也节约了通信资源；(3)利用低秩分解技术将模型参数分解成较小的张量，再按需重组成不同复杂度的模型进行训练，同时节约了通信资源和计算资源。
2、对于上述的第一种方案来说，虽然节约了通信资源，但是由于并未降低模型的复杂度，所以计算资源的开销依旧很大。对于第二种方案来说，虽然可以同时降低通信和计算资源开销，但是其与第一种方法一样，都会降低模型训练的收敛性能。原因是在这两类方法中，被压缩或者是被修剪掉的参数无法或是只能得到很少的训练优化。而对于第三种方案来说，由于一些张量只能...
【技术保护点】
1.一种基于神经组合的轻量化联邦学习方法，其特征在于，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块，方法包括：
2.根据权利要求1所述的方法，其特征在于，根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块，包括：
3.根据权利要求2所述的方法，其特征在于，在为客户端选择系数张量块时，选择全局模型中更新次数最少的系数张量块作为客户端所要训练的系数张量块。
4.根据权利要求1所述的方法，其特征在于，根据每个客户端的本地计算能力确定每个...
【技术特征摘要】
1.一种基于神经组合的轻量化联邦学习方法，其特征在于，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块，方法包括：
2.根据权利要求1所述的方法，其特征在于，根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块，包括：
3.根据权利要求2所述的方法，其特征在于，在为客户端选择系数张量块时，选择全局模型中更新次数最少的系数张量块作为客户端所要训练的系数张量块。
【专利技术属性】
技术研发人员：刘建春，闫家铭，徐宏力，王世龙，宫建涛，刘旭东，侯坤，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。