一种用于二值神经网络的低上行负载联邦学习方法及装置制造方法及图纸

本发明专利技术公开了一种用于二值神经网络的低上行负载联邦学习方法及装置，其中方法包括：边缘节点接受中心节点下发的模型定义；在每个训练轮次，被选中的边缘节点从中心节点下载当前全局模型并进行训练；中心节点基于边缘节点提交的二值参数、少量实值参数以及极少量辅助参数对边缘节点实值参数变化量进行估计；中心节点根据各个边缘节点数据集的大小对所估计的实值参数变化量进行聚合并更新全局模型；从而基于神经网络参数服从正态分布的假设和二值神经网络权重二值化的原理估计边缘节点的实值参数变化量更新全局模型，具有上传数据量少，全局网络训练质量高，边缘节点模型推理速度快，兼容各种对实值参数进行线性映射后再进行参数二值化的二值神经网络。

【技术实现步骤摘要】

本专利技术涉及深度学习，特别涉及一种用于二值神经网络的低上行负载联邦学习方法以及一种用于二值神经网络的低上行负载联邦学习装置。

技术介绍

1、联邦学习(federated learning，fl)作为一种新型分布式计算范例已经被提出，它可以在不接触边缘节点数据集的前提下训练全局模型，具有保护数据隐私，破除数据壁垒的优点；然而由于边缘设备所处的网络环境优劣不同，如何减少上传的成本是联邦学习中重要的研究方向。

2、过去，许多节省上传成本的方法被提取，如通过对边缘节点参数变化量进行压缩上传，然而这些方法受到参数的变化量大小限制，压缩倍数有限。另外，有使用更少的比特数表示网络参数并通过上传低比特表示的网络参数从而减少单个参数上传所用比特数，然而这些方法会面临模型性能损失的问题；总之，现有的减少上传数据量的联邦学习方法仍面临着上传数据较大或模型性能受损的问题。

技术实现思路

1、本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种用于二值神经网络的低上行负载联邦本文档来自技高网...

【技术保护点】

1.一种用于二值神经网络的低上行负载联邦学习方法，其特征在于，包括以下步骤：

2.如权利要求1所述的用于二值神经网络的低上行负载联邦学习方法，其特征在于，所述二值神经网络模型推理方式为：

3.如权利要求2所述的用于二值神经网络的低上行负载联邦学习方法，其特征在于，所述当前轮次选中的各个边缘节点k经过更新后，使用1比特表示每个元素的二值参数kθb[t+1]，使用32比特表示每个元素的实值参数kθ[t+1]，使用32比特表示的实值参数的均值μk[t+1]＝mean(kθ[t+1])和标准差σk[t+1]＝std(kθ[t+1])，二值神经网络中对参数进行线性映射之后再...

【技术特征摘要】

1.一种用于二值神经网络的低上行负载联邦学习方法，其特征在于，包括以下步骤：

2.如权利要求1所述的用于二值神经网络的低上行负载联邦学习方法，其特征在于，所述二值神经网络模型推理方式为：

3.如权利要求2所述的用于二值神经网络的低上行负载联邦学习方法，其特征在于，所述当前轮次选中的各个边缘节点k经过更新后，使用1比特表示每个元素的二值参数kθb[t+1]，使用32比特表示每个元素的实值参数kθ[t+1]，使用32比特表示的实值参数的均值μk[t+1]＝mean(kθ[t+1])和标准差σk[t+1]＝std(kθ[t+1])，二值神经网络中对参数进行线性映射之后再进行二值化的网络层l所包括的斜率参数和截距参数用于边缘节点训练的数据集dk的大小|dk|，其中，mean(·)表示计算输入数据的均值的函数，std(·)表示计算输入数据的标准差的函数，|·|表示某个集合的大小。

4.如权利要求3所述的用于二值神经网络的低上行负载联邦学习方法，其特征在于，对所述当前轮次选中的各个边缘节点实值参数变化量进行估计，以得到对应的实值参数变化量估计值，包括：

5.如权利要求4所述的用于二值神经网络的低上行负载联邦学习方法，其特征在于，根据以下公式对所述当前轮次选中的各个边缘节点对应的实值参数变化量估计值进行聚合并更新全局模型：

【专利技术属性】
技术研发人员：苏毓涵，陈业维，吴挺竹，廖新勤，李王明卉，陈忠，
申请(专利权)人：厦门大学，
类型：发明
国别省市：