一种联邦学习场景下的全连接神经网络模型聚合方法技术

本发明专利技术公开了一种联邦学习场景下的全连接神经网络模型聚合方法，属于人工智能领域，该方法通过中央服务器向提供独立模型的所有用户下发神经网络的超参数和参数，每个用户根据从中央服务器得到的超参数建立统一的神经网络；每个用户将神经网络的初始值设为从中央服务器得到的参数，并利用各自的数据进行各自的神经网络训练；在各自的神经网络训练结束后，每个用户向中央服务器上传各自的神经网络参数，即用户模型参数；中央服务器收集所有用户模型参数，进行聚合，得到联合模型；中央服务器判定是否达到循环次数；通过逐层逼近由每个客户端模型得到的特征，可得到适合所有用户使用的统一模型；提高了联合模型的全局准确率和泛化能力。

【技术实现步骤摘要】
一种联邦学习场景下的全连接神经网络模型聚合方法
本专利技术涉及人工智能领域，尤其涉及一种联邦学习场景下的全连接神经网络模型聚合方法。
技术介绍
联邦学习，又名联邦机器学习、联合学习、联盟学习。联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现AI协作。联邦学习定义了机器学习框架，在此框架下通过训练联合模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。联合模型是各方将数据聚合在一起的最优模型，各自区域依据模型为本地目标服务。联邦学习要求此建模结果应当无限接近传统模式，即将多个数据拥有方的数据汇聚到一处进行建模的结果。在联邦机制下，各参与者的身份和地位相同，可建立共享数据策略。由于数据不发生转移，因此不会泄露用户隐私或影响数据规范。目前利用各参与方的独立模型求解联合模型的方法有以下几种：(1)联邦平均(FedAvg)方法[1]：将各个设备本文档来自技高网...

【技术保护点】
1.一种联邦学习场景下的全连接神经网络模型聚合方法，其特征在于：包括以下步骤：/nS1:中央服务器向提供独立模型的所有用户下发神经网络的超参数和参数，设定S3-S5的循环次数；/nS2:每个用户根据从中央服务器得到的超参数建立统一的神经网络；/nS3:每个用户将神经网络的初始值设为从中央服务器得到的参数，并利用各自的数据进行各自的神经网络训练；/nS4:在各自的神经网络训练结束后，每个用户向中央服务器上传各自的神经网络参数，即用户模型参数；/nS5:中央服务器收集所有用户模型参数，进行聚合，得到联合模型，再将联合模型的参数下发给每个用户；/nS6：中央服务器判定是否达到循环次数，未达到设定的循...

【技术特征摘要】
1.一种联邦学习场景下的全连接神经网络模型聚合方法，其特征在于：包括以下步骤：
S1:中央服务器向提供独立模型的所有用户下发神经网络的超参数和参数，设定S3-S5的循环次数；
S2:每个用户根据从中央服务器得到的超参数建立统一的神经网络；
S3:每个用户将神经网络的初始值设为从中央服务器得到的参数，并利用各自的数据进行各自的神经网络训练；
S4:在各自的神经网络训练结束后，每个用户向中央服务器上传各自的神经网络参数，即用户模型参数；
S5:中央服务器收集所有用户模型参数，进行聚合，得到联合模型，再将联合模型的参数下发给每个用户；
S6：中央服务器判定是否达到循环次数，未达到设定的循环次数，则返回S3，当达到设定的循环次数，循环结束。


2.根据权利要求1所述的一种联邦学习场景下的全连接神经网络模型聚合方法，其特征还在于：所述中央服务器将收集到的所有神经网络参数聚合，得到联合模型的过程如下：
S5-1：假设共有a个用户模型，全连接神经网络的所有层中，节点数最多的层有nmax个节点，每个数据样本的特征向量中含有b个特征，其数值范围为[min,max]，中央服务器生成a(nmax+1)个一维随机向量Xi，大小为1×b，数值范围为[min,max]；
S5-2：中央服务器针对每个用户模...

【专利技术属性】
技术研发人员：刘航，王悦晨，郭艳卿，付海燕，李祎，王波，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21