一种基于联邦学习进行模型参数更新的方法及系统技术方案

本说明书一个或多个实施例涉及一种基于联邦学习进行模型参数更新的方法及系统，可用于机器学习过程中的隐私数据保护，所述方法由参与方中的任一训练成员实现；其包括：获取具有与其他参与方相同结构的待训练初始模型；进行多次模型参数迭代更新，每次迭代包括：基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；基于所述传输比例从所述模型数据矩阵中提取部分参数元素；基于所述部分参数元素生成参数传输矩阵；将所述参数传输矩阵上传给所述服务器；从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。

【技术实现步骤摘要】
一种基于联邦学习进行模型参数更新的方法及系统
本说明书一个或多个实施例涉及多方数据联合处理，特别涉及一种基于联邦学习进行模型参数更新的方法和系统。
技术介绍
在数据分析、数据挖掘、经济预测等领域，机器学习模型可被用来分析、发现潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，由此难以准确地刻画目标，为了得到更好的模型预测结果，通过多个数据拥有方的数据合作，来进行模型的联邦学习的方式得到了广泛的使用。但是随着联邦学习技术的发展，联邦学习所计算的模型参数计算愈来愈大，参数数量也而越来越多。这对于多方计算过程中的通讯造成了很大的压力。因此，有必要提出一种方案降低传输过程中的通讯压力的问题。
技术实现思路
本说明书一个方面提供一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：获取具有与其他参与方相同结构的待训练初始模型；进行多次模型参数迭代更新，其中每次迭代包括：基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵本文档来自技高网...

【技术保护点】
1.一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：/n获取具有与其他参与方相同结构的待训练初始模型；/n进行多次模型参数迭代更新，其中每次迭代包括以下步骤：/n基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；其中，所述模型数据矩阵包含训练得到的多个参数；/n确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；/n基于所述传输比例从所述模型数据矩阵中提取部分参数元素；/n基于所述部分参数元素生成参数传输矩阵；/n将所述参数传输矩阵上传给所述服务器；/n从所述服务器获取更新后的模...

【技术特征摘要】
1.一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：
获取具有与其他参与方相同结构的待训练初始模型；
进行多次模型参数迭代更新，其中每次迭代包括以下步骤：
基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；其中，所述模型数据矩阵包含训练得到的多个参数；
确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；
基于所述传输比例从所述模型数据矩阵中提取部分参数元素；
基于所述部分参数元素生成参数传输矩阵；
将所述参数传输矩阵上传给所述服务器；
从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。


2.根据权利要求1所述的方法，所述基于所述传输比例从所述模型数据矩阵中提取部分参数元素，包括：
获取所述模型数据矩阵所包含的参数元素总数；
基于所述参数元素总数以及所述传输比例计算上传参数元素个数；
按所述模型数据矩阵中各参数元素的绝对值大小进行排序，选择绝对值靠前的上传参数元素个数的参数元素作为所述部分参数元素。


3.根据权利要求1所述的方法，所述基于所述部分参数元素生成参数传输矩阵，包括：
基于所述部分参数元素生成参数稀疏矩阵，其中，参数稀疏矩阵与所述模型数据矩阵同维，且所述部分参数元素在所述参数稀疏矩阵中的位置与在所述模型数据矩阵中的位置相同，所述参数稀疏矩阵中除所述部分参数元素以外的元素为0；
将所述参数稀疏矩阵确定为所述参数传输矩阵。


4.根据权利要求1所述的方法，所述基于所述部分参数元素生成参数传输矩阵，包括：
基于所述部分参数元素生成参数稀疏矩阵，其中，参数稀疏矩阵与所述模型数据矩阵同维，且所述部分参数元素在所述参数稀疏矩阵中的位置与在所述模型数据矩阵中的位置相同，所述参数稀疏矩阵中除所述部分参数元素以外的元素为0；
确定当前次迭代的训练样本数量；
将所述训练样本数量上传给服务器；
接收服务器返回的当前次迭代的训练样本总数，所述当前次迭代的训练样本总数为各训练成员当前次迭代的训练样本数据的总和；
基于所述训练样本数量以及所述训练样本总数确定权重系数；
基于所述权重系数以及所述参数稀疏矩阵获得加权参数矩阵，其中加权参数矩阵中的元素为权重系数与所述参数稀疏矩阵元素的乘积；
将所述加权参数矩阵确定为所述参数传输矩阵。


5.根据权利要求4所述的方法，所述训练样本数量以密文的形式上传给服务器。


6.根据权利要求1所述的方法，所述参数传输矩阵以密文的形式上传给服务器。


7.根据权利要求1所述的方法，所述待训练初始模型还具有与其他参与方相同的初始化模型参数。


8.根据权利要求1所述的方法，所述模型数据矩阵为模型梯度矩阵或模型参数矩阵，其中模型梯度矩阵包括训练得到的多个梯度值，模型参数矩阵包括训练得到的多个模型参数。


9.一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及所述服务器；所述方法包括多次模型参数迭代更新，其中每次迭代包括：
获取各训练成员上传的参数传输矩阵，所述各参数传输矩阵包括训练成员当前次迭代获得的模型数据矩阵中的部分参数元素，且部分参数元素的数量与迭代次数负相关；所述模型数据矩阵包含训练成员当前次迭代中通过自身持有的训练样本进行模型训练得到的多个参数；
基于各参数传输矩阵得到聚合参数矩阵；
基于聚合参数矩阵获得当前次迭代对应的模型参数；
将当前次迭代对应的模型参数发送给各训练成员。


10.一种基于联邦学习进行模型参数更新的系统，所述系统布置在参与方中的任一训练成员处，其中，所述参与方包括多个训练成员以及服务器；所述系统包括：
待训练初始模型获取模块：获取具有与其他参与方相同结构的待训练初始模型；
模型参数迭代模块，用于进行多次模型参数迭代更新，其进一步包括：
模型数据矩阵获取单...

【专利技术属性】
技术研发人员：郑龙飞，王莹桂，陈超超，王力，周俊，刘健，郭明宇，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33