【技术实现步骤摘要】
联邦建模方法、装置、设备及计算机可读存储介质
本专利技术涉及联邦学习领域，尤其涉及一种联邦建模方法、装置、设备及计算机可读存储介质。
技术介绍
目前，联邦学习的训练方式主要是以梯度共享的形式进行。各个具有相同构造的模型通过分享其本地梯度，共同训练一个全局模型。若某个模型在梯度传播过程中梯度被泄漏或窃听，则可以使用链式法则以及被泄漏的梯度还原输入数据。目前，为避免梯度被泄露或窃听，往往通过差分隐私保护、梯度量化以及梯度裁剪等方式对梯度进行保护，其中，差分隐私保护是通过对需要传播的梯度附加一定量的随机噪声来保护梯度；梯度量化是将梯度近似成为整型数值，例如(0，1)或(-1，0，1)等；梯度裁剪是通过将某些位置的梯度数值裁剪为0。但是，差分隐私保护、梯度量化以及梯度裁剪等方式，均需要通过对梯度添加扰动，如果扰动过大则会影响全局模型的收敛效果，导致模型无法收敛或最终全局模型的精度较低，如果扰动不足则无法有效保护梯度。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。专...
【技术保护点】
1.一种联邦建模方法，其特征在于，所述联邦建模方法包括以下步骤：/n第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；/n将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；/n基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。/n
【技术特征摘要】
1.一种联邦建模方法，其特征在于，所述联邦建模方法包括以下步骤：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
2.如权利要求1所述的联邦建模方法，其特征在于，所述将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数的步骤包括：
将所述第一公有模型参数发送至协调者，其中，所述协调者获取多个第二参与者发送的第二公有模型参数，基于各个第二公有模型参数以及所述第一公有模型参数确定全局模型参数，并反馈所述全局模型参数至所述第一参与者。
3.如权利要求1所述的联邦建模方法，其特征在于，所述第一公有模型参数包括公有梯度，所述私有模型参数包括私有梯度，所述第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤包括：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述待训练数据对应的公有损失函数值，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述待训练数据对应的私有损失函数值；
基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度。
4.如权利要求1至3任一项所述的联邦建模方法，其特征在于，所述基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型的步骤包括：
基于所述私有模型参数更新所述待训练模型中的私有模型，并基于所述全局模型参数更新所述待训练模型中的公有模型，以获得更新后的待训练模型；
基于更新后的待训练模型确定所述目标模型。
5.如权利要求4所述的联邦建模方法，其特征在于，所述基于所述全局模型参数更新所述待训练模型中的公有模型的步骤包括：
获取所述第一公有模型参数对应的第一权重以及所述全局模型参数对应的第二权重；
基于所述第一权重、所述第二权重、所述第一...
【专利技术属性】
技术研发人员：张天豫，范力欣，吴锦和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。