联邦建模方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种联邦建模方法，包括以下步骤：第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；通过待训练模型确定公共标签向量对应的第一梯度以及本地标签向量对应的第二梯度；将第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。本发明专利技术还公开了一种联邦建模装置、设备及计算机可读存储介质。本发明专利技术实现了通过公共标签向量以及本地标签向量进行建模，无需对梯度进行修改，实现了梯度的隐私保护与模型收敛或模型精度之间的均衡，能够完全阻止信息泄漏，提高联邦学习中数据的安全性。

【技术实现步骤摘要】
联邦建模方法、装置、设备及计算机可读存储介质
本专利技术涉及联邦学习领域，尤其涉及一种联邦建模方法、装置、设备及计算机可读存储介质。
技术介绍
目前，联邦学习的训练方式主要是以梯度共享的形式进行。各个具有相同构造的模型通过分享其本地梯度，共同训练一个全局模型。若某个模型在梯度传播过程中梯度被泄漏或窃听，则可以使用链式法则以及被泄漏的梯度还原输入数据。目前，为避免梯度被泄露或窃听，往往通过差分隐私保护、梯度量化以及梯度裁剪等方式对梯度进行保护，其中，差分隐私保护是通过对需要传播的梯度附加一定量的随机噪声来保护梯度；梯度量化是将梯度近似成为整型数值，例如(0，1)或(-1，0，1)等；梯度裁剪是通过将某些位置的梯度数值裁剪为0。但是，差分隐私保护、梯度量化以及梯度裁剪等方式，均需要通过对梯度添加扰动，如果扰动过大则会影响全局模型的收敛效果，导致模型无法收敛或最终全局模型的精度较低，如果扰动不足则无法有效保护梯度。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。专利
技术实现思路
本本文档来自技高网...

【技术保护点】
1.一种联邦建模方法，其特征在于，所述联邦建模方法包括以下步骤：/n第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；/n通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；/n将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；/n基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。/n

【技术特征摘要】
1.一种联邦建模方法，其特征在于，所述联邦建模方法包括以下步骤：
第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；
通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；
将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；
基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。


2.如权利要求1所述的联邦建模方法，其特征在于，所述将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度的步骤包括：
将所述第一梯度发送至第二终端，其中，所述第二终端获取多个第三终端发送的第四梯度，基于各个第四梯度以及所述第一梯度确定第三梯度，基于所述第三梯度更新所述第二终端的全局模型，并反馈所述第三梯度至所述第一终端。


3.如权利要求1所述的联邦建模方法，其特征在于，所述第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤包括：
基于独热编码对所述训练数据集进行标注，以获得公共标签向量；
基于随机编码对所述训练数据集进行标注，以获得本地标签向量。


4.如权利要求1所述的联邦建模方法，其特征在于，所述通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度的步骤包括：
分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值；
基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度。


5.如权利要求1所述的联邦建模方法，其特征在于，所述基于所述第二梯度以及第三梯度确定目标梯度的步骤包括：
获取所述第二梯度对应的第一...

【专利技术属性】
技术研发人员：张天豫，范力欣，吴锦和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44