纵向联邦学习系统优化方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种纵向联邦学习系统优化方法、装置、设备及可读存储介质，所述方法包括：将第一设备中的第一训练数据输入第一底层模型得到第一底层输出；与第二设备进行交互，获得交互层模型的交互层输出，其中，交互层模型用于拼接第一底层输出和第二底层输出，第二设备将第二训练数据输入第二底层模型得到第二底层输出；将交互层输出输入上层模型，采用上层模型输出和标签数据计算最终误差，并后向传播最终误差以更新DNN中各层模型的模型参数，循环迭代直到满足预设停止条件时得到训练完成的目标DNN。本发明专利技术实现了使用纵向联邦学习双方的特征数据进行DNN训练。

Optimization methods, devices, devices and readable storage media of longitudinal federated learning system

【技术实现步骤摘要】
纵向联邦学习系统优化方法、装置、设备及可读存储介质
本专利技术涉及机器学习
，尤其涉及一种纵向联邦学习系统优化方法、装置、设备及可读存储介质。
技术介绍
随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。比如有属于同一个地区的两个参与者A和B，其中参与者A是一家银行，参与者B是一个电商平台。参与者A和B在同一地区拥有较多相同的用户，但是A与B的业务不同，记录的用户数据特征是不同的。特别地，A和B记录的用户数据特征可能是互补的。在这样的场景下，可以使用纵向联邦学习来帮助A和B构建联合机器学习预测模型，帮助A和B向他们的客户提供更好的服务。但是，目前对于纵向联邦学习中使用深度神经网(DeepNeuralNetworks，DNN)算法构建联邦模型的场景，当前业界方本文档来自技高网...

【技术保护点】
1.一种纵向联邦学习系统优化方法，其特征在于，应用于基于纵向联邦学习训练深度神经网络DNN的第一设备，所述第一设备拥有标签数据，所述DNN包括所述第一设备中的第一底层模型、交互层模型和上层模型，还包括参与纵向联邦学习的第二设备中的第二底层模型，所述方法包括以下步骤：/n将所述第一设备中的第一训练数据输入所述第一底层模型得到第一底层输出；/n与所述第二设备进行交互，获得所述交互层模型的交互层输出，其中，所述交互层模型用于拼接所述第一底层输出和第二底层输出，所述第二设备将第二训练数据输入所述第二底层模型得到所述第二底层输出；/n将所述交互层输出输入所述上层模型，采用上层模型输出和所述标签数据计算最...

【技术特征摘要】
1.一种纵向联邦学习系统优化方法，其特征在于，应用于基于纵向联邦学习训练深度神经网络DNN的第一设备，所述第一设备拥有标签数据，所述DNN包括所述第一设备中的第一底层模型、交互层模型和上层模型，还包括参与纵向联邦学习的第二设备中的第二底层模型，所述方法包括以下步骤：
将所述第一设备中的第一训练数据输入所述第一底层模型得到第一底层输出；
与所述第二设备进行交互，获得所述交互层模型的交互层输出，其中，所述交互层模型用于拼接所述第一底层输出和第二底层输出，所述第二设备将第二训练数据输入所述第二底层模型得到所述第二底层输出；
将所述交互层输出输入所述上层模型，采用上层模型输出和所述标签数据计算最终误差，并后向传播所述最终误差以更新所述DNN中各层模型的模型参数，循环迭代直到满足预设停止条件时得到训练完成的目标DNN。


2.如权利要求1所述的纵向联邦学习系统优化方法，其特征在于，所述与所述第二设备进行交互，获得所述交互层模型的交互层输出的步骤包括：
采用所述第一底层输出和所述交互层模型中与所述第一设备对应的第一拼接参数计算得到第一拼接部分。
与所述第二设备基于加密和加噪声技术进行交互，获得所述第二设备对应的第二拼接部分；
采用所述交互层模型对所述第一拼接部分和第二拼接部分进行拼接，得到交互层输出。


3.如权利要求2所述的纵向联邦学习系统优化方法，其特征在于，所述与所述第二设备基于加密和加噪声技术进行交互，获得所述第二设备对应的第二拼接部分的步骤包括：
接收所述第二设备发送的第二加密底层输出，其中，所述第二设备采用预设加密算法对所述第二底层输出进行加密，得到所述第二加密底层输出；
采用所述第二加密底层输出，和所述交互层模型中与所述第二设备对应的带累积噪声的第二拼接参数，计算得到第二加密拼接部分；
对所述第二加密拼接部分进行加噪声操作，并将加噪声的第二加密拼接部分返回给所述第二设备，以供所述第二设备对所述加噪声的第二加密拼接部分进行解密，并对解密结果进行去除累积噪声操作得到第二带噪声拼接部分；
对从所述第二设备接收到的所述第二带噪声拼接部分进行去噪声操作，得到第二拼接部分。


4.如权利要求1至3任一项所述的纵向联邦学习系统优化方法，其特征在于，所述后向传播所述最终误差以更新所述DNN中各层模型的模型参数的步骤包括：
采用所述最终误差计算所述上层模型的模型参数对应的上层梯度，并根据所述上层梯度更新所述上层模型的模型参数；
根据所述最终误差计算得到交互层误差，并根据所述交互层误差和所述第一底层输出计算得到所述第一设备对应的第一拼接参数的第一梯度，以及根据所述交互层误差和所述第一拼接参数计算得到第一底层模型误差；
采用所述交互层误差和所述第一设备进行交互计算，得到所述第二设备对应的第二拼接参数的第二带噪声梯度和加密的第二底层模型误差；
采用所述第二带噪声梯度更新所述第二设备对应的带累积噪声的第二拼接参数，采用所述第一梯度更新所述第一拼接参数，以及根据所述第一底层模型误差更新所述第一底层模型的模型参数；
将所述加密的第二底层模型误差发送给所述第二设备，以供所述第二设备对加密的第二底层模型误差进行解密后，采用解密结果更新所述第二底层模型的模型参数。


5.如权利要求4所述的纵向联邦学习系统优化方法，其特征在于，所述采用...

【专利技术属性】
技术研发人员：马国强，范涛，魏文斌，谭明超，郑会钿，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44