纵向联邦学习模型训练优化方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种纵向联邦学习模型训练优化方法、装置、终端设备及计算机可读存储介质，通过接收其他数据提供方在第i训练周期发送的模型训练中间结果；根据模型训练中间结果进行多轮本地模型参数更新，并接收其他数据提供方在第i+1训练周期发送的模型训练中间结果继续进行多轮本地模型参数更新。本发明专利技术利用其它数据提供方传递的纵向联邦学习一轮模型参数更新的模型训练中间结果进行多轮的本地模型参数的更新，随后再利用其它数据提供方所传递的新的模型训练中间结果，继续进行多轮的本地模型参数的更新，降低了纵向联邦学习中模型训练中间结果的传输次数，从而减少了传输数据总量和传输成本，一定程度上解决了联邦学习的传输效率瓶颈。

Training optimization method, device, equipment and medium of longitudinal federated learning model

【技术实现步骤摘要】
纵向联邦学习模型训练优化方法、装置、设备及介质
本专利技术涉及人工智能
，尤其涉及一种纵向联邦学习模型训练优化方法、装置、终端设备及计算机可读存储介质。
技术介绍
联邦学习是一种新型的通过分布式训练及加密技术确保用户隐私数据得到最大限度保护的机器学习理念。联邦学习可划分为横向的联邦学习和纵向的联邦学习，在纵向联邦学习下，各参与方(拥有各自本地数据的数据提供方)需要联合计算梯度，从而各参与方本地训练模型每训练一各轮次，都需要将各自本侧计算的模型中间结果互相进行传递。如此，纵向联邦学习整个训练过程中，中间结果的传输次数与模型训练的迭代次数成正比，导致现有纵向的联邦学习方案传输成本高，效率低下。
技术实现思路
本专利技术的主要目的在于提供一种纵向联邦学习模型训练优化方法、装置、终端设备及计算机可读存储介质，旨在解决现有纵向的联邦学习方案传输成本高，效率低下的技术问题。为实现上述目的，本专利技术提供一种纵向联邦学习模型训练优化方法，应用于参与纵向联邦学习的数据提供方，所述纵向联邦学习模型训练优化方法包括：接收其本文档来自技高网...

【技术保护点】
1.一种纵向联邦学习模型训练优化方法，其特征在于，应用于参与纵向联邦学习的数据提供方，所述纵向联邦学习模型训练优化方法，包括：/n接收其他数据提供方在第i训练周期发送的模型训练中间结果；/n根据所述模型训练中间结果进行多轮本地模型参数更新，并接收所述其他数据提供方在第i+1训练周期发送的模型训练中间结果继续进行多轮本地模型参数更新。/n

【技术特征摘要】
1.一种纵向联邦学习模型训练优化方法，其特征在于，应用于参与纵向联邦学习的数据提供方，所述纵向联邦学习模型训练优化方法，包括：
接收其他数据提供方在第i训练周期发送的模型训练中间结果；
根据所述模型训练中间结果进行多轮本地模型参数更新，并接收所述其他数据提供方在第i+1训练周期发送的模型训练中间结果继续进行多轮本地模型参数更新。


2.如权利要求1所述的纵向联邦学习模型训练优化方法，其特征在于，所述根据所述模型训练中间结果进行多轮本地模型参数更新的步骤，包括：
在本地模型的一轮本地训练过程中，联合所述本地模型计算的本侧中间结果和所述模型训练中间结果计算得到梯度值，并基于所述梯度值更新所述本地模型的模型参数；
循环执行对所述本地模型的多轮本地训练，直到所述本地模型的训练轮数达到预设轮数。


3.如权利要求2所述的纵向联邦学习模型训练优化方法，其特征在于，在所述根据所述模型训练中间结果进行多轮本地模型参数更新的步骤之后，还包括：
将所述本地模型计算得到的本侧中间结果，作为新的模型训练中间结果传递至所述其他数据提供方。


4.如权利要求3所述的纵向联邦学习模型训练优化方法，其特征在于，所述将所述本地模型计算得到的本侧中间结果，作为新的模型训练中间结果传递至所述其他数据提供方的步骤，包括：
调用预设公有密钥对所述本地模型基于本地数据计算得到的所述本侧中间结果进行加密；
将加密后的所述本侧中间结果作为新的模型训练中间结果传递至所述其他数据提供方。


5.如权利要求4所述的纵向联邦学习模型训练优化方法，其特征在于，所述联合所述本地模型计算的本侧中间结果和所述模型训练中间结果计算得到梯度值，并基于所述梯度值更新所述本地模型的模型参数的步骤，包括：
联合所述本地模型计算的本侧中间结果和加密的模型训练中间结果，计算得到加密的梯度值；<...

【专利技术属性】
技术研发人员：刘洋，康焱，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44