横向联邦学习系统优化方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种横向联邦学习系统优化方法、装置、设备及可读存储介质，所述方法包括：按照预设策略从参数更新类型中确定各轮模型更新中各参与设备需要发送的本地模型参数更新的目标类型，其中，参数更新类型包括模型参数信息和梯度信息；向各参与设备发送指示目标类型的指示信息，以供各参与设备根据指示信息进行本地训练，并返回目标类型的本地模型参数更新；对从各参与设备接收的目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各参与设备，以供各参与设备根据全局模型参数更新进行模型更新。本发明专利技术结合了梯度平均算法和模型平均算法各自的优点，实现了一种混合联邦平均机制。

Optimization method, device, device and readable storage medium of horizontal federated learning system

【技术实现步骤摘要】
横向联邦学习系统优化方法、装置、设备及可读存储介质
本专利技术涉及机器学习
，尤其涉及一种横向联邦学习系统优化方法、装置、设备及可读存储介质。
技术介绍
随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。横向联邦学习，也称为特征对齐的联邦学习(feature-alignedfederatedlearning)，是在各个参与者的数据特征重叠较多(即数据特征是对齐的)，而用户重叠较少的情况下，取出参与者数据特征相同而用户不完全相同的那部分数据进行联合机器学习。现有的横向联邦学习模型训练使用梯度平均算法，以保证模型训练过程会收敛。但是这个方案要求各个参与者每轮模型更新都发送梯度信息给协调者，通信开销较大，提高了联邦学习模型训练的通信成本和时间成本。还有一种使用模型平均算法的方案，各个参与者每轮模型更新都发送模型参数信息给协调者，允许各个参与者在本地进行多次模型更新，以减少通信量，但是这个方案不能够保证模型收本文档来自技高网...

【技术保护点】
1.一种横向联邦学习系统优化方法，其特征在于，应用于参与横向联邦学习的协调设备，所述协调设备与参与横向联邦学习的各参与设备通信连接，所述方法包括：/n按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备需要发送的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；/n向各所述参与设备发送指示所述目标类型的指示信息，以供各所述参与设备根据所述指示信息进行本地训练，并返回所述目标类型的本地模型参数更新；/n对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各所述参与设备，以供各所述参与设备根据所述全局模型参数更新进行...

【技术特征摘要】
1.一种横向联邦学习系统优化方法，其特征在于，应用于参与横向联邦学习的协调设备，所述协调设备与参与横向联邦学习的各参与设备通信连接，所述方法包括：
按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备需要发送的本地模型参数更新的目标类型，其中，所述参数更新类型包括模型参数信息和梯度信息；
向各所述参与设备发送指示所述目标类型的指示信息，以供各所述参与设备根据所述指示信息进行本地训练，并返回所述目标类型的本地模型参数更新；
对从各所述参与设备接收的所述目标类型的本地模型参数更新进行融合，将融合得到的全局模型参数更新发送给各所述参与设备，以供各所述参与设备根据所述全局模型参数更新进行模型更新。


2.如权利要求1所述的横向联邦学习系统优化方法，其特征在于，所述按照预设策略从参数更新类型中确定各轮模型更新中各所述参与设备发送的本地模型参数更新的目标类型的步骤包括：
在一轮模型更新中，获取当前的联邦学习状态信息；
根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型。


3.如权利要求2所述的横向联邦学习系统优化方法，其特征在于，所述联邦学习状态信息包括模型收敛状态信息，
所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；
当检测到所述模型收敛状态信息中的模型收敛速度小于预设收敛速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；或，
当检测到所述模型收敛状态信息中的模型收敛抖动值大于预设抖动值时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。


4.如权利要求2所述的横向联邦学习系统优化方法，其特征在于，所述联邦学习状态信息包括所述协调设备的网络通信状态信息，
所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；
当检测到所述网络通信状态信息中的网络通信速度小于预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数信息；
当检测到所述网络通信速度不小于所述预设通信速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息。


5.如权利要求2所述的横向联邦学习系统优化方法，其特征在于，所述联邦学习状态信息包括模型的性能指标提升速度，
所述根据所述联邦学习状态信息从参数更新类型中确定各所述参与设备需要发送的本地模型参数更新的目标类型的步骤包括；
当检测到所述性能指标提升速度小于预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是梯度信息；
当检测到所述性能指标提升速度不小于所述预设提升速度时，确定各所述参与设备需要发送的本地模型参数更新的目标类型是模型参数...

【专利技术属性】
技术研发人员：程勇，刘洋，陈天健，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44