基于联邦学习的模型参数训练方法及装置制造方法及图纸

本申请公开了一种基于联邦学习的模型参数训练方法及装置。该方法中第一终端接收第二终端发送第一加密映射模型；根据第一加密映射模型对第一样本数据缺失的特征进行预测，获取第一加密补全样本数据；根据当前加密模型参数、第一样本数据和第一加密补全样本数据，训练联邦学习模型，并获取第一秘密共享损失值和第一秘密共享梯度值；若检测出联邦学习模型处于收敛状态，则根据第一秘密共享梯度值对应的更新后的第一秘密共享模型参数和第二终端发送的第二秘密共享模型参数，获取目标模型参数。该方法采用秘密共享的方式使联邦学习模型的训练过程不需要第协作者的协助，提高了用户体验。

Model parameter training method and device based on Federated learning

【技术实现步骤摘要】
基于联邦学习的模型参数训练方法及装置
本申请涉及数据处理
，尤其涉及一种基于联邦学习的模型参数训练方法及装置。
技术介绍
在人工智能领域，传统的数据处理模式往往是一方收集数据，再转移到另一方进行处理、清洗并建模，最后把模型卖给第三方。但随着法规完善和监控愈加严格，如果数据离开收集方或者用户不清楚模型的具体用途，运营者可能会触犯法律。数据是以孤岛的形式存在的，解决孤岛的直接方案就是把数据整合到一方进行处理。但由于法律不允许运营者粗暴地进行数据聚合，故为解决此困境，人们研究提出了“联邦学习”。联邦学习利用技术算法加密建造的模型，联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，联邦学习通过加密机制下的参数交换方式保护用户数据隐私，而数据和模型本身不会进行传输，也不能反向破解对方数据，因此在数据层面不存在泄露的可能，能够在较高程度保持数据完整性的同时，保障数据隐私。传统的联邦学习在联邦A，B双方进行模型训练时，为了保证训练过程中数据的保密性，需要借助第三方的协作者C进行加密训练。然而，专利技术人发现传统的联邦学习都需要先找寻可信的协作者C，若没有协作者C，则传统的联邦学习的使用将被限制，降低了用户体验。
技术实现思路
本申请实施例提供一种基于联邦学习的模型参数训练方法及装置，解决了传统的联邦学习的使用将被限制的问题，提高了用户体验。第一方面，提供了一种基于联邦学习的模型参数训练方法，该方法可以包括：第一终端接收第二终端发送第一加密映射模型，所述第一加密映射模型是所述第二终端在根据第一样本数据与第二样本数据的交集特征以及所述第二样本数据训练得到第一映射模型后，对所述第一映射模型采用第一秘密共享算法进行加密得到的，其中，所述第一样本数据为所述第一终端运行产生的数据，所述第二样本数据为第二终端运行产生的数据；根据所述第一加密映射模型对所述第一样本数据缺失的特征进行预测，获取第一加密补全样本数据，所述第一加密补全样本数据为所述第一样本数据相对于第二样本数据缺失的且经过加密处理的特征数据；根据当前加密模型参数、所述第一样本数据和所述第一加密补全样本数据，训练联邦学习模型，并对所述联邦学习模型，采用预设损失值算法和预设梯度值算法，获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值，所述第一秘密共享损失值用于表征所述联邦学习模型的收敛程度，所述第一秘密共享梯度值用于表征所述第一秘密共享损失值的变化趋势；若根据所述第一秘密共享损失值，检测出所述联邦学习模型处于收敛状态，则根据所述第一秘密共享梯度值和所述当前加密模型参数，采用预设模型参数算法，获取所述第一秘密共享梯度值对应的更新后的第一秘密共享模型参数；根据所述第一秘密共享模型参数和所述第二终端发送的第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，所述第二秘密共享模型参数为所述第二终端的联邦学习模型处于收敛状态时的秘密共享模型参数。在一个可选的实现中，接收第二终端发送第一加密映射模型之前，所述方法还包括：基于所述第一样本数据与所述第二样本数据的交集特征，对所述第一样本数据进行训练，得到第二映射模型；采用第二秘密共享算法，对所述第二映射模型进行加密，获取第二加密映射模型；向所述第二终端发送所述第二加密映射模型，以供所述第二终端根据所述第二加密映射模型对所述第二样本数据缺失的特征进行预测得到第二加密补全样本数据。在一个可选的实现中，基于所述第一样本数据与所述第二样本数据的交集特征，训练所述第一样本数据，得到第二映射模型，包括：采用预设映射训练算法，对所述交集特征和所述第一样本数据中的非交集特征进行训练，得到所述交集特征与所述第一样本数据中非交集特征间的第二映射模型。在一个可选的实现中，当所述第二秘密共享模型参数为所述第二终端根据所述当前加密模型参数、所述第二样本数据和第二加密补全样本数据得到的第二秘密共享梯度值对应的模型参数时，根据所述第一秘密共享模型参数和所述第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，包括：根据所述第一秘密共享模型参数和所述第二秘密共享模型参数，获取非秘密共享的模型参数，所述非秘密共享的模型参数的维度与所述第一样本数据的维度不同；根据所述第二映射模型，对所述非秘密共享的模型参数进行映射，获取所述联邦学习模型的目标模型参数，所述目标模型参数的维度与所述第一样本数据的维度相同。在一个可选的实现中，当所述第二秘密共享模型参数为所述第二终端根据所述第一映射模型对第三秘密共享模型参数进行映射得到的模型参数时，其中，所述第三秘密共享模型参数为所述第二终端根据所述当前加密模型参数、所述第二样本数据和第二加密补全样本数据得到的第二秘密共享梯度值对应的模型参数，根据所述第一秘密共享模型参数和所述第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，包括：根据所述第二映射模型，对所述第一秘密共享模型参数进行映射，获取第四秘密共享模型参数，所述第四秘密共享模型参数的维度与所述第一样本数据的维度相同；根据所述第四秘密共享模型参数和所述第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数。在一个可选的实现中，所述方法还包括：若根据所述第一秘密共享损失值，检测出所述联邦学习模型未处于收敛状态，则将所述第一秘密共享梯度值对应的更新后的第一秘密共享参数确定为新的当前加密模型参数；根据当前加密模型参数、所述第一样本数据和所述第一加密补全样本数据，训练联邦学习模型，并对所述联邦学习模型，采用预设损失值算法和预设梯度值算法，获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值，包括：根据所述新的当前加密模型参数、所述第一样本数据和所述第一加密补全样本数据，训练新的联邦学习模型，并对所述新的联邦学习模型，采用预设损失值算法和预设梯度值算法，获取新的第一秘密共享损失值和新的第一秘密共享梯度值。在一个可选的实现中，获取所述联邦学习模型的非秘密共享的模型参数之后，所述方法还包括：根据所述第一样本数据和所述目标模型参数，采用预设测试算法，获取所述第一样本数据的样本数据预测分数。第二方面，提供了一种基于联邦学习的模型参数训练装置，该装置可以包括：训练单元、获取单元和接收单元；所述接收单元，用于接收第二终端发送第一加密映射模型，所述第一加密映射模型是所述第二终端在根据第一样本数据与第二样本数据的交集特征以及所述第二样本数据训练得到第一映射模型后，对所述第一映射模型采用第一秘密共享算法进行加密得到的，其中，所述第一样本数据为所述第一终端运行产生的数据，所述第二样本数据为第二终端运行产生的数据；所述获取单元，用于根据所述第一加密映射模型对所述第一样本数据缺失的特征进行预测，获取第一加密补全样本数据，所述第一加密补全样本数据为所述第一样本数据相对于第二样本数据缺失的且经过加密处理的特征数据；所述训练单元，用于根据当前加密模型参数、所述第一样本数据和所述第一加密补全样本数据，训练联邦学习模型；所述获取单元，还用于对所述联邦学习模型，采用预设损失值算法和预设梯度值算法，获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值，所述第一秘密共享损失值用于表征所述联邦学习模型的收敛程度，所述第一秘密共享梯度值用于表征所述第一秘密共享损失值的变本文档来自技高网...

【技术保护点】
1.一种基于联邦学习的模型参数训练方法，其特征在于，所述方法包括：第一终端接收第二终端发送第一加密映射模型，所述第一加密映射模型是所述第二终端在根据第一样本数据与第二样本数据的交集特征以及所述第二样本数据训练得到第一映射模型后，对所述第一映射模型采用第一秘密共享算法进行加密得到的，其中，所述第一样本数据为所述第一终端运行产生的数据，所述第二样本数据为第二终端运行产生的数据；根据所述第一加密映射模型，对所述第一样本数据缺失的特征进行预测，获取第一加密补全样本数据，所述第一加密补全样本数据为所述第一样本数据相对于第二样本数据缺失的且经过加密处理的特征数据；根据当前加密模型参数、所述第一样本和所述第一加密补全样本，训练联邦学习模型，并对所述联邦学习模型，采用预设损失值算法和预设梯度值算法，获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值，所述第一秘密共享损失值用于表征所述联邦学习模型的收敛程度，所述第一秘密共享梯度值用于表征所述第一秘密共享损失值的变化趋势；若根据所述第一秘密共享损失值，检测出所述联邦学习模型处于收敛状态，则根据所述第一秘密共享梯度值和所述当前加密模型参数，采用预设模型参数算法，获取所述第一秘密共享梯度值对应的更新后的第一秘密共享模型参数；根据所述第一秘密共享模型参数和所述第二终端发送的第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，所述第二秘密共享模型参数为所述第二终端的联邦学习模型处于收敛状态时的秘密共享模型参数。...

【技术特征摘要】
1.一种基于联邦学习的模型参数训练方法，其特征在于，所述方法包括：第一终端接收第二终端发送第一加密映射模型，所述第一加密映射模型是所述第二终端在根据第一样本数据与第二样本数据的交集特征以及所述第二样本数据训练得到第一映射模型后，对所述第一映射模型采用第一秘密共享算法进行加密得到的，其中，所述第一样本数据为所述第一终端运行产生的数据，所述第二样本数据为第二终端运行产生的数据；根据所述第一加密映射模型，对所述第一样本数据缺失的特征进行预测，获取第一加密补全样本数据，所述第一加密补全样本数据为所述第一样本数据相对于第二样本数据缺失的且经过加密处理的特征数据；根据当前加密模型参数、所述第一样本和所述第一加密补全样本，训练联邦学习模型，并对所述联邦学习模型，采用预设损失值算法和预设梯度值算法，获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值，所述第一秘密共享损失值用于表征所述联邦学习模型的收敛程度，所述第一秘密共享梯度值用于表征所述第一秘密共享损失值的变化趋势；若根据所述第一秘密共享损失值，检测出所述联邦学习模型处于收敛状态，则根据所述第一秘密共享梯度值和所述当前加密模型参数，采用预设模型参数算法，获取所述第一秘密共享梯度值对应的更新后的第一秘密共享模型参数；根据所述第一秘密共享模型参数和所述第二终端发送的第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，所述第二秘密共享模型参数为所述第二终端的联邦学习模型处于收敛状态时的秘密共享模型参数。2.如权利要求1所述的方法，其特征在于，接收第二终端发送第一加密映射模型之前，所述方法还包括：基于所述第一样本数据与所述第二样本数据的交集特征，对所述第一样本数据进行训练，得到第二映射模型；采用第二秘密共享算法，对所述第二映射模型进行加密，获取第二加密映射模型；向所述第二终端发送所述第二加密映射模型，以供所述第二终端根据所述第二加密映射模型对所述第二样本数据缺失的特征进行预测得到第二加密补全样本数据。3.如权利要求2所述的方法，其特征在于，基于所述第一样本数据与所述第二样本数据的交集特征，训练所述第一样本数据，得到第二映射模型，包括：采用预设映射训练算法，对所述交集特征和所述第一样本数据中的非交集特征进行训练，得到所述交集特征与所述第一样本数据中非交集特征间的第二映射模型。4.如权利要求2所述的方法，其特征在于，当所述第二秘密共享模型参数为所述第二终端根据所述当前加密模型参数、所述第二样本数据和第二加密补全样本数据得到的第二秘密共享梯度值对应的模型参数时，根据所述第一秘密共享模型参数和所述第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，包括：根据所述第一秘密共享模型参数和所述第二秘密共享模型参数，获取非秘密共享的模型参数，所述非秘密共享的模型参数的维度与所述第一样本数据的维度不同；根据所述第二映射模型，对所述非秘密共享的模型参数进行映射，获取所述联邦学习模型的目标模型参数，所述目标模型参数的维度与所述第一样本数据的维度相同。5.如权利要求2所述的方法，其特征在于，当所述第二秘密共享模型参数为所述第二终端根据所述第一映射模型对第三秘密共享模型参数进行映射得到的模型参数时，其中，所述第三秘密共享模型参数为所述第二终端根据所述当前加密模型参数、所述第二样本数据和第二加密补全样本数据得到的第二秘密共享梯度值对应的模型参数，根据所述第一秘密共享模型参数和所述第二秘密共享模型参数，获取所述联...

【专利技术属性】
技术研发人员：刘洋，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44