联邦学习及数据处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种联邦学习及数据处理方法、装置、设备及存储介质，可应用于隐私、安全、人工智能、智慧交通、辅助驾驶等场景。该联邦学习方法包括：第一计算平台获取第一前向输出数据，该第一前向输出数据是第二计算平台中的第二底部模型对第二计算平台的样本数据处理得到，通过第一底部模型对第一计算平台的样本数据进行处理得到第二前向输出数据，通过顶部教师模型对第一前向输出数据和第二前向输出数据进行处理得到第一处理结果，通过第一顶部学生模型对第二前向数据进行处理得到第二处理结果，基于第一处理结果和第二处理结果以及标签，对第一顶部学生模型进行训练。在后续推理时，第一顶部学生模型与第二计算平台不通信，降低通信开销。降低通信开销。降低通信开销。

【技术实现步骤摘要】
联邦学习及数据处理方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及一种联邦学习及数据处理方法、装置、设备及存储介质。

技术介绍

[0002]联邦学习(Federated Learning，FL)技术，通过仅交互加密模型梯度或中间计算结果联合训练机器学习模型，可避免原始数据的直接传输，为跨部门、跨组织、跨行业数据合作提供了新的解决思路。
[0003]联邦学习包括纵向联邦学习，目前的纵向联邦学习的推理过程中，Host方和Guest方需要进行联合推理，即Host方将前向输出发送给Guest方，Guest方进行拼接后输入顶部模型获得推理结果。但是，目前的联邦学习的推理方法，通信开销大，造成延时。

技术实现思路

[0004]本申请提供一种联邦学习及数据处理方法、装置、设备及存储介质，可以节省通信开销，进而降低时延，提升数据处理的效率。
[0005]第一方面，本申请提供一种联邦学习方法，应用于持有标签的第一计算平台，所述第一计算平台包括第一底部模型、第一顶部学生模型和顶部教师模型，包括：...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法，其特征在于，应用于持有标签的第一计算平台，所述第一计算平台包括第一底部模型、第一顶部学生模型和顶部教师模型，包括：获取第一前向输出数据，所述第一前向输出数据是第二计算平台中的第二底部模型基于所述第二计算平台所持有的样本数据处理得到，所述第二计算平台为样本数据持有方；通过所述第一底部模型，对所述第一计算平台所持有的样本数据进行处理，得到第二前向输出数据；通过所述顶部教师模型，对所述第一前向输出数据和所述第二前向输出数据进行处理，得到第一处理结果；通过所述第一顶部学生模型，对所述第二前向数据进行处理，得到第二处理结果；基于所述第一处理结果和所述第二处理结果，以及所述标签，对所述第一顶部学生模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一处理结果和所述第二处理结果，以及所述标签，对所述第一顶部学生模型进行训练，包括：基于所述第二处理结果、所述第一处理结果，以及所述标签，确定所述第一顶部学生模型的损失；基于所述第一顶部学生模型的损失，确定所述第一顶部学生模型参数的第一梯度，并基于所述第一梯度对所述第一顶部学生模型参数进行更新。3.根据权利要求2所述的方法，其特征在于，所述基于所述第二处理结果、所述第一处理结果，以及所述标签，确定所述第一顶部学生模型的损失，包括：确定所述第一处理结果与所述第二处理结果之间的第一散度值；确定所述标签与所述第二处理结果之间的第一交叉熵；基于所述第一散度值和所述第一交叉熵，得到所述第一顶部学生模型的损失。4.根据权利要求1所述的方法，其特征在于，所述通过所述顶部教师模型，对所述第一前向输出数据和所述第二前向输出数据进行处理，得到第一处理结果，包括：将所述第一前向输出数据和所述第二前向输出数据进行融合，得到融合前向输出数据；通过所述顶部教师模型，对所述融合前向输出数据进行处理，得到所述第一处理结果。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：通过第二顶部学生模型，对所述第一前向输出数据进行处理，得到第三处理结果；基于所述第三处理结果、所述第一处理结果，以及所述标签，确定所述第二顶部学生模型的损失；基于所述第二顶部学生模型的损失，确定所述第二顶部学生模型参数的第二梯度，并基于所述第二梯度对所述第二顶部学生模型参数进行更新。6.根据权利要求5所述的方法，其特征在于，所述基于所述第三处理结果、所述第一处理结果，以及所述标签，确定所述第二顶部学生模型的损失，包括：确定所述第一处理结果与所述第三处理结果之间的第二散度值；确定所述标签与所述第三处理结果之间的第二交叉熵；基于所述第二散度值和所述第二交叉熵，得到所述第二顶部学生模型的损失。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将训练好的所述第二顶部学生模型发送给所述第二计算平台。8.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：使用所述第一处理结果和所述标签，确定所述顶部教师模型的损失；基于所述顶部教师模型的损失，确定所述顶部教师模型参数的第三梯度，并基于所述第三梯度对所述顶部教师模型参数进行更新。9.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：基于反向传播方法，确定所述第二底部模型对应的反向传播梯度；将所述第二底部模型对应的反向传播梯度发送给所述第二计算平台，以使所述第二计算平台基于所述第二底部模型对应的反向传播梯度，对所述第二底部模型参数进行更新。10.一种数据处理方法，其特征在于，应用于持有标签的第一计算平台，所述方法包括：通过所述第一计算平台中训练好的第一底部模型，对所述第一计算平台中的目标数据进行处理，得到所述目标数据对应的中间计算结果；通过所述第一计算平台中训练好的第一顶部学生模型，对所述中间计算结果进行处理，得到推理结果；其中，所述训练好的第一顶部学生模型是基于第一处理结果、第二处理结果以及所述第一计算平台持有的标签进行训练得到，所述第一处理结果是通过所述第一计算平台中的顶部教师模型对第一前向输出数据和第二前向输出数据进行处理得到，所述第二处理结果是通过所述第一顶部学生模型对所述第二前向输出数据进行处理得到，所述第一前向输出数据是第二计算平台中的第二底部模型基于所述第二计算平台所持有的样本数据处理得到，所述第二前向输出数据是所述第一底部模型对所述第一计算平台所持有的样本数据进行处理得到。11.一种数据处理方法，其特征在于，应用于持有样本数据的第二计算平台，所述方法包括：通过所述第二计算平台中训练好的第二底部模型，对所述第二计算平台中的目标数据进行处理，得到所述目标数据对应的中间计算结果；通过所述第二计算平台中训练好的第二顶部学生模型，对所述中间计算结果进行处理，得到推理结果；其中，所述训练好的第二顶部学生模型是基于第三处理结果、第一处理结果以及第一计算平台持有的标签进行训练得到，所述第一计算平台包括训练好的第一顶部学生模型，所述训练好的第一顶部学生模型是基于第一处理结果、第二处理结果以及所述标签进行训练得到，所述第一处理结果是通过所述第一计算平台中的顶部教师模型对第一前向输出数据和第二前向输出数据进行处理得到，所述第二处理结果是通过所述第一顶部学生模型对所述第二前向输出数据进行处理得到，所述第三处理结果是通过所述第二顶部学生模型对所述第一前向输出数据进行处理得到，所述第一前向输出数据是所述第二底部模型基于所述第二计算平台所持有的样本数据处理得到，所述第二前向输出数据是所述第一计算平台中的第一底部模型对所述第一计算平台所持有的样本数据进行处理得到。12.一种数据处理方法，其特征在于，应用于持有标签的第一计算平台，所述方法包括：获取第二计算平台发送的第一中间计算结果，所述第一中间计算结果是所述第二计算平台中训练好的第二底部模型基于所述第二计算平台中的第一数据处理得到；
基于所述第一中间计算结果和所述第一计...

【专利技术属性】
技术研发人员：江钰坤，蒋杰，刘煜宏，陈鹏，程勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：