一种训练模型的方法、数据处理的方法以及装置制造方法及图纸

本申请公开了一种训练模型的方法，涉及人工智能领域，本申请提供的方法适用于一种机器学习系统，该机器学习系统包括服务器和至少两个端侧设备，包括：第一端侧设备接收服务器发送的第一共享模型。通过第一共享模型输出数据集的第一预测结果。根据第一预测结果获取第一损失值。通过第一端侧设备的第一私有模型输出数据集的第二预测结果。根据第二预测结果获取第二损失值。对第一损失值和第二损失值进行第二融合处理，以获取第三损失值，第三损失值用于更新第一私有模型。通过本申请提供的方法，可以提升联邦学习系统中端侧设备训练的模型的性能。的性能。的性能。

【技术实现步骤摘要】
一种训练模型的方法、数据处理的方法以及装置


[0001]本申请涉及人工智能
，具体涉及一种训练模型的方法、数据处理的方法以及装置。

技术介绍

[0002]人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
[0003]随着人工智能的发展，联邦学习逐渐成为发展趋势，联邦学习是指一种机器学习系统，能有效帮助多个端侧设备在满足数据隐私保护的要求下，联合训练模型。在联邦学习中，如何提升端侧设备训练得到的模型的性能，成为亟待解决的技术问题。

技术实现思路
r/>[0004]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练模型的方法，其特征在于，所述方法适用于机器学习系统，所述机器学习系统包括服务器和至少两个端侧设备，针对第一端侧设备，所述第一端侧设备是所述至少两个端侧中的任意一个端侧设备，所述方法包括：接收所述服务器发送的第一共享模型；通过所述第一共享模型输出针对数据集的第一预测结果；根据所述第一预测结果获取第一损失值；通过所述第一端侧设备的第一私有模型输出针对所述数据集的第二预测结果；根据所述第二预测结果获取第二损失值；对所述第一损失值和所述第二损失值进行融合处理，以获取第三损失值，所述第三损失值用于更新所述第一私有模型。2.根据权利要求1所述的方法，其特征在于，所述第一共享模型和所述第一私有模型共享特征提取模型。3.根据权利要求2所述的方法，其特征在于，接收所述第一共享模型之前，所述第一终端设备存储有第二私有模型，所述方法还包括：根据所述第一共享模型的特征提取模型更新所述第二私有模型的特征提取模型，以得到所述第一私有模型。4.根据权利要求1至3任一项所述的方法，其特征在于，所述第三损失值还用于更新所述第一共享模型，以得到第二共享模型，所述方法还包括：向所述服务器发送所述第二共享模型，所述第二共享模型用于所述服务器更新所述第一共享模型。5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一损失值包括交叉熵损失值和双向蒸馏损失值中的至少一个，所述第二损失值包括交叉熵损失值和双向蒸馏损失值中的至少一个。6.根据权利要求1至5任一项所述的方法，其特征在于，所述数据集包括需要隐私保护的第一数据集和不需要隐私保护的第二数据集，所述通过所述第一共享模型输出针对数据集的第一预测结果，包括：通过所述第一共享模型输出针对所述第二数据集的第一预测结果；所述通过所述第一端侧设备的第一私有模型输出针对所述数据集的第二预测结果，包括：通过所述第一私有模型输出针对所述第一数据集和第二数据集的第二预测结果。7.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述第一损失值和所述第二损失值进行融合处理，以获取第三损失值，包括：对所述第一损失值和所述第二损失值进行加权处理，以获取所述第三损失值。8.根据权利要求7所述的方法，其特征在于，所述第一损失值和所述第二损失值进行加权处理，以获取所述第三损失值，包括：对所述第一损失值和所述第二损失值进行求平均值处理，以获取所述第三损失值。9.一种数据处理的方法，其特征在于，所述方法适用于机器学习系统，所述机器学习系统包括服务器和至少两个端侧设备，针对第一端侧设备，所述第一端侧设备是所述至少两个端侧中的任意一个端侧设备，所述方法包括：
获取待处理数据；根据所述第一端侧设备存储的目标模型对所述待处理数据进行处理，以获取预测结果，其中，所述目标模型是通过第三损失值更新第一私有模型获取的，所述第三损失值是对第一损失值和第二损失值进行融合处理后获取的，所述第一损失值是通过第一预测结果获取的，所述第一预测结果是第一共享模型输出的针对数据集的预测结果，所述第一共享模型是从服务器中获取的，所述第二损失值是通过第二预测结果获取的，所述第二预测结果是第一私有模型输出的针对数据集的预测结果。10.根据权利要求9所述的方法，其特征在于，所述第一共享模型和所述第一私有模型共享特征提取模型。11.根据权利要求10所述的方法，其特征在于，接收所述第一共享模型之前，所述第一终端设备存储有第二私有模型，所述第一私有模型是根据所述第一共享模型的特征提取模型更新所述第二私有模型的特征提取模型后获取的。12.根据权利要求9至11所述的方法，其特征在于，所述第三损失值还用于更新所述第一共享模型，以得到第二共享模型，所述第二共享模型用于发送至所述服务器，以使所述服务器更新所述第一共享模型。13.根据权利要求9至12任一项所述的方法，其特征在于，所述第一损失值包括交叉熵损失值和双向蒸馏损失值中的至少一个，所述第二损失值包括交叉熵损失值和双向蒸馏损失值中的至少一个。14.根据权利要求9至13任一项所述的方法，其特征在于，所述数据集包括需要隐私保护的第一数据集和不需要隐私保护第二数据集，所述第一预测结果是所述第一共享模型输出的针对所述第二数据集的预测结果，所述第二预测结果是所述第一私有模型输出的针对所述第一数据集和所述第二数据集的预测结果。15.根据权利要求9至14任一项所的方法，其特征在于，所述第三损失值是通过对所述第一损失值和所述第二损失值进行加权处理后获取的。16.根据权利要求15所述的方法，其特征在于，所述第三损失值具体是通过对所述第一损失值和所述第二损失值进行求平均值处理后获取的。17.一种端侧设备，其特征在于，所述端侧设备适用于机器学习系统，所述机器学习系统包括至少两个端侧设备，针对第一端侧设备，所述第一端侧设备是所述至少两个端侧中的任意一个端侧设备，包括收发模块和训练模块，所述收发模块，用于接收服务器发...

【专利技术属性】
技术研发人员：詹德川，李新春，宋绍铭，邵云峰，李秉帅，钱莉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：