【技术实现步骤摘要】
本申请涉及人工智能(artificial intelligence，ai)，尤其涉及一种模型训练方法及相关装置。
技术介绍
1、随着人类社会数字化进程越来越快，产生了大量数据。通过机器学习技术可以自动化地挖掘数据中蕴藏的信息，因此经过大量数据训练出来的机器学习模型已经应用在各类场景中，例如人脸识别、语音翻译、医疗辅助诊断等场景。在实际应用中，机器学习模型的精度、泛化能力等至关重要，而这些都依赖于采用大量的数据对机器学习模型进行训练。
2、受限于法律法规、商业机密、个人隐私等数据隐私安全上的约束，多个数据来源方往往无法直接交换数据，进而导致多个数据来源方的数据无法融合在一起对机器学习模型进行训练，制约了机器学习模型能力的进一步提高。联邦学习的诞生即是为了解决这一问题。
3、联邦学习(federated learning)是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地数据的前提下，仅通过交换中间结果的方式，构建基于融合数据下的全局模型，从而实现数据隐私保护...
【技术保护点】
1.一种模型训练方法，应用于第一训练装置，所述方法还包括：
2.根据权利要求1所述的方法，其特征在于，训练所述模型的过程中所执行的运算包括所述第一类运算和第二类运算，所述第一类运算用于基于所述多组数据生成向所述第二训练装置传输的数据，所述第二类运算用于生成仅由所述第一训练装置处理的数据，所述第一类运算的执行优先级高于所述第二类运算的执行优先级。
3.根据权利要求2所述的方法，其特征在于，第一类运算包括第一子类运算和第二子类运算，所述第一子类运算的运算结果用于得到所述第二子类运算的输入，所述第二子类运算的运算结果用于向所述第二训练装置传输。>
4.根据权利...
【技术特征摘要】
1.一种模型训练方法，应用于第一训练装置，所述方法还包括：
2.根据权利要求1所述的方法，其特征在于，训练所述模型的过程中所执行的运算包括所述第一类运算和第二类运算，所述第一类运算用于基于所述多组数据生成向所述第二训练装置传输的数据，所述第二类运算用于生成仅由所述第一训练装置处理的数据，所述第一类运算的执行优先级高于所述第二类运算的执行优先级。
3.根据权利要求2所述的方法，其特征在于，第一类运算包括第一子类运算和第二子类运算，所述第一子类运算的运算结果用于得到所述第二子类运算的输入，所述第二子类运算的运算结果用于向所述第二训练装置传输。
4.根据权利要求3所述的方法，其特征在于，所述第二子类运算的执行优先级高于所述第一子类运算。
5.根据权利要求1-4任意一项所述的方法，其特征在于，在训练所述模型的过程中，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述第一训练装置所参与的训练为联邦学习。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述第一类运算包括基于所述模型对所述多组数据进行处理的运算，所述第二类运算包括基于从所述第二训练装置获取的数据对所述模型进行反向梯度计算的运算。
9.根据权利要求1-7任意一项所述的方法，其特征在于，所述模型包括第一子模型和第二子模型；
10.根据权利要求1-9任意一项所述的方法，其特征在于，所述多个数据的数量与所述模型的批次大小相关；
11.根据权利要求1-10任意一项所述的方法，其特征在于，所述多个数据的数量与所述模型的批次大小相关，所述多组数据的组数与待传输数据量具有正相关的关系，且所述多组数据的组数与所述第一训练装置的通信能力以及训练时长具有负相关的关系；
12.一种模型训练装置，所述模型训练装置为第一训练装置，包括：
13.根据权利要求12所述的装置，其特征在于，训练所述模型的过程中所执行的运算包括所述第一类运算和第二类运算，所述第一类运算用于基于所述多组数据生成向所述第二训练装置传输的数据，所述第二类运算用于生成仅由所述第一训练装置处理的数据，所述第一类运算的执行优先级高于所述第二类运算的执行优先级。
14.根据权利要求...
【专利技术属性】
技术研发人员：张琦，潘邵武，吴天诚，张昭举，刘璐，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。