【技术实现步骤摘要】
多方联合训练神经网络模型的方法和装置
[0001]本说明书一个或多个实施例涉及计算机领域，尤其涉及多方联合训练神经网络模型的方法和装置。
技术介绍
[0002]当前，不同的数据持有方所持有的数据可能包含用户的隐私信息，数据持有方之间的数据共享可能会侵犯用户的隐私。为了能够打通多方之间的数据流通，利用安全多方计算支持多方之间的联合计算，挖掘出数据的价值，同时确保多方交互时不会泄露出各方隐私数据的明文信息。
[0003]安全多方计算能够使得多个互不信任的参与方安全地计算一个给定的函数，并且不会泄露除结果以外的输入、中间计算结果。秘密共享，是将一个秘密分散到不同参与方的方法，每方得到秘密的一部分，称为分片。只有当持有足够多的分片时，才能还原出秘密；单个分片无法还原出秘密。秘密共享由于其对于算术计算以及线性代数运算具有较高的效率，被广泛用于各个场景的安全计算，例如，多方联合训练神经网络模型。
[0004]现有技术中，基于秘密共享的安全计算虽然提供严格的安全保障，但是需要大量的通信开销，导致联合计算的效率较低。尤其是在...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种多方联合训练神经网络模型的方法，所述方法由多方中的任一方执行，包括：获取模型当前的权重参数以及训练样本的特征数据分别在第一环中具有第一精度的第一权重分片和第一特征分片；将所述第一特征分片和所述第一权重分片输入待训练的神经网络模型，通过与其他方进行对应于前向传播的第一多方联合计算，得到各个网络层的各个输出分片；获取各个输出分片，所述权重参数以及训练样本的标签分别在第二环中具有第二精度的第二输出分片，第二权重分片，以及第二标签分片；其中，所述第二环大于所述第一环，所述第二精度高于第一精度；利用第二输出分片、第二权重分片和第二标签分片，与其他方进行对应于反向传播的第二多方联合计算，得到各个网络层的在第二环中具有第二精度的各个梯度分片；利用各个梯度分片更新所述第二权重分片，以实现对所述神经网络模型的本轮训练。2.如权利要求1所述的方法，其中，所述本轮训练是首轮训练；所述第一权重分片的获取，包括：获取预先设置的模型的权重参数在第二环中的第二精度的初始权重分片；通过与其他方联合进行右移第二精度减去第一精度位的移位操作，将初始权重分片转换为第二环中的第一精度的转换权重分片；通过与其他方联合进行模转换运算，将所述转换权重分片转换为所述第一权重分片。3.如权利要求1所述的方法，其中，所述本轮训练不是首轮训练；所述第一权重分片的获取，包括：针对上一轮训练得到的第二权重分片，通过与其他方联合进行右移第二精度减去第一精度位的移位操作，将第二权重分片转换为第二环中的第一精度的转换权重分片；通过与其他方联合进行模转换运算，将所述转换权重分片转换为所述第一权重分片。4.如权利要求1所述的方法，其中，所述各个网络层包括顺序排列的第一中间层、第二中间层和第三中间层，第一中间层和第三中间层对应于第一精度的计算，第二中间层对应于第二精度的计算，所述第一多方联合计算，包括：将第一中间层输出的第一环中的第一精度的第一输出分片，通过与其他方联合进行的模转换运算，转换为第二环中的第二精度的第二输出分片；将第一中间层对应的第二输出分片输入第二中间层，通过与其他方联合进行的运算得到该第二中间层输出的第二输出分片；将第二中间层输出的第二输出分片，通过与其他方联合进行的模转换运算，转换为第一环中的第一精度的第一输出分片，将该第一输出分片作为第三中间层的输入。5.如权利要求4所述的方法，其中，所述第一中间层和第三中间层各自包含线性运算和激活函数运算，所述第二中间层用于进行批标准化运算。6.如权利要求1所述的方法，其中，所述各个输出分片包括，所述各个网络层中某一网络层输出的、第一环中的第一精度的第一输出分片；所述第二输出分片的获取，包括：获取所述第一输出分片；针对所述第一输出分片，通过与其他方联合进行的模转换运算，将所述第一输出分片转换为第二环中的第一精度的转换输出分片；
技术研发人员：吴豪奇，韩伟力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。