联合更新模型的方法及装置制造方法及图纸

本说明书实施例提供一种两方联合更新模型的方法及装置，在纵向联邦学习架构下，标签持有方生成同态加密的密钥对，其中的第一密钥可以公开给另一方，第二密钥在本地持有，非标签持有方可以生成乱序算法。标签持有方对本地特征的局部处理结果以密态形式提供给第二方，由非标签持有方将本地特征的局部处理结果与标签持有方提供的局部处理结果进行密态乱序融合。非标签持有方将密态乱序融合结果提供给标签持有方，由标签持有方基于第二密钥的解密在明文状态下完成预测并确定模型损失。基于模型损失的梯度反向传播，标签持有方得到乱序融合结果的梯度，该梯度可由非标签持有方恢复顺序并稀疏化后用于各方局部模型待定参数更新。序并稀疏化后用于各方局部模型待定参数更新。序并稀疏化后用于各方局部模型待定参数更新。

【技术实现步骤摘要】
联合更新模型的方法及装置


[0001]本说明书一个或多个实施例涉及计算机
，尤其涉及联合更新模型的方法及装置。

技术介绍

[0002]计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。人工智能技术的主键进步，使得深度神经网络(DNN)已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。然而，不同应用场景下的DNN网络结构相对固定，为实现更好的模型性能，就需要更多的训练数据。在医疗、金融等领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升模型精度，给企业带来巨大的经济效益。基于多方安全计算的联合学习就是一种在保护隐私数据情况下进行联合建模的方法。然而这些原始的训练数据包含大量的用户隐私和商业机密，一旦信息泄露，将导致不可挽回的负面影响。因此，在多方联合训练解决数据孤岛问题的同时，保护数据隐私成为近年来相关
研究的重点技术问题。

技术实现思路

[0003]本说明书一个或多个实施例描述了一种联合更新模型的方法及装置，用以解决
技术介绍
提到的一个或多个问题。
[0004]根据第一方面，提供一种联合更新模型的方法，用于第一方和第二方联合训练模型，其中，第一方持有训练样本的第一特征以及标签数据，第二方持有训练样本的第二特征，所述模型包括设于第一方的第一局部模型MA和第三模型ML、设于第二方的第二局部模型MB，第一局部模型MA、第二局部模型MB分别用于处理第一特征、第二特征得到预定维数的张量作为相应的中间结果；在当前更新周期，第一方和第二方对应有当前批次排列顺序一致的n个训练样本，所述方法由第一方执行，包括：利用第一局部模型MA处理所述n个训练样本对应的第一特征XA，得到n个预定维数的张量构成的中间张量HA；通过本地持有的非对称密钥对中的第一密钥Pk加密中间张量HA，并将得到的第一密文张量<HA>提供给第二方，以供第二方反馈基于所述第一密钥Pk加密的密态乱序融合张量<Hs>，其中，所述第一密钥Pk由第一方公开给第二方，所述密态乱序融合张量<Hs>经由所述第一密文张量<HA>与中间张量HB基于乱序算法S按训练样本乱序且在第一密钥Pk加密的密态形式下以叠加融合方式融合得到，所述中间张量HB由第二方利用第二局部模型MB处理所述n个训练样本对应的第二特征XB得到；利用第三模型ML处理经由所述非对称密钥对中的第二密钥Sk解密所述密态乱序融合张量<Hs>得到的乱序融合张量Hs，得到所述模型针对n个训练样本乱序后的n个预测张量Ys；将n个预测张量Ys分别与n条训练样本对应的乱序标签Ys＇进行比较，从而确定模型损失，其中，所述乱序标签Ys＇经由和第二方基于所述第一密钥Pk、所述乱序算法S执行安全乱序得到；以所述模型损失减小为目标更新第一局部模型MA及第三模型ML中的待定参数，其中，第三模型ML中的待定参数由基于所述模型损失确定的梯度进行更新，所述第一局部
模型MA中的待定参数基于与第二方进行同态加密的安全计算确定的梯度数据进行更新。
[0005]在一个实施例中，所述n个训练样本由第一方和第二方预先按照可唯一描述训练样本的样本标识经由隐私求交确定。
[0006]在一个实施例中，所述乱序算法S为针对当前更新周期生成的乱序矩阵，该乱序矩阵用于对不同训练样本的数据排列顺序进行扰乱。
[0007]在一个实施例中，所述叠加融合方式为加和、求均值、加权平均中的一项。
[0008]在一个实施例中，通过以下方式确定所述乱序标签Ys＇：通过所述第一密钥Pk对n条训练样本对应的n条标签数据进行加密，得到密文标签<Y>；向第二方提供密文标签<Y>，以供第二方反馈经由所述乱序算法S处理密文标签<Y>得到密文乱序标签<Ys＇>；利用所述第二密钥Sk对密文乱序标签<Ys＇>解密得到所述乱序标签Ys＇。
[0009]在一个实施例中，所述第一局部模型MA中的待定参数通过以下方式更新：向第二方提供模型损失针对乱序融合张量Hs的梯度数据Gs，以供第二方基于所述乱序算法S的逆运算S
‑1将梯度数据Gs按训练样本恢复顺序为梯度数据G，所述梯度数据G描述模型损失针对融合张量H的梯度；基于所述第一局部模型MA分别关于最末隐层待定参数及输入数据的雅克比矩阵，与所述梯度数据G的稀疏化矩阵Gp进行基于所述第一密钥Pk的同态加密下的安全矩阵乘法，在第二方得到最末隐层的待定参数的密态梯度数据以及最末隐层的输入数据的密态梯度数据；从第二方接收最末隐层的待定参数的密态梯度数据以及最末隐层的输入数据的密态梯度数据；利用所述第二密钥Sk解密最末隐层的待定参数的密态梯度数据，以用于更新最末隐层的待定参数；利用所述第二密钥Sk解密最末隐层的输入数据的密态梯度数据，以基于梯度反向传播，确定所述第一局部模型MA中最末隐层以外的其他隐层的待定参数的梯度，从而更新其他隐层的待定参数。
[0010]在一个实施例中，所述第一特征、第二特征各自包括经由本地业务数据提取的至少一个业务特征。
[0011]根据第二方面，提供一种两方联合更新模型的方法，用于第一方和第二方联合训练模型，其中，第一方持有训练样本的第一特征以及标签数据，第二方持有训练样本的第二特征，所述模型包括设于第一方的第一局部模型MA和第三模型ML、设于第二方的第二局部模型MB，第一局部模型MA、第二局部模型MB分别用于处理第一特征、第二特征得到预定维数的张量作为相应的中间结果；在当前更新周期，第一方和第二方对应有当前批次排列顺序一致的n个训练样本，所述方法由第二方执行，包括：利用第二局部模型MB处理所述n个训练样本对应的第二特征XB，得到n个预定维数的张量构成的中间张量HB；基于从第一方接收的第一密钥Pk以及第一密文张量<HA>，确定密态乱序融合张量<Hs>并反馈给第一方，其中，所述密态乱序融合张量<Hs>经由所述第一密文张量<HA>与中间张量HB基于乱序算法S按训练样本乱序且在第一密钥Pk加密的密态形式下以叠加融合方式融合得到，所述第一密钥Pk与第一方持有的第二密钥Sk为非对称密钥对；从第一方接收模型损失对乱序融合张量Hs的梯度数据Gs，其中，乱序融合张量Hs基于第二密钥Sk解密密态乱序融合张量<Hs>得到，所述模型损失经由第一方通过第三模型ML处理乱序融合张量Hs的预测结果Ys与n个训练样本的乱序标签Ys＇对比确定；基于所述乱序算法S的逆运算S
‑1将梯度数据Gs按训练样本恢复顺序为梯度数据G，所述梯度数据G描述模型损失针对融合张量H的梯度；利用所述梯度数据G确定所述第二局部模型MB中的各个待定参数分别对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种两方联合更新模型的方法，用于第一方和第二方联合训练模型，其中，第一方持有训练样本的第一特征以及标签数据，第二方持有训练样本的第二特征，所述模型包括设于第一方的第一局部模型MA和第三模型ML、设于第二方的第二局部模型MB，第一局部模型MA、第二局部模型MB分别用于处理第一特征、第二特征得到预定维数的张量作为相应的中间结果；在当前更新周期，第一方和第二方对应有当前批次排列顺序一致的n个训练样本，所述方法由第一方执行，包括：利用第一局部模型MA处理所述n个训练样本对应的第一特征XA，得到n个预定维数的张量构成的中间张量HA；通过本地持有的非对称密钥对中的第一密钥Pk加密中间张量HA，并将得到的第一密文张量<HA>提供给第二方，以供第二方反馈基于所述第一密钥Pk加密的密态乱序融合张量<Hs>，其中，所述第一密钥Pk由第一方公开给第二方，所述密态乱序融合张量<Hs>经由所述第一密文张量<HA>与中间张量HB基于乱序算法S按训练样本乱序且在第一密钥Pk加密的密态形式下以叠加融合方式融合得到，所述中间张量HB由第二方利用第二局部模型MB处理所述n个训练样本对应的第二特征XB得到；利用第三模型ML处理经由所述非对称密钥对中的第二密钥Sk解密所述密态乱序融合张量<Hs>得到的乱序融合张量Hs，得到所述模型针对n个训练样本乱序后的n个预测张量Ys；将n个预测张量Ys分别与n条训练样本对应的乱序标签Ys＇进行比较，从而确定模型损失，其中，所述乱序标签Ys＇经由和第二方基于所述第一密钥Pk、所述乱序算法S执行安全乱序得到；以所述模型损失减小为目标更新第一局部模型MA及第三模型ML中的待定参数，其中，第三模型ML中的待定参数由基于所述模型损失确定的梯度进行更新，所述第一局部模型MA中的待定参数基于与第二方进行同态加密的安全计算确定的梯度数据进行更新。2.如权利要求1所述的方法，其中，所述n个训练样本由第一方和第二方预先按照可唯一描述训练样本的样本标识经由隐私求交确定。3.如权利要求1所述的方法，其中，所述乱序算法S为针对当前更新周期生成的乱序矩阵，该乱序矩阵用于对不同训练样本的数据排列顺序进行扰乱。4.如权利要求1所述的方法，其中，所述叠加融合方式为加和、求均值、加权平均中的一项。5.如权利要求1所述的方法，其中，通过以下方式确定所述乱序标签Ys＇：通过所述第一密钥Pk对n条训练样本对应的n条标签数据进行加密，得到密文标签<Y>；向第二方提供密文标签<Y>，以供第二方反馈经由所述乱序算法S处理密文标签<Y>得到密文乱序标签<Ys＇>；利用所述第二密钥Sk对密文乱序标签<Ys＇>解密得到所述乱序标签Ys＇。6.如权利要求1所述的方法，其中，所述第一局部模型MA中的待定参数通过以下方式更新：向第二方提供模型损失针对乱序融合张量Hs的梯度数据Gs，以供第二方基于所述乱序算法S的逆运算S
‑1将梯度数据Gs按训练样本恢复顺序为梯度数据G，所述梯度数据G描述模型损失针对融合张量H的梯度；
基于所述第一局部模型MA分别关于最末隐层待定参数及输入数据的雅克比矩阵，与所述梯度数据G的稀疏化矩阵Gp进行基于所述第一密钥Pk的同态加密下的安全矩阵乘法，在第二方得到最末隐层的待定参数的密态梯度数据以及最末隐层的输入数据的密态梯度数据；从第二方接收最末隐层的待定参数的密态梯度数据以及最末隐层的输入数据的密态梯度数据；利用所述第二密钥Sk解密最末隐层的待定参数的密态梯度数据，以用于更新最末隐层的待定参数；利用所述第二密钥Sk解密最末隐层的输入数据的密态梯度数据，以基于梯度反向传播，确定所述第一局部模型MA中最末隐层以外的其他隐层的待定参数的梯度，从而更新其他隐层的待定参数。7.如权利要求1所述的方法，其中，所述第一特征、第二特征各自包括经由本地业务数据提取的至少一个业务特征。8.一种两方联合更新模型的方法，用于第一方和第二方联合训练模型，其中，第一方持有训练样本的第一特征以及标签数据，第二方持有训练样本的第二特征，所述模型包括设于第一方的第一局部模型MA和第三模型ML、设于第二方的第二局部模型MB，第一局部模型MA、第二局部模型MB分别用于处理第一特征、第二特征得到预定维数的张量作为相应的中间结果；在当前更新周期，第一方和第二方对应有当前批次排列顺序一致的n个训练样本，所述方法由第二方执行，包括：利用第二局部模型MB处理所述n个训练样本对应的第二特征XB，得到n个预定维数的张量构成的中间张量HB；基于从第一方接收的第一密钥Pk以及第一密文张量<HA>，确定密态乱序融合张量<Hs>并反馈给第一方，其中，所述密态乱序融合张量<Hs>经由所述第一密文张量<HA>与中间张量HB基于乱序算法S按训练样本乱序且在第一密钥Pk加密的密态形式下以叠加融合方式融合得到，所述第一密钥Pk与第一方持有的第二密钥Sk为非对称密钥对；从第一方接收模型损失对乱序融合张量Hs的梯度数据Gs，其中，乱序融合张量Hs基于第二密钥Sk解密密态乱序融合张量<Hs>得到，所述模型损失经由第一方通过第三模型ML处理乱序融合张量Hs的预测结果Ys与n个训练样本的乱序标签Ys＇对比确定；基于所述乱序算法S的逆运算S
‑1将梯度数据Gs按训练样本恢复顺序为梯度数据G，所述梯度数据G描述模型损失针对融合张量H的梯度；利用所述梯度数据G确定所述第二局部模型MB中的各个待定参数分别对应的各个梯度，从而利用各个梯度更新所述第二局部模型MB中的各个待定参数。9.如权利要求8所述的方法，其中，所述乱序算法S为针对当前更新周期生成的乱序矩阵，该乱序矩阵用于对不同训练样本的数据排列顺序进行扰乱。10.如权利要求8所述的方法，其中，所述叠加融合方式为加和、求均值、加权平均中...

【专利技术属性】
技术研发人员：郑龙飞，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：