联合训练逻辑回归模型的方法及装置制造方法及图纸

本说明书实施例提供一种联合训练逻辑回归模型的方法，所述训练涉及包括样本特征、样本标签和模型参数在内的3种训练数据，均被拆分为分片分布于两方之中；该方法由两方中任意的第一方执行，包括：利用随机数组第一分片中的3个随机数第一分片，对3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，并发送给第二方，该随机数组第一分片由第三方将其生成的随机数组中的各数值拆分为两方分片后，将分片之一发送给第一方；利用3个第一掩码分片和从第二方接收的3个第二掩码分片，构建对应3种训练数据的3个掩码数据；基于3个掩码数据和随机数组第一分片进行第一计算，得到第一梯度分片，用于更新模型参数的第一方分片。数的第一方分片。数的第一方分片。

【技术实现步骤摘要】
联合训练逻辑回归模型的方法及装置


[0001]本说明书一个或多个实施例涉及数据处理
，尤其涉及一种联合训练逻辑回归模型的方法及装置。

技术介绍

[0002]数据是机器学习的基础，而在大多数行业中，出于数据的隐私安全等问题，数据常常是以孤岛的形式存在，甚至在同一个公司的不同部门之间实现数据集中整合也面临重重阻力。针对数据孤岛和数据隐私的两难问题，业界提出联邦学习(Federated Learning，简称FL)，又名联邦机器学习、联合学习、联盟学习，联邦学习是一个机器学习框架，旨在帮助多个数据方在满足数据隐私安全的前提下，进行数据使用和机器学习建模。
[0003]逻辑回归(Logistic Regression，简称LR)模型是一种被广泛应用的机器学习模型，在FL框架下训练LR模型是一大研究热点。然而，目前联合训练LR模型的方式较为复杂，难以满足实际应用需求。
[0004]因此，需要一种针对LR模型的联合训练方案，可以更好地满足实际应用需求，例如，减少多个参与方之间的通信量和计算量等。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合训练逻辑回归模型的方法，所述训练涉及包括样本特征、样本标签和模型参数在内的3种训练数据；所述3种训练数据均被拆分为分片分布于两方之中；所述方法由两方中任意的第一方执行，包括：利用随机数组第一分片中的3个随机数第一分片，对所述3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，并将其发送给第二方；所述随机数组第一分片由第三方将其生成的随机数组中的各数值拆分为两方分片后，将分片之一发送给第一方而得到；利用所述3个第一掩码分片和从所述第二方接收的3个第二掩码分片，构建对应所述3种训练数据的3个掩码数据；基于所述3个掩码数据和所述随机数组第一分片进行第一计算，得到第一梯度分片，用于更新所述模型参数的第一方分片；所述第一计算基于所述逻辑回归模型的梯度计算的泰勒展开式而确定。2.根据权利要求1所述的方法，其中，所述第一方持有所述样本特征，所述第二方持有所述样本标签；在得到3个第一掩码分片之前，所述方法还包括：采用秘密分享技术，将所述样本特征拆分为对应的第一方分片和第二方分片，并将后者发送给所述第二方；从所述第二方接收采用秘密分享技术拆分所述样本标签而得到的第一方分片。3.根据权利要求1或2所述的方法，其中，在得到3个第一掩码分片之前，所述方法还包括：在初始化所述模型参数后，将其拆分为对应的第一方分片和第二方分片，并将后者发送给所述第二方；或者，从所述第二方接收采用秘密分享技术拆分初始化后的所述模型参数而得到的第一方分片。4.根据权利要求1所述的方法，其中，利用3个随机数第一分片对所述3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，包括：针对任意一种训练数据，利用与其具有相同维度的随机数第一分片，对其第一方分片进行掩码处理，得到对应的第一掩码分片。5.根据权利要求1所述的方法，其中，利用所述3个第一掩码分片和从所述第二方接收的3个第二掩码分片，构建对应所述3种训练数据的3个掩码数据，包括：针对任意一种训练数据，利用其第一掩码分片和第二掩码分片，构建对应的掩码数据。6.根据权利要求1所述的方法，其中，所述随机数组还包括第四随机数；所述3个随机数中包括与所述模型参数对应的第二随机数；所述3个掩码数据中包括所述样本特征对应的特征掩码数据；在构建对应所述3种训练数据的3个掩码数据之后，以及得到第一梯度分片之前，所述方法还包括：基于所述第二随机数的第一分片、所述特征掩码数据，以及所述第四随机数的第一分片，确定第二随机数和所述特征掩码数据的...

【专利技术属性】
技术研发人员：崔锦铭，王力，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：