多分类梯度提升树的构建方法、装置及电子设备制造方法及图纸

本申请提供一种多分类梯度提升树的构建方法、装置，包括：获取携带标签的训练样本的预测值；基于预测值及相应的标签，确定用于表征训练样本所对应梯度的多维向量，多维向量的维度数与多分类梯度提升树的标签类别的数量相对应；对多维向量进行隐私保护，得到中间数据，并将中间数据发送至第二参与方设备；接收第二参与方设备发送的分裂点数据，分裂点数据为，第二参与方设备基于中间数据，进行对应多分类梯度提升树的分裂点构建所得到；基于分裂点数据，确定多分类梯度提升树的全局分裂点，并基于全局分裂点，构建多分类梯度提升树。如此，通过一棵能够多输出的多分类梯度提升树执行多分类任务，有效减少了多分类任务中的开销，提高了训练效率。高了训练效率。高了训练效率。

【技术实现步骤摘要】
多分类梯度提升树的构建方法、装置及电子设备


[0001]本申请涉及人工智能技术，尤其涉及一种多分类梯度提升树的构建方法、装置、电子设备、存储介质及计算机程序产品。

技术介绍

[0002]在人工智能的联邦学习领域，是通过数据提供方和数据使用方共同训练一个模型，然后各数据使用方基于各自的模型来进行相应的预测，在目前各行各业逐渐加强数据隐私保护的大趋势下，联邦学习，一种可以在保护数据隐私的情况下协同多方数据建立机器学习的技术，成为了各企业/行业间合作的关键之一。如今，联邦梯树模型：多分类梯度提升树，随机森林，分类多分类梯度提升树，已经广泛地在纵向联邦场景下，成为了金融、风控领域的常用且强力的算法之一，在该领域，分类任务使用最为频繁。
[0003]在相关技术中，纵向联邦多分类梯度提升树采取与xgboost或者lightgbm一致的多分类建模策略，即在模型的训练过程中会单独为每一个类的一阶、二阶导数训练一棵二分类树，然而，当数据中标签的类别数目变多，如10类，20类时，训练的开销就会变为原来的10，20倍，训练开销大、训练效率低。
专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多分类梯度提升树的构建方法，其特征在于，基于联邦学习系统，所述联邦学习系统包括具有标签的第一参与方设备，以及至少一个第二参与方设备，所述方法应用于第一参与方设备，包括：获取携带标签的训练样本的预测值；基于所述预测值及相应的标签，确定用于表征所述训练样本所对应梯度的多维向量，所述多维向量的维度数与所述多分类梯度提升树的标签类别的数量相对应；对所述多维向量进行隐私保护，得到中间数据，并将所述中间数据发送至第二参与方设备；接收第二参与方设备发送的分裂点数据，所述分裂点数据为，所述第二参与方设备基于所述中间数据，进行对应所述多分类梯度提升树的分裂点构建所得到；基于所述分裂点数据，确定所述多分类梯度提升树的全局分裂点，并基于所述全局分裂点，构建所述多分类梯度提升树。2.根据权利要求1所述的方法，其特征在于，所述基于所述预测值及相应的标签，确定用于表征所述训练样本所对应梯度的多维向量，包括：将所述预测值与所述相应的标签进行对比，得到比较结果；基于所述比较结果，确定所述训练样本的第一多维向量以及第二多维向量；其中，所述第一多维向量包括所述训练样本的每一标签类别的一阶梯度，所述第二多维向量包括所述训练样本的每一标签类别的二阶梯度。3.根据权利要求1所述的方法，其特征在于，所述对所述多维向量进行隐私保护，得到中间数据之前，还包括：确定所述多维向量的压缩控制参数、及所述多分类梯度提升树的建模参数；其中，所述压缩控制参数包括：同态最大整数位数、浮点数定点化精度以及样本数；基于所述压缩控制参数及所述建模参数，确定压缩参数；基于所述压缩参数，对所述多维向量进行压缩处理，得到压缩后的多维向量；所述对所述多维向量进行隐私保护，得到中间数据，包括：对所述压缩后的多维向量进行隐私保护，得到中间数据。4.根据权利要求3所述的方法，其特征在于，所述压缩参数包括：所述多维向量中对应每一维度的梯度的占位、所述多分类梯度提升树的一个标签的总占位、标签容纳个数、密文个数、未容纳标签个数、未容纳密文打包整数占位以及密文压缩量；所述基于所述压缩控制参数及所述多维向量中每一维度的数据的位长，确定压缩参数，包括：确定所述多分类梯度提升树的浮点数定点化精度，基于所述浮点数定点化精度，对所述多维向量中对应每一维度的梯度进行定点化处理，得到所述梯度对应的定点化整数，并基于所述样本数与所述定点化整数，确定对应所述梯度的占位；其中，所述多维向量中的每一维度的梯度为对应所述训练样本的每一标签类别的梯度；将所述梯度的占位进行求和处理，确定一个标签的总占位；将所述同态最大整数位数与所述标签的总占位做整数除法处理，确定标签容纳个数；将所述标签类别的数量与所述标签容纳个数做整数除法处理，以确定密文个数；将所述标签类别的数量与所述标签容纳个数做除法取余处理，确定未容纳标签个数；
将所述未容纳标签个数与所述标签的总占位做乘积处理，确定未容纳密文打包整数占位；将所述同态最大整数位数与所述标签的总占位进行整数除法处理，确定密文压缩量。5.根据权利要求1所述的方法，其特征在于，所述对所述多维向量进行隐私保护，得到中间数据，包括：对所述多维向量进行同态加密，得到中间数据；所述基于所述分裂点数据，确定所述多分类梯度提升树的全局分裂点，包括：对所述分裂点数据进行解密，得到解密后的分裂点数据；基于所述解密后的分裂点数据，确定所述多分类梯度提升树的全局分裂点。6.根据权利要求1所述的方法，其特征在于，所述分裂点数据为，所述第二参与方设备基于所述中间数据，构建所述多分类梯度提升树的分裂点得到分裂点构建结果，并对所述分裂点构...

【专利技术属性】
技术研发人员：陈伟敬，马国强，范涛，陈天健，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：