用于预测信息的方法和装置制造方法及图纸

本申请实施例公开了用于预测信息的方法和装置。该方法的一具体实施方式包括：获取用户的特征；将用户的特征分别输入至预先训练的第一模型和第二模型，得到用户的第一预测结果和第二预测结果，其中，第一模型和第二模型分别对应不同类别的机构，且基于各自对应的训练样本采用纵向联邦学习方法训练得到；汇总第一预测结果和第二预测结果，生成用户的预测结果。该实施方式涉及云计算领域，基于采用纵向联邦学习方法训练得到的第一模型和第二模型预测信息，提高了信息预测的准确度。

Methods and devices for predicting information

【技术实现步骤摘要】
用于预测信息的方法和装置
本申请实施例涉及计算机
，具体涉及用于预测信息的方法和装置。
技术介绍
数据隔离和孤岛效应严重制约人工智能发展。不同机构拥有的数据维度和样本数量有限。由于数据安全性和个人信息保护等法律限制，不同机构的数据不能交换或共享，导致机构基于自身的数据和样本建立的模型效果较差，泛化能力弱，且不具备可复制性。例如，金融机构拥有用户的存款、账户交易流水、贷款金额和消费记录等数据，但缺少用户浏览网站的行为和兴趣标签；互联网机构拥有用户的网站浏览行为、兴趣标签和地理位置信息，但缺少金融机构拥有的金融数据。
技术实现思路
本申请实施例提出了用于预测信息的方法和装置。第一方面，本申请实施例提供了一种用于预测信息的方法，包括：获取用户的特征；将用户的特征分别输入至预先训练的第一模型和第二模型，得到用户的第一预测结果和第二预测结果，其中，第一模型和第二模型分别对应不同类别的机构，且基于各自对应的训练样本采用纵向联邦学习方法训练得到；汇总第一预测结果和第二预测结果，生成用户的预测结果。在一些实施例中，第一模型和第二模型通过如下步骤训练：获取第一模型对应的第一训练样本和第二模型对应的第二训练样本，其中，第一训练样本包括第一样本用户的第一样本特征和第一样本标签，第二训练样本包括第二样本用户的第二样本特征；基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练。在一些实施例中，基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练，包括：获取第一模型的当前梯度值和第二模型的当前梯度值；对第一模型的当前梯度值和第二模型的当前梯度值进行公钥加密，得到第一模型的当前公钥加密梯度值和第二模型的当前公钥加密梯度值；汇总第一模型的当前公钥加密梯度值和第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值；对当前公钥加密梯度值进行私钥解密，得到当前私钥解密梯度值；基于当前私钥解密梯度值分别更新第一模型和第二模型。在一些实施例中，基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练，还包括：获取第一模型的当前中间值和第二模型的当前中间值；对第一模型的当前中间值和第二模型的当前中间值进行公钥加密，得到第一模型的当前公钥加密中间值和第二模型的当前公钥加密中间值；基于第二模型的当前公钥加密中间值训练第一模型，以及基于第一模型的当前公钥加密中间值训练第二模型。在一些实施例中，基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练，还包括：获取第一模型的当前损失值；对第一模型的当前损失值进行公钥加密，得到第一模型的当前公钥加密损失值；以及汇总第一模型的当前公钥加密梯度值和第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值，包括：对第一模型的当前公钥加密损失值进行私钥解密，得到第一模型的当前私钥解密损失值；基于第一模型的当前私钥解密损失值汇总第一模型的当前公钥加密梯度值和第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值。在一些实施例中，在基于当前私钥解密梯度值分别更新第一模型和第二模型之后，还包括：获取第一模型的当前损失值和第二模型的当前损失值；确定第一模型的当前损失值和第二模型的当前损失值是否收敛；若第一模型的当前损失值和第二模型的当前损失值收敛，确定第一模型和第二模型训练完成。在一些实施例中，在确定第一模型的当前损失值和第二模型的当前损失值是否收敛之后，还包括：若第一模型的当前损失值和第二模型的当前损失值不收敛，继续基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练。在一些实施例中，在基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练之前，还包括：对第一训练样本和第二训练样本进行样本对齐。在一些实施例中，在基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练之前，还包括：获取第三模型对应的第三训练样本，其中，第一模型和第三模型分别对应相同类别的不同机构，第三训练样本包括第三样本用户的第三样本特征和第三样本标签；基于第一训练样本和第三训练样本采用横向联邦学习方法对第一模型和第三模型进行训练。在一些实施例中，基于第一训练样本和第三训练样本采用横向联邦学习方法对第一模型和第三模型进行训练，包括：获取第一模型的当前梯度值和第三模型的当前梯度值；对第一模型的当前梯度值和第三模型的当前梯度值进行同态加密，得到第一模型的当前同态加密梯度值和第三模型的当前同态加密梯度值；聚合第一模型的当前同态加密梯度值和第三模型的当前同态加密梯度值，得到当前同态加密梯度值；解密当前同态加密梯度值，得到当前解密梯度值；基于当前解密梯度值分别更新第一模型和第三模型。在一些实施例中，在基于当前解密梯度值分别更新第一模型和第三模型之后，还包括：获取第一模型的当前损失值和第三模型的当前损失值；确定第一模型的当前损失值和第三模型的当前损失值是否收敛；若第一模型的当前损失值和第三模型的当前损失值收敛，基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练。在一些实施例中，在确定第一模型的当前损失值和第三模型的当前损失值是否收敛之后，还包括：若第一模型的当前损失值和第三模型的当前损失值不收敛，继续基于第一训练样本和第三训练样本采用横向联邦学习方法对第一模型和第三模型进行训练。第二方面，本申请实施例提供了一种用于预测信息的装置，包括：获取单元，被配置成获取用户的特征；预测单元，被配置成将用户的特征分别输入至预先训练的第一模型和第二模型，得到用户的第一预测结果和第二预测结果，其中，第一模型和第二模型分别对应不同类别的机构，且基于各自对应的训练样本采用纵向联邦学习方法训练得到；汇总单元，被配置成汇总第一预测结果和第二预测结果，生成用户的预测结果。在一些实施例中，第一模型和第二模型通过如下步骤训练：获取第一模型对应的第一训练样本和第二模型对应的第二训练样本，其中，第一训练样本包括第一样本用户的第一样本特征和第一样本标签，第二训练样本包括第二样本用户的第二样本特征；基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练。在一些实施例中，基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练，包括：获取第一模型的当前梯度值和第二模型的当前梯度值；对第一模型的当前梯度值和第二模型的当前梯度值进行公钥加密，得到第一模型的当前公钥加密梯度值和第二模型的当前公钥加密梯度值；汇总第一模型的当前公钥加密梯度值和第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值；对当前公钥加密梯度值进行私钥解密，得到当前私钥解密梯度值；基于当前私钥解密梯度值分别更新第一模型和第二模型。在一些实施例中，基于第一训练样本和第二训练样本采用纵向联邦学习方法对第一模型和第二模型进行训练，还包括：获取第一模型的当前中间值和第二模型的当前中间值；对第一模型的当前中间值和第二模型的当前中间值进行公钥加密，得到第一模型的当前公钥加密中间值和第二模型的当前公钥加密中间值；基于第二模型的当前公钥加密中间值训练第一模型，以及基于第一模型的当前公钥加密中间值训练第二模型。在一本文档来自技高网...

【技术保护点】
1.一种用于预测信息的方法，包括：获取用户的特征；将所述用户的特征分别输入至预先训练的第一模型和第二模型，得到所述用户的第一预测结果和第二预测结果，其中，所述第一模型和所述第二模型分别对应不同类别的机构，且基于各自对应的训练样本采用纵向联邦学习方法训练得到；汇总所述第一预测结果和所述第二预测结果，生成所述用户的预测结果。

【技术特征摘要】
1.一种用于预测信息的方法，包括：获取用户的特征；将所述用户的特征分别输入至预先训练的第一模型和第二模型，得到所述用户的第一预测结果和第二预测结果，其中，所述第一模型和所述第二模型分别对应不同类别的机构，且基于各自对应的训练样本采用纵向联邦学习方法训练得到；汇总所述第一预测结果和所述第二预测结果，生成所述用户的预测结果。2.根据权利要求1所述的方法，其中，所述第一模型和所述第二模型通过如下步骤训练：获取所述第一模型对应的第一训练样本和所述第二模型对应的第二训练样本，其中，所述第一训练样本包括第一样本用户的第一样本特征和第一样本标签，所述第二训练样本包括第二样本用户的第二样本特征；基于所述第一训练样本和所述第二训练样本采用纵向联邦学习方法对所述第一模型和所述第二模型进行训练。3.根据权利要求2所述的方法，其中，所述基于所述第一训练样本和所述第二训练样本采用纵向联邦学习方法对所述第一模型和所述第二模型进行训练，包括：获取所述第一模型的当前梯度值和所述第二模型的当前梯度值；对所述第一模型的当前梯度值和所述第二模型的当前梯度值进行公钥加密，得到所述第一模型的当前公钥加密梯度值和所述第二模型的当前公钥加密梯度值；汇总所述第一模型的当前公钥加密梯度值和所述第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值；对所述当前公钥加密梯度值进行私钥解密，得到当前私钥解密梯度值；基于所述当前私钥解密梯度值分别更新所述第一模型和所述第二模型。4.根据权利要求3所述的方法，其中，所述基于所述第一训练样本和所述第二训练样本采用纵向联邦学习方法对所述第一模型和所述第二模型进行训练，还包括：获取所述第一模型的当前中间值和所述第二模型的当前中间值；对所述第一模型的当前中间值和所述第二模型的当前中间值进行公钥加密，得到所述第一模型的当前公钥加密中间值和所述第二模型的当前公钥加密中间值；基于所述第二模型的当前公钥加密中间值训练所述第一模型，以及基于所述第一模型的当前公钥加密中间值训练所述第二模型。5.根据权利要求4所述的方法，其中，所述基于所述第一训练样本和所述第二训练样本采用纵向联邦学习方法对所述第一模型和所述第二模型进行训练，还包括：获取所述第一模型的当前损失值；对所述第一模型的当前损失值进行公钥加密，得到所述第一模型的当前公钥加密损失值；以及所述汇总所述第一模型的当前公钥加密梯度值和所述第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值，包括：对所述第一模型的当前公钥加密损失值进行私钥解密，得到所述第一模型的当前私钥解密损失值；基于所述第一模型的当前私钥解密损失值汇总所述第一模型的当前公钥加密梯度值和所述第二模型的当前公钥加密梯度值，得到当前公钥加密梯度值。6.根据权利要求3所述的方法，其中，在所述基于所述当前私钥解密梯度值分别更新所述第一模型和所述第二模型之后，还包括：获取所述第一模型的当前损失值和所述第二模型的当前损失值；确定所述第一模型的当前损失值和所述第二模型的当前损失值是否收敛；若所述第一模型的当前损失值和所述第二模型的当前损失值收敛，确定所述第一模型和所述第二模型训练完成。7.根据权利要求6所述的方法，其中，在所述确定所述第一模型的当前损失值和所述第二模型的当前损...

【专利技术属性】
技术研发人员：刘昊骋，许韩晨玺，陈浩，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11