本说明书实施例披露一种协同训练方法及装置，以及一种业务预测方法及装置。协同训练方法由第一方执行，包括：先利用第一方部署的第一预测模型中的第一嵌入层处理训练样本的第一特征部分，得到第一嵌入表征，并从第二方接收第二嵌入表征，其由第二方利用第二预测模型中的第二嵌入层处理训练样本的第二特征部分而得到；再利用第一预测模型中的第一预测层处理第一嵌入表征和第二嵌入表征的第一融合表征，得到第一预测结果，并从第二方接收第二预测结果，其由第二方利用第二预测模型对训练样本进行预测而得到；之后基于第一预测结果、第二预测结果和训练样本的真实标签，训练第一预测模型。上述业务预测方法由第一方基于训练好的第一预测模型而执行。好的第一预测模型而执行。好的第一预测模型而执行。
【技术实现步骤摘要】
协同训练方法及装置、业务预测方法及装置
[0001]本说明书一个或多个实施例涉及机器学习
，尤其涉及一种协同训练方法及装置，以及一种业务预测方法及装置。
技术介绍
[0002]计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习（Federated Learning，简称FL）实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。
[0003]然而，目前已有的联邦学习算法存在局限性。因此，需要一种联邦学习方案，可以更好地满足实际应用需求，例如，支持各参与方采用不同的模型结构，实现双向协同等。
技术实现思路
[0004]本说明书实施例描述一种协同训练方法及装置，以及一种业务预测方法及装置，可以更好地满足实际应用需求。
[0005]根据第一方面，提供一种协同训练方法，由第一方执行，包括：
[0006]利用第一方部署的第一预测模型中的第一嵌入层处理训练样本的第一特征部分，得到第一嵌入表征；从第二方接收第二嵌入表征，其由所述第二方利用第二预测模型中的第二嵌入层处理所述训练样本的第二特征部分而得到；利用所述第一预测模型中的第一预测层处理所述第一嵌入表征和第二嵌入表征的第一融合表征，得到第一预测结果；从所述第二方接收第二预测结果，其由所述第二方利用所述第二预测模型对所述训练样本进行预测而得到；基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型。
[0007]在一个实施例中，所述第一预测模型还具有第一融合层；所述方法还包括：利用所述第一融合层处理所述第一嵌入表征和第二嵌入表征，得到所述第一融合表征。
[0008]在一个实施例中，还包括：在所述第一嵌入表征中添加差分隐私噪声，得到加躁嵌入表征；将所述加躁嵌入表征发送给所述第二方。
[0009]在一个实施例中，基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型，包括：根据第一损失项和第二损失项确定第一训练损失，所述第一损失项与所述第一预测结果和所述真实标签之间的差距正相关，第二损失项与所述第一预测结果和第二预测结果之间的差距正相关；基于所述第一训练损失，训练所述第一预测模型。
[0010]在一个具体的实施例中，根据第一损失项和第二损失项确定第一训练损失，包括：基于第一权重系数对第一损失项和第二损失项加权求和；其中，所述第一权重系数不同于第二权重系数，所述第二权重系数是所述第二方对应训练所述第二预测模型所采用的权重系数。
[0011]在一个实施例中，基于所述第一预测结果、第二预测结果和所述训练样本的真实
标签，训练所述第一预测模型，包括：在所述第二预测结果指示的预测标签与所述真实标签一致的情况下，利用所述第一预测结果、真实标签和第二预测结果确定第一训练损失，训练所述第一预测模型。
[0012]在一个实施例中，基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型，包括：在所述第二预测结果指示的预测标签与所述真实标签不一致的情况下，仅利用所述第一预测结果和真实标签确定第一训练损失，训练所述第一预测模型。
[0013]在一个实施例中，所述第一方为服务端，所述第二方是所述服务端的多个客户端之一；或者，所述第二方为服务端，所述第一方是所述服务端的多个客户端之一。
[0014]在一个实施例中，所述第一方为服务端，所述第二方是所述服务端的多个客户端之一；其中，所述第一预测模型的模型参数数量大于所述第二预测模型的模型参数数量，和/或，所述第一预测模型的神经网络层数大于所述第二预测模型的神经网络层数。
[0015]根据第二方面，提供一种业务预测方法，由第一方执行，包括：
[0016]确定待预测的目标样本；利用所述第一方部署的第一预测模型中的第一嵌入层处理所述目标样本的第一特征部分，得到第一嵌入表征；所述第一预测模型由所述第一方采用第一方面提供的方法而预先训练；获取第二嵌入表征，其由第二方利用其第二预测模型中的第二嵌入层处理所述目标样本的第二特征部分而得到；利用所述第一预测模型中的第一预测层处理所述第一嵌入表征和第二嵌入表征的融合表征，得到针对所述目标样本的目标预测结果。
[0017]在一个实施例中，所述第一方是客户端，所述第二方是所述客户端的服务端；其中，确定待预测的目标样本，包括：响应于基于所述客户端发起的业务操作，确定该业务操作对应的目标用户，作为目标样本；其中，所述方法还包括：从所述客户端的缓存中读取在自当前时刻起回溯预设时长内采集的用户行为数据，归入所述第一特征部分。
[0018]在一个具体的实施例中，获取第二嵌入表征包括：在本地读取所述服务端预先发送的所述第二嵌入表征。
[0019]根据第三方面，提供一种协同训练装置，集成于第一方。该装置包括：嵌入处理模块，配置为利用第一方部署的第一预测模型中的第一嵌入层处理训练样本的第一特征部分，得到第一嵌入表征。表征接收模块，配置为从第二方接收第二嵌入表征，其由所述第二方利用第二预测模型中的第二嵌入层处理所述训练样本的第二特征部分而得到。预测模块，配置为利用所述第一预测模型中的第一预测层处理所述第一嵌入表征和第二嵌入表征的第一融合表征，得到第一预测结果。结果接收模块，配置为从所述第二方接收第二预测结果，其由所述第二方利用所述第二预测模型对所述训练样本进行预测而得到。训练模块，配置为基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型。
[0020]根据第四方面，提供一种业务预测装置，集成于第一方。该装置包括：样本确定模块，配置为确定待预测的目标样本。嵌入处理模块，配置为利用所述第一方部署的第一预测模型中的第一嵌入层处理所述目标样本的第一特征部分，得到第一嵌入表征；所述第一预测模型由所述第一方执行第一方面提供的方法而预先训练。表征获取模块，配置为获取第二嵌入表征，其由第二方利用其第二预测模型中的第二嵌入层处理所述目标样本的第二特
征部分而得到。预测模块，配置为利用所述第一预测模型中的第一预测层处理所述第一嵌入表征和第二嵌入表征的融合表征，得到针对目标样本的目标预测结果。
[0021]根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面提供的方法。
[0022]根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面或第二方面提供的方法。
[0023]采用本说明书实施例披露的上述方法及装置，可以实现：1）促进本地个性化。对一个数据方（如云端）的特征进行抽取后传输至另一数据方（如移动端），可以增强FL算法的个性化。2）支持模型的异构性（heterogeneity）。相较传统FL算法中要求不同数据方（如不同移动端）中部署的模型必须具有完全相同的结构，本说明书实施例披露的方案中只要求不同数据方中的模型具有相同的输本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种协同训练方法，由第一方执行，包括：利用第一方部署的第一预测模型中的第一嵌入层处理训练样本的第一特征部分，得到第一嵌入表征；从第二方接收第二嵌入表征，其由所述第二方利用第二预测模型中的第二嵌入层处理所述训练样本的第二特征部分而得到；利用所述第一预测模型中的第一预测层处理所述第一嵌入表征和第二嵌入表征的第一融合表征，得到第一预测结果；从所述第二方接收第二预测结果，其由所述第二方利用所述第二预测模型对所述训练样本进行预测而得到；基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型。2.根据权利要求1所述的方法，其中，所述第一预测模型还具有第一融合层；所述方法还包括：利用所述第一融合层处理所述第一嵌入表征和第二嵌入表征，得到所述第一融合表征。3.根据权利要求1所述的方法，其中，还包括：在所述第一嵌入表征中添加差分隐私噪声，得到加躁嵌入表征；将所述加躁嵌入表征发送给所述第二方。4.根据权利要求1所述的方法，其中，基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型，包括：根据第一损失项和第二损失项确定第一训练损失，所述第一损失项与所述第一预测结果和所述真实标签之间的差距正相关，第二损失项与所述第一预测结果和第二预测结果之间的差距正相关；基于所述第一训练损失，训练所述第一预测模型。5.根据权利要求4所述的方法，其中，根据第一损失项和第二损失项确定第一训练损失，包括：基于第一权重系数对第一损失项和第二损失项加权求和；其中，所述第一权重系数不同于第二权重系数，所述第二权重系数是所述第二方对应训练所述第二预测模型所采用的权重系数。6.根据权利要求1所述的方法，其中，基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型，包括：在所述第二预测结果指示的预测标签与所述真实标签一致的情况下，利用所述第一预测结果、真实标签和第二预测结果确定第一训练损失，训练所述第一预测模型。7.根据权利要求1所述的方法，其中，基于所述第一预测结果、第二预测结果和所述训练样本的真实标签，训练所述第一预测模型，包括：在所述第二预测结果指示的预测标签与所述真实标签不一致的情况下，仅利用所述第一预测结果和真实标签确定第一训练损失，训练所述第一预测模型。8.根据权利要求1所述的方法，其中，所述第一方为服务端，所述第二方是所述服务端的多个客户端之一；或者，
所述第二方为服务端，所述第一方是所述服务端的多个客户端之一。9.根据权利要求1
‑
7中任一项所述的方法，其中，所述第一方为服务端，所述第二方是所述服务端的多个客户端之一；其中，所述第一预测模型的模型参数数量大于所述第二预测模型的模型参数数量，和/或，所述第一预测模型的神经网络层数大于所述第二预测模型的神经网络...
【专利技术属性】
技术研发人员：李群伟，钟文亮，魏鹏，孙仁恩，林建滨，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。