【技术实现步骤摘要】
业务模型训练方法、装置、系统及电子设备
本说明书一个或多个实施例涉及人工智能领域，尤其涉及业务模型训练方法、装置、系统及电子设备。
技术介绍
模型训练是人工智能技术中的重要组成部分。模型训练通常依赖用户的样本数据。通常情况下，用户的样本数据越多，特征维度越丰富，训练出的模型的精准性越高。在一些场景中，业务方并没有大量的维度丰富的用户样本数据，为此，业务方需要向提供数据服务的第三方获取用户样本数据，通过第三方的用户样本数据来丰富特征维度，从而训练出更好的业务模型。这里将业务方称之为数据使用方，将提供数据服务的第三方称之为数据提供方。由于用户样本数据是用户的隐私数据，数据提供方通常不允许将用户样本数据提供给数据使用方。而且，即使条件允许，作为重要的资产，数据提供方也不愿意将数据直接输出。因此，如何在不泄露用户隐私的情况下，丰富数据使用方的特征维度就成为业界持续探讨的问题。
技术实现思路
第一方面，本说明书提供一种业务模型的训练方法，所述业务模型包括第一模型单元和第二模型单元，所述第一模型单元配置在数据提供方，所述第二模型单元配置在数据使用方，所述数据提供方持有样本对象的第一样本数据，所述数据使用方持有所述样本对象的第二样本数据和所述样本对象的标签，所述第一样本数据和所述第二样本数据的特征维度不完全相同，所述方法应用在数据提供方，包括：基于所述第一模型单元上次迭代时的模型参数MT-1，生成本次迭代的模型参数MT；将所述第一样本数据输入模型参数为MT的第一模型单元，得到中间...
【技术保护点】
1.一种业务模型的训练方法，所述业务模型包括第一模型单元和第二模型单元，所述第一模型单元配置在数据提供方，所述第二模型单元配置在数据使用方，所述数据提供方持有样本对象的第一样本数据，所述数据使用方持有所述样本对象的第二样本数据和所述样本对象的标签，所述第一样本数据和所述第二样本数据的特征维度不完全相同，所述方法应用在数据提供方，包括：/n基于所述第一模型单元上次迭代时的模型参数M
【技术特征摘要】
1.一种业务模型的训练方法，所述业务模型包括第一模型单元和第二模型单元，所述第一模型单元配置在数据提供方，所述第二模型单元配置在数据使用方，所述数据提供方持有样本对象的第一样本数据，所述数据使用方持有所述样本对象的第二样本数据和所述样本对象的标签，所述第一样本数据和所述第二样本数据的特征维度不完全相同，所述方法应用在数据提供方，包括：
基于所述第一模型单元上次迭代时的模型参数MT-1，生成本次迭代的模型参数MT；
将所述第一样本数据输入模型参数为MT的第一模型单元，得到中间结果，并将该中间结果发送给所述数据使用方；
接收数据使用方返回的参数更新决策，所述参数更新决策由所述数据使用方将所述中间结果和所述第二样本数据输入模型参数为NT的第二模型单元后，基于该第二模型单元输出的预测结果和所述样本对象的标签确定；所述NT为所述第二模型单元本次迭代的模型参数；
当所述参数更新决策是接受本次迭代的模型参数时，检测所述业务模型是否收敛；
若否，则基于所述第一模型单元本次迭代时的模型参数MT，执行生成下次迭代的模型参数MT+1的步骤；
若是，则停止所述第一模型单元的模型参数的迭代，并确定所述业务模型训练完成。
2.根据权利要求1所述的方法，所述方法还包括：
当所述参数更新决策是不接受本次迭代的模型参数时，基于第一模型上次迭代时的模型参数MT-1，生成下次迭代的模型参数MT+1。
3.根据权利要求1所述的方法，所述基于所述第一模型单元上次迭代时的模型参数MT-1，生成本次迭代的模型参数MT，包括：
基于模型参数MT-1、第一模型单元上次迭代的协方差矩阵以及预设的概率分布类型，确定目标概率分布；
依据所述目标概率分布，生成服从所述目标概率分布的本次迭代的模型参数MT；
其中，所述第一模型单元上次迭代的协方差矩阵通过所述第一模型单元上上次迭代时的协方差矩阵、以及所述第一模型单元上次迭代的模型参数MT-1确定。
4.根据权利要求3所述的方法，所述第一模型单元上次迭代的协方差矩阵为关联矩阵，或者，所述第一模型单元上次迭代的协方差矩阵为动量矩阵。
5.根据权利要求4所述的方法，当所述第一模型单元上次迭代的协方差矩阵为关联矩阵时，所述第一模型单元上次迭代的协方差矩阵通过如下公式确定：
CT-1＝γCT-2+(1-γ)MT-1·MT-1T；
其中，CT-2是第一模型单元上上次迭代的关联矩阵；
CT-1是第一模型单元上次迭代时的关联矩阵；
MT-1是第一模型单元上次迭代时的模型参数；
γ是预设值。
6.根据权利要求1所述的方法，所述样本对象为用户，所述第一样本数据和所述第二样本数据均为用户数据。
7.一种业务模型的训练方法，所述业务模型包括第一模型单元和第二模型单元，所述第一模型单元配置在数据提供方，所述第二模型单元配置在数据使用方，所述数据提供方持有样本对象的第一样本数据，所述数据使用方持有所述样本对象的第二样本数据和所述样本对象的标签，所述第一样本数据和所述第二样本数据的特征维度不完全相同，所述方法应用在数据使用方，包括：
基于所述第二模型单元上次迭代时的模型参数NT-1，生成本次迭代的模型参数NT；
在接收到数据提供方发送的中间结果时，将所述中间结果和所述第二样本数据输入至模型参数为NT的第二模型单元；所述中间结果是由所述数据提供方将所述第一样本数据输入至模型参数为MT的第一模型单元得到的，所述MT为所述第一模型单元本次迭代的模型参数；
基于该第二模型单元输出的预测结果和所述样本对象的标签，确定参数更新决策，并将该参数更新决策发送给数据提供方，以由所述数据提供方基于该参数更新决策进行后续处理；
若所述参数更新决策是接受本次迭代的模型参数，则检测所述业务模型是否收敛；
若否，基于所述第二模型单元本次迭代时的模型参数NT，执行生成下次迭代的模型参数NT+1的步骤；
若是，则停止所述第二模型单元的模型参数的迭代，并确定所述业务模型训练完成。
8.根据权利要求7所述的方法，所述方法还包括：
若所述参数更新决策是不接受本次迭代的模型参数，则基于第二模型单元上次迭代时的模型参数NT-1，生成下次迭代的模型参数NT+1。
9.根据权利要求7所述的方法，所述基于所述第二模型单元上次迭代时的模型参数NT-1，生成本次迭代的模型参数NT，包括：
基于模型参数NT-1、第二模型单元上次迭代的协方差矩阵以及预设的概率分布类型，确定目标概率分布；
依据所述目标概率分布，生成服从所述目标概率分布的本次迭代的模型参数NT；
其中，所述第二模型单元上次迭代的协方差矩阵通过所述第二模型单元上上次迭代的协方差矩阵、以及所述第二模型单元上次迭代的模型参数NT-1确定。
10.根据权利要求9所述的方法，所述第二模型单元上次迭代的协方差矩阵为关联矩阵，或者，所述第二模型单元的上次迭代的协方差矩阵为动量矩阵。
11.根据权利要求10所述的方法，当所述第二模型单元上次迭代的协方差矩阵为关联矩阵时，所述第二模型单元的协方差矩阵通过如下公式确定：
DT-1＝γDT-2+(1-γ)NT-1·NT-1T；
其中，DT-2是第二模型单元上上次迭代的关联矩阵；
DT-1是第二模型单元上次迭代的关联矩阵；
NT-1是第二模型单元上次迭代的模型参数；
γ是预设值。
12.根据权利要求7所述的方法，所述基于模型参数为NT的第二模型单元输出的预测结果和所述样本对象的标签，确定参数更新决策，包括：
基于所述预测结果和与所述样本对象的标签，计算所述业务模型的损失函数的取值；
基于已记录的上次迭代时的损失函数的取值和本次迭代计算出的所述损失函数的取值，确定业务模型损失函数取值的变化量；
基于所述变化量确定参数更新决策。
13.根据权利要求12所述的方法，所述基于所述变化量确定参数更新决策，包括：
基于所述变化量，计算接受概率值；
基于所述接受概率值，随机确定是否接受本次迭代的模型参数，作为参数更新决策。
14.根据权利要求13所述的方法，所述基于所述变化量，计算接受概率值，包括：
通过如下公式计算接受概率值：
P＝min{exp(-Δl),1}；
其中，P为接受概率值；
所述Δl为业务模型损失函数取值的变化量。
15.根据权利要求7至14任一项所述的方法，所述样本对象为用户，所述第一样本数据和第二样本数据为用户数据。
16.一种业务模型的训练系统，所述训练系统包括：数据使用方和数据提供方；所述业务模型包括第一模型单元和第二模型单元，所述第一模型单元配置在数据提供方，所述第二模型单元配置在数据使用方，所述数据提供方持有样本对象的第一样本数据，所述数据使用方持有所述样本对象的第二样本数据和所述样本对象的标签，所述第一样本数据和所述第二样本数据的特征维度不完全相同；
所述数据提供方，用于基于所述第一模型单元上次迭代时的模型参数MT-1，生成本次迭代的模型参数MT；将所述第一样本数据输入模型参数为MT的第一模型单元，得到中间结果，并将该中间结果发送给所述数据使用方，并在确定所述数据使用方返回的参数更新决策是接受本次迭代的模型参数时，检测所述业务模型是否收敛，若否，则基于所述第一模型本次迭代时的模型参数MT，执行生成下次迭代的模型参数MT+1的步骤；若是，则停止所述第一模型单元的模型参数的迭代，并确定所述业务模型训练完成；
所述数据使用方，用于基于所述第二模型单元上次迭代时的模型参数NT-1，生成本次迭代的模型参数NT；在接收到数据提供方发送的中间结果时，将所述中间结果和所述第二样本数据输入至模型参数为NT的第二模型单元，并基于模型参数为NT的第二模型单元输出的预测结果和所述样本对象的标签确定参数更新决策，并将该参数更新决策发送给数据提供方，以及在确定所述参数更新决策是接受本次迭代的模型参数，则检测所述业务模型是否收敛；若否，基于所述第一模型本次迭代时的模型参数NT，执行生成下次迭代的模型参数NT+1的步骤；若是，则停止所述第二模型单元的模型参数的迭代，并确定所述业务模型训练完成。
17.根据权利要求16所述的系统，
所述数据提供方，用于当所述参数更新决策是不接受本次迭代的模型参数时，基于第一模型上次迭代时的模型参数MT-1，生成下次迭代的模型参数MT+1；
所述数据使用方，用于若所述参数更新决策是不接受本次迭代的模型参数，则基于第二模型单元上次迭代时的模型参数NT-1，生成下次迭代的模型参数NT+1。
18.根据权利要求16所述的系统，
所述数据提供方，在基于所述第一模型单元上次迭代时的模型参数MT-1，生成本次迭代的模型参数MT时，用于基于模型参数MT-1、第一模型单元上次迭代的协方差矩阵以及预设的概率分布类型，确定目标概率分布；依据所述目标概率分布，生成服从所述目标概率分布的本次迭代的模型参数MT；其中，所述第一模型单元上次迭代的协方差矩阵通过所述第一模型单元上上次迭代时的协方差矩阵、以及所述第一模型单元上次迭代的模型参数MT-1确定；
所述数据使用方，在基于所述第二模型单元上次迭代时的模型参数NT-1，生成本次迭代的模型参数NT时，用于基于模型参数NT-1、第二模型单元上次迭代的协方差矩阵以及预设的概率分布类型，确定目标概率分布；依据所述目标概率分布，生成服从所述目标概率分布的本次迭代的模型参数NT；其中，所述第二模型单元上次迭代...
【专利技术属性】
技术研发人员：邱伟峰，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。