分布式隐私保护学习的推荐方法、设备和学习系统技术方案

本申请提供一种分布式隐私保护学习的推荐方法、设备和学习系统，其中：进行联邦学习的多个用户终端设备中的目标用户终端设备，获取目标用户对应的评分矩阵，在训练其对应的项目表达矩阵和用户表达矩阵的至少一次迭代中：确定当前迭代中项目表达矩阵对应的损失函数梯度，将加入第一噪声的损失函数梯度发送至服务器；若接收到服务器发送的存活通知，向服务器发送用于降低损失函数梯度上加入的噪声的第二噪声，以使服务器基于加入第一噪声的损失函数梯度以及第二噪声的聚合结果更新项目表达矩阵并将更新结果发送至各用户终端设备。根据训练截止时的用户表达矩阵和项目表达矩阵预测目标用户对多个项目的偏好程度并据此向目标用户推荐项目。标用户推荐项目。标用户推荐项目。

【技术实现步骤摘要】
分布式隐私保护学习的推荐方法、设备和学习系统


[0001]本专利技术涉及人工智能
，尤其涉及一种分布式隐私保护学习的推荐方法、设备和学习系统。

技术介绍

[0002]随着物联网、移动互联网等技术的不断发展，网络上充斥着各种各样的信息，为用户进行有效信息搜索提出了挑战。有鉴于此，现有技术中设计了各种推荐模型，以用于向用户进行其可能偏好的信息的推荐。
[0003]目前的推荐模型在训练过程中，会面临数据孤岛和数据安全的问题。业界持续面临重要的技术问题，即首先必须保护用户的隐私数据不被滥用和泄露，并同时为用户推荐更个性化的项目。因此，为提高推荐模型的性能，需要克服这些问题。为此，一种联邦学习的模型训练方式被提出。联邦学习是分布式机器学习的一种技术，是在多个数据汇集方之间共同开展的机器学习技术，其中，每个数据汇集方利用自身的数据对模型进行训练，随后将训练后的模型参数进行整合，这样，用于模型训练的数据可以不离开数据汇集方，或是在离开数据汇集方时被加密或消除敏感信息。联邦学习的目标是在法律要求的前提下，保证训练用数据的隐私、安全、合规使用，同时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式隐私保护学习系统，其特征在于，包括：用于进行联邦学习的多个用户终端设备以及服务器；所述多个用户终端设备与多个用户一一对应；所述多个用户终端设备各自收集的评分矩阵具有相同的项目集；所述多个用户终端设备中的目标用户终端设备，用于本地获取与目标用户对应的目标评分矩阵，在本地迭代训练所述目标评分矩阵对应的项目表达矩阵和用户表达矩阵的至少一次迭代过程中，执行如下操作：确定当前迭代中项目表达矩阵对应的损失函数梯度；将加入第一噪声的损失函数梯度发送至所述服务器，以使所述服务器基于接收到的各用户终端设备发送的加入有所述第一噪声的损失函数梯度确定当前存活的用户终端设备；响应于接收到所述服务器发送的存活通知，向所述服务器发送用于降低所述损失函数梯度上加入的噪声的第二噪声，以使所述服务器基于所述加入第一噪声的损失函数梯度以及所述第二噪声的聚合结果更新项目表达矩阵，并将更新后的项目表达矩阵发送至存活的用户终端设备；根据所述更新后的项目表达矩阵和当前迭代中的用户表达矩阵，执行下一次迭代；以及，根据训练截止时得到的用户表达矩阵和项目表达矩阵预测所述目标用户对所述多个项目的偏好程度，以根据所述偏好程度为所述目标用户进行项目推荐；所述服务器，用于接收各用户终端设备在当前迭代中各自上传的加入所述第一噪声的损失函数梯度，确定当前存活的用户终端设备，并向所述当前存活的用户终端设备发送存活通知；以及，接收所述当前存活的用户终端设备发送的所述第二噪声，基于所述加入第一噪声的损失函数梯度以及所述第二噪声的聚合结果更新项目表达矩阵，并将更新后的项目表达矩阵发送至存活的用户终端设备。2.根据权利要求1所述的系统，其特征在于，所述第一噪声是零均值高斯噪声，所述第一噪声具有第一方差系数，所述第一方差系数大于或等于设定存活数阈值的倒数，所述设定存活数阈值根据设定的退出率和所述多个用户终端设备的总数确定；所述存活通知中包括所述当前存活的用户终端设备数量；所述第二噪声是第三噪声与所述第一噪声的差值，所述第三噪声是零均值高斯噪声，所述第三噪声具有第二方差系数，所述第二方差系数的取值位于所述当前存活的用户终端设备数量的倒数与所述设定存活数阈值的倒数之间。3.根据权利要求1所述的系统，其特征在于，在将加入第一噪声的损失函数梯度发送至服务器的过程中，所述目标用户终端设备用于：采用设定的安全聚合算法，对所述加入第一噪声的损失函数梯度进行加密处理，将加密结果发送至所述服务器。4.一种分布式隐私保护学习的推荐方法，其特征在于，应用于用于进行联邦学习的多个用户终端设备中的目标用户终端设备，所述目标用户终端设备对应于目标用户，所述方法包括：本地获取与所述目标用户对应的目标评分矩阵，所述目标评分矩阵用于描述所述目标用户对多个项目的评分情况，所述多个用户终端设备各自收集的评分矩阵具有相同的项目集；在本地迭代训练所述目标评分矩阵对应的项目表达矩阵和用户表达矩阵的至少一次迭代过程中，执行如下操作：确定当前迭代中项目表达矩阵对应的损失函数梯度；将加入第一噪声的损失函数梯度发送至服务器，以使所述服务器基于接收到的各用户
终端设备发送的加入有所述第一噪声的损失函数梯度确定当前存活的用户终端设备；响应于接收到所述服务器发送的存活通知，向所述服务器发送用于降低所述损失函数梯度上加入的噪声的第二噪声，以使所述服务器基于所述加入第一噪声的损失函数梯度以及所述第二噪声的聚合结果更新项目表达矩阵，并将更新后的项目表达矩阵发送至存活的用户终端设备；根据所述更新后的项目表达矩阵和当前迭代中的用户表达矩阵，执行下一次迭代；根据训练截止时得到的用户表达矩阵和项目表达矩阵预测所...

【专利技术属性】
技术研发人员：周靖人，丁博麟，李子韬，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：