基于云端协同学习的隐私保护推荐方法及系统技术方案

本发明专利技术公开了一种基于云端协同学习的隐私保护推荐方法及系统，推荐方法包括：将用户数据分为公开数据和隐私数据，中央服务器收集各用户终端设备中的公开数据并构建公开数据集，基于公开数据集训练公共模型；各用户在其终端设备中基于隐私数据训练本地私有模型，并将模型梯度发送至中央服务器，中央服务器聚合接收到的梯度，使用聚合后的梯度更新全局私有模型，并将更新结果发送至用户终端设备；迭代训练直至私有模型收敛；各用户在本地融合公开模型和私有模型以获得最终推荐模型，并基于最终推荐模型预测用户对候选集项目评分，根据评分完成推荐。本发明专利技术解决了现有的隐私保护推荐技术中推荐精度不高和用户终端设备计算负荷过大的问题。过大的问题。过大的问题。

【技术实现步骤摘要】
基于云端协同学习的隐私保护推荐方法及系统


[0001]本专利技术涉及人工智能
，特别是一种基于云端协同学习的隐私保护推荐方法及系统。

技术介绍

[0002]推荐系统是目前实现个性化信息服务的有效途径，在电子商务、视频服务、广告等各个领域得到了广泛的应用。推荐系统根据用户个人信息，如用户的年龄、职业、性别、位置等，预测用户偏好和兴趣，从而更准确地向用户推荐其可能喜欢的物品或服务。目前的推荐系统都是集中收集用户数据后训练推荐模型并生成推荐结果。然而，在数据安全相关条例法规的要求下，数据流通面临着诸多困难。同时出于隐私安全考虑，用户可能不愿意让推荐系统存储其个人信息。在这种情况下，集中收集用户的数据会越来越困难。
[0003]推荐系统的问题可以定义为：根据一组用户对多个项目的评分情况预测出目标用户对未评分项目的偏好程度。因此需要训练一个推荐模型，以便基于该模型预测评分并根据预测的评分为目标用户推荐项目。为了尽可能得使推荐的物品贴合目标用户的偏好，应使得推荐模型对已知评分的预测结果与已知评分值尽可能相等。对于上述推荐模型的训练，除了用户对项目的评分外，通常还可以引入一些例如用户的性别、职业、人际关系、家庭背景等数据提升模型的推荐性能和个性化效果。
[0004]目前基于联邦学习的推荐系统研究认为所有的用户数据都是隐私数据，包括明确的反馈（点击、评分、评论）。然而，这些数据是由用户主动提供给系统并是公开展示的，同时这些用户交互行为也不可避免地被系统记录到数据库中。而例如个人工作信息、人际关系、家庭背景等信息等用户不愿意透露的数据属于需要被保护的隐私数据。虽然这些数据可以在一定程度上提高推荐系统的推荐性能，但这些敏感数据一旦被集中收集就有可能遭到恶意利用，给用户带来极大的风险和困扰。
[0005]为有效保护用户隐私和数据安全，联邦学习在推荐系统中得到了广泛的应用。联邦推荐系统由一个中央服务器和大量用户终端组成，每个用户终端在其本地利用其拥有的数据训练本地推荐模型。每个用户终端将自己训练的模型参数发送给中央服务器，并在该中央服务器上通过聚合的方法构建一个全局推荐模型。虽然在该过程中用户数据不会离开本地，很好地保护了数据安全和用户隐私，但是相对于集中式训练，联邦学习训练的模型性能会明显降低。
[0006]目前基于联邦学习的推荐系统中，模型训练过程均在用户终端设备（端）上进行，中央服务器（云）负责聚合模型参数以及协调训练过程。一般来说，联邦推荐系统中的用户终端设备大多都是轻量级设备（例如，智能手机、平板电脑），计算能力相对较低，无法执行复杂的机器学习任务。因此，在保证用户个人信息安全的前提下，如何完成复杂模型的训练并实现高精度的推荐效果是目前亟需解决的问题。

技术实现思路

[0007]本专利技术的目的在于，提供一种基于云端协同学习的隐私保护推荐方法及系统。本专利技术通过将部分计算压力转移给中央服务器以解决联邦推荐系统中用户终端设备计算压力过大的问题，同时通过集中式训练和分布式训练相结合的方式解决联邦推荐系统推荐精度较低的问题。
[0008]本专利技术的技术方案：本专利技术一方面提供一种基于云端协同学习的隐私保护推荐方法，包括以下步骤：步骤S1、各用户终端设备本地获取与用户对应的公开数据；步骤S2、中央服务器收集步骤S1中各用户终端设备的公开数据，并基于接收到的公开数据构建公共数据集；步骤S3、中央服务器基于步骤S2构建的公共数据集迭代训练公共模型，直至公共模型收敛；步骤S4、中央服务器将步骤S3训练好的公共模型发送至各用户终端设备；步骤S5、各用户终端设备本地获取用户的隐私数据与推荐项目的特征数据；步骤S6、中央服务器选取参与本轮训练的用户，被选中的用户根据全局私有模型初始化本地私有模型；步骤S7、被选中的用户在本地迭代训练本地私有模型，基于步骤S5获取的用户隐私数据与推荐项目的特征数据确定当前迭代中本地私有模型对应的准确率以及损失函数梯度，并将本地私有模型对应的准确率以及加噪后的梯度发送至中央服务器；步骤S8、中央服务器根据各用户本地私有模型对应的准确率对梯度进行聚合，并根据梯度聚合结果更新全局 私有模型；步骤S9、中央服务器根据更新后的全局私有模型，执行下一次迭代，将更新后的私有模型发送至被选中的用户；步骤S10、各用户终端设备在本地融合步骤S4中的公共模型和步骤S9中的私有模型，以获得最终的推荐模型；步骤S11、各用户终端设备使用最终的推荐模型预测用户对项目的评分，根据评分为用户进行项目推荐。
[0009]前述的基于云端协同学习的隐私保护推荐方法中，所述步骤S1至步骤S4进行的同时，同步进行步骤S5至步骤S9。
[0010]前述的基于云端协同学习的隐私保护推荐方法中，所述步骤S9中若更新后的私有模型未收敛，则返回步骤S6，再次进行步骤S6至步骤S9的操作；若步骤S9中更新后的私有模型已收敛，则进入步骤S10。
[0011]前述的基于云端协同学习的隐私保护推荐方法中，所述步骤S10中获得最终的推荐模型为：其中，为最终的推荐模型，，，()用来调节对和的依赖程度，当，完全依赖；当，完全依赖。
[0012]前述的基于云端协同学习的隐私保护推荐方法中，所述步骤S7中计算出私有模型
的损失函数梯度后，对损失函数梯度添加差分隐私噪声，再将含有噪声的梯度发送给中央服务器。
[0013]本专利技术另一方面提供一种基于云端协同学习的隐私保护推荐系统，系统包括第一获取模块、第二获取模块、第一训练模块、第二训练模块、隐私保护模块、融合模块和预测模块；所述第一获取模块用于在本地获取与用户对应的公开数据；所述第二获取模块用于在本地获取与用户对应的隐私数据以及推荐项目的特征数据；所述第一训练模块用于在中央服务器迭代训练公共模型的过程中，执行如下操作：收集各用户终端设备的公开数据，并基于接收到的公开数据构建公共数据集；基于所述公共数据集迭代训练公共模型，直至公共模型收敛；将所述收敛后的公共模型发送至所有用户终端设备；所述第二训练模块用于在本地迭代训练私有模型的至少一次迭代过程中，执行如下操作：基于获取的用户隐私数据与推荐项目特征数据确定当前迭代中本地私有模型对应的准确率以及损失函数梯度，并将准确率以及加入噪声的损失函数梯度发送至中央服务器；所述中央服务器选择准确率高于设定阈值的用户，根据这些用户所发送的加入噪声的损失函数梯度的聚合结果更新全局私有模型，并将更新后的全局私有模型发送至参与下一次迭代的用户终端设备；根据所述更新后的私有模型，执行下一次迭代；所述隐私保护模块用于本地在向中央服务器发送的损失函数梯度上加入噪声，并根据所采用的加噪机制计算用户的隐私损失；所述融合模块用于在本地融合私有模型和公共模型，以获得最终推荐模型；所述预测模块用于根据最终推荐模型预测用户对项目的偏好程度，以根据所述偏好程度为用户进行项目推荐。
[0014]前述的基于云端协同学习的隐私保护推荐系统中，所述公开数据为用户主动提供给系统的数据，包括点击、评分、评论等；所述公开数据用于描述用户对应于多个推荐项目的偏好情况，多个用户终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于云端协同学习的隐私保护推荐方法，其特征在于：包括以下步骤：步骤S1、各用户终端设备本地获取与用户对应的公开数据；步骤S2、中央服务器收集步骤S1中各用户终端设备的公开数据，并基于接收到的公开数据构建公共数据集；步骤S3、中央服务器基于步骤S2构建的公共数据集迭代训练公共模型，直至公共模型收敛；步骤S4、中央服务器将步骤S3训练好的公共模型发送至各用户终端设备；步骤S5、各用户终端设备本地获取用户的隐私数据与推荐项目的特征数据；步骤S6、中央服务器选取参与本轮训练的用户，被选中的用户根据全局私有模型初始化本地私有模型；步骤S7、被选中的用户在本地迭代训练私有模型，基于步骤S5获取的用户隐私数据与推荐项目的特征数据确定当前迭代中本地私有模型对应的准确率以及损失函数梯度，并将本地私有模型对应的准确率以及加噪后的梯度发送至中央服务器；步骤S8、中央服务器根据各用户本地私有模型对应的准确率对梯度进行聚合，并根据梯度聚合结果更新全局私有模型；步骤S9、中央服务器根据更新后的全局私有模型，执行下一次迭代，将更新后的私有模型发送至被选中的用户；步骤S10、各用户终端设备在本地融合步骤S4中的公共模型和步骤S9中的私有模型，以获得最终的推荐模型；步骤S11、各用户终端设备使用最终的推荐模型预测用户对项目的评分，根据评分为用户进行项目推荐。2.根据权利要求1所述的基于云端协同学习的隐私保护推荐方法，其特征在于：所述步骤S1至步骤S4进行的同时，同步进行步骤S5至步骤S9。3.根据权利要求2所述的基于云端协同学习的隐私保护推荐方法，其特征在于：所述步骤S9中若更新后的私有模型未收敛，则返回步骤S6，再次进行步骤S6至步骤S9的操作；若步骤S9中更新后的私有模型已收敛，则进入步骤S10。4.根据权利要求1所述的基于云端协同学习的隐私保护推荐方法，其特征在于：所述步骤S10中获得最终的推荐模型为：其中，为最终的推荐模型，，，()用来调节对和的依赖程度，当，完全依赖；当，完全依赖。5.根据权利要求1所述的基于云端协同学习的隐私保护推荐方法，其特征在于：所述步骤S7中计算出私...

【专利技术属性】
技术研发人员：刘柏嵩，江学勇，钦蒋承，张雪垣，罗林泽，
申请(专利权)人：宁波大学，
类型：发明
国别省市：