隐私性增强的联合学习系统技术方案

一种用户设备，包括：处理器，用于：下载主机器学习模型，其中，所述主机器学习模型用于生成与所述用户设备的应用程序的使用相关的用户推荐；使用所述主机器学习模型和与所述用户设备的用户或与所述用户设备的用户交互中的一个或多个相关的数据来计算所述主机器学习模型的模型更新；使用ε

【技术实现步骤摘要】
【国外来华专利技术】隐私性增强的联合学习系统


[0001]本公开的各个方面总体上涉及联合学习系统和联合推荐系统，更具体地涉及增强联合学习或推荐系统中的数据的隐私性。

技术介绍

[0002]联合学习和联合推荐系统已经被证明具有高水平的固有用户隐私保护质量。这主要是由于在用户设备或装备上保留用户数据，也在该用户设备中生成用户推荐。联合学习或推荐系统中用户隐私性最容易降低的部分在于对在用户设备和后端服务器之间移动的模型更新的访问。
[0003]虽然已经提出了根据安全聚合技术的不同方法来解决这些系统中与用户数据保护相关的问题，但是这些方法通常需要一种例如涉及密钥共享之类的安全措施的成对的(在用户之间的)安全通信信道的复杂系统。这需要额外的基础设施、资源和不同流程的管理。就用户退出而言，这些方法也可能鲁棒性不强。
[0004]因此，期望能够提供一种解决上述至少一些问题的系统。

技术实现思路

[0005]所公开实施例的目的是提供一种增强联合学习的隐私性的装置和方法。该目的通过独立权利要求书的主旨得以实现。可以在独立权利要求书中找到进一步有利的修改。
[0006]根据第一方面，由用户设备获得上述和进一步的目的和优点。在一实施例中，所述用户设备包括：处理器，用于：下载主机器学习模型，其中，所述主机器学习模型用于生成与所述用户设备的应用程序的使用或与所述用户设备的应用程序的交互中的一个或多个相关的用户推荐；使用所述主机器学习模型和与所述用户设备的用户或与所述用户设备的用户交互中的一个或多个相关的数据来计算所述主机器学习模型的模型更新；使用ε
‑
差分隐私机制对所述计算出的模型更新进行编码；以及发送ε
‑
差分隐私编码后的模型更新。所公开实施例的各个方面通过将ε
‑
差分隐私(Differential Privacy，简称DP)应用到从所述用户设备上传到后端服务器的模型更新，增强了联合学习系统的隐私性。因为所述模型更新被散列和随机化，并且不能被单独解码以了解有关所述用户的任何信息，因此进一步增强了所述用户的隐私性。所公开实施例的各个方面不需要额外的基础设施或通信信道，也不需要在各个用户之间共享密钥/数据，并且不需要管理加密密钥，从而减少了所需的计算资源量。
[0007]在根据第一方面所述的用户设备的一种可能的实现方式中，所述下载的主机器学习模型是协同过滤器(collaborative filter，简称CF)模型或联合学习协同过滤器模型中的一个或多个。所公开实施例的各个方面可以应用到联合学习模式下的通用的机器学习算法集合，以及更具体的过滤器模型。
[0008]在根据第一方面本身或先前可能的实现方式所述的用户设备的一种可能的实现方式中，所述处理器用于根据所述下载的主机器学习模型和所述与所述用户设备的用户或
与所述用户设备的用户交互中的一个或多个相关的数据，生成所述与所述应用程序的使用相关的用户推荐。所公开实施例的各个方面通过在用户设备中生成推荐来最小化暴露用户数据的风险。
[0009]在所述装置的另一种可能的实现方式中，所述应用程序是视频服务。所公开实施例的各个方面在所述用户使用个性化推荐时提供了高水平的用户隐私性，其中，所述个性化推荐根据视频偏好选择、用户人口统计和/或性别数据、或其先前通过所述服务已经选择和/或观看的视频，向所述用户推荐视频选择。
[0010]根据第二方面，由服务器装置获得上述和进一步的目的和优点。在一实施例中，所述服务器装置包括处理器，用于：接收主机器学习模型的多个ε
‑
差分隐私编码后的模型更新；聚合所述接收到的多个ε
‑
差分隐私编码后的更新；解码所述接收到的多个ε
‑
差分隐私编码后的更新的聚合，以恢复所述接收到的多个ε
‑
差分隐私编码后的更新的聚合版本；以及从所述接收到的多个ε
‑
差分隐私编码后的更新的聚合版本更新所述主机器学习模型。所公开实施例的各个方面使用ε
‑
差分隐私来对从用户设备发送到后端的所述模型更新进行编码，使得对于任何代理(包括后端本身)来说，截取或查看所述编码后的更新以对所述编码后的更新进行反向工程从而提取有关用户数据的任何有用信息都是不可能的或非常难的。通过聚合来自许多用户的编码后的模型更新并解码所得到的聚合，可以计算出实际模型更新的估计值。所述联合学习系统仅需要这种模型更新的聚合，而不是从各个用户了解所述更新。这进一步增强了联合学习的隐私属性。
[0011]在根据第二方面本身所述的服务器装置的一种可能的实现方式中，所述主机器学习模型是协同过滤器(collaborative filter，简称CF)模型或联合学习协同过滤器模型中的一个或多个。所公开实施例的各个方面可以应用到联合学习模式下的通用的机器学习算法集合，以及更具体的过滤器模型。
[0012]在根据第二方面本身所述的服务器装置的另一种可能的实现方式中，所述处理器用于将所述接收到的多个ε
‑
差分隐私编码后的更新聚合为所述接收到的多个ε
‑
差分隐私编码后的更新的和。所公开实施例的各个方面使得查看所述模型更新的编码版本的任何人都难以从所述编码后的模型更新中提取准确信息。通过聚合来自许多用户的编码后的模型更新并解码所得到的聚合，可以计算出实际模型更新的估计值。所述联合学习系统仅需要这种模型更新的聚合，而不是从各个用户了解所述更新，从而进一步增强了隐私性。
[0013]根据第三方面，由方法获得上述和进一步的目的和优点。在一实施例中，所述方法包括：下载主机器学习模型到用户设备，所述主机器学习模型用于生成与所述用户设备的应用程序相关的推荐；使用所述主机器学习模型和与所述用户设备的用户或与所述用户设备的用户交互中的一个或多个相关的数据来计算所述主机器学习模型的模型更新；使用ε
‑
差分隐私机制对所述模型更新进行编码；以及将编码后的模型更新从所述用户设备发送到服务器。在一实施例中，所述主机器学习模型从与应用程序服务相关联的后端服务器下载。所公开实施例的各个方面通过将ε
‑
差分隐私(Differential Privacy，简称DP)应用到从所述用户设备上传到后端服务器的模型更新，增强了联合学习系统的隐私性。因为所述模型更新被散列和随机化，并且不能被单独解码以了解有关所述用户的任何信息，因此进一步增强了所述用户的隐私性。这使得对于任何代理，包括后端本身来说，截取或查看所述编码后的更新以对所述编码后的更新进行反向工程从而提取有关用户数据的任何有用信息都
是非常难的(如果不是不可能的)。与使用安全通信、加密和解密的其他方法相比，减少了计算资源的使用。
[0014]在根据第三方面本身所述的方法的一种可能的实现方式中，所述主机器学习模型是协同过滤器(collaborative filter，简称CF)模型或联合学习协同过滤器模型中的一个或多个。所公开实施例的各个方面可以应用到联合本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用户设备(100)，其特征在于，包括：处理器(102)，用于：下载主机器学习模型，其中，所述主机器学习模型用于生成与所述用户设备(100)的应用程序的使用相关的用户推荐；使用所述主机器学习模型和与所述用户设备(100)的用户或与所述用户设备(100)的用户交互中的一个或多个相关的数据来计算所述主机器学习模型的模型更新；使用ε
‑
差分隐私机制对所述计算出的模型更新进行编码；以及发送ε
‑
差分隐私编码后的模型更新。2.根据权利要求1所述的用户设备(100)，其特征在于，所述下载的主机器学习模型是协同过滤器(collaborative filter，简称CF)模型或联合学习协同过滤器模型中的一个或多个。3.根据前述权利要求中任一项所述的用户设备(100)，其特征在于，所述处理器(102)用于根据所述下载的主机器学习模型和与所述用户设备(100)的用户或与所述用户设备(100)的用户交互中的一个或多个相关的所述数据，生成与所述应用程序的使用相关的所述用户推荐。4.根据权利要求3所述的用户设备(100)，其特征在于，所述应用程序是视频服务。5.一种服务器装置(200)，其特征在于，包括：处理器(202)，用于：接收主机器学习模型的多个ε
‑
差分隐私编码后的模型更新；聚合所述接收到的多个ε
‑
差分隐私编码后的更新；解码所述接收到的多个ε
‑
差分隐私编码后的更新的所述聚合，以恢复所述接收到的多个ε
‑
差分隐私编码后的更新的聚合版本；从所述接收到的多个ε
‑
差分隐私编码后的更新的所述聚合版本更新所述主机器学习模型。6.根据权利要求5所述的服务器装置(200)，其特征在于，所述主机器学习模型是协同过滤器(collaborative filter，简称CF)模型或联合学习协同过滤器模型中的一个或多个。7.根据权利要求5和6中任一项所述的服务器装置(200)，其特征在于，所述处理器(202)用于将所述接收到的多个ε
‑
差分隐私编码后的更新聚合为所述接收到的多个ε
‑
差分隐私编码后的更新的和。8.一种方法(300)，其特征在于，包括：下载(302)主机器学习模型到用户设备，所述主机器学习模型用于生成与所述用户设备的应用程序的使用相关的用户推荐；使用所述主机器学习模型和与...

【专利技术属性】
技术研发人员：阿德里安，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：