联合更新模型的方法、装置制造方法及图纸

技术编号：42420812 阅读：22 留言：0更新日期：2024-08-16 16:36

本说明书实施例提供一种联合更新模型的技术方案，由训练成员在表征层和映射层基于信息瓶颈理论进行信息过滤，对于表征层处理样本特征数据得到的第一表征，经由构造数据分布进行数据采样得到第二表征，采样得到的第二表征用于经由映射层处理得到模型输出，并由此确定模型损失。同时，模型损失既包括模型输出与样本标签数据对比确定的第一损失，又包括第二表征满足的数据分布与预定的第二分布之间的对比确定的第二损失，从而在最小化模型损失过程中，可以同时最大化第二表征与输出之间的互信息，并最小化第二表征与输入之间的互信息。如此，可以提高数据隐私保护（或数据价值保护）的有效性。

全部详细技术资料下载

【技术实现步骤摘要】

本说明书一个或多个实施例涉及联合计算中的数据安全，尤其涉及联合更新模型的方法、装置。

技术介绍

1、随着深度学习的飞速发展，人工智能技术正在各个行业中展示其优势。然而大数据驱动的人工智能在现实情况中存在很多困难。例如数据孤岛现象严重，利用率低且成本一直居高不下。一些行业的单一训练成员还可能存在数据有限或数据质量较差的问题。另外，由于行业竞争，隐私安全和复杂的管理程序，即使同一公司的不同部门之间的数据集成也可能面临着巨大的阻力，数据整合成本较高。

2、联邦学习正是在这样的背景下提出的。联邦学习是一种基于分布式机器学习的框架，主要思想是基于分布在多个设备上的数据集构建机器学习模型，同时防止数据泄露。在这种框架下，客户端（例如移动设备）在服务器的协调下协作地训练模型，同时训练数据可保留在客户端本地，无需像传统机器学习方法将数据上传至数据中心。在联邦学习过程中，如何保护训练成员数据隐私及数据价值，是较为重要的技术问题。

技术实现思路

1、本说明书一个或多个实施例描述了一种联合更新模型的...

【技术保护点】

1.一种联合更新模型的方法，所述模型包括表征层和映射层，所述方法适用于横向联邦学习中的单个训练成员，所述方法包括多个同步周期，在单个同步周期：

2.如权利要求1所述的方法，其中，所述第一分布为以下高斯分布：以所述第一向量中的单个元素为均值，所述第二向量中的单个元素映射为非负数据集的映射值为方差。

3. 如权利要求2所述的方法，其中，所述方差为所述第二向量中的单个元素的平方，或者e为底数所述第二向量中的单个元素为指数的数与1 的和的自然对数值。

4.如权利要求1所述的方法，其中，所述第二分布为均值是0、方差是1的标准正态分布。