基于隐私保护的去中心化业务模型训练方法及装置制造方法及图纸

本说明书提供基于隐私保护的去中心化业务模型训练方法及装置，其中所述方法包括：确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型，目标用户将本地的梯度与采样的邻居所分享的梯度进行聚合，不仅保护用户隐私数据还可高效训练本地模型。还可高效训练本地模型。还可高效训练本地模型。

【技术实现步骤摘要】
基于隐私保护的去中心化业务模型训练方法及装置


[0001]本说明书涉及计算机
，特别涉及一种基于隐私保护的去中心化业务模型训练方法。本说明书同时涉及一种基于隐私保护的去中心化业务模型训练装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]深度学习技术是目前研究最广泛的计算机技术之一，在推荐系统、图像识别和自然语言处理等领域都有突出的应用。为保障用户数据隐私安全的前提下训练高性能的深度学习模型，目前大多数均可采用无中心化的隐私保护深度学习系统，作为一种优化实现，去中心化的深度学习系统在实践中取得了一定的隐私保护效果和较好的运行效率，其允许数据存放于用户本地，并给予高效的去中心化算法训练模型。但是，恶意的用户或机构可能会利用分享的梯度信息，推断用户隐私数据，进而，不仅导致用户隐私数据的泄漏，也制约了系统的运行效率。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种基于隐私保护的去中心化业务模型训练方法。本说明书同时涉及一种基于隐私保护的去中心化业务模型训练装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种基于隐私保护的去中心化业务模型训练方法，包括：确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
[0005]根据本说明书实施例的第二方面，提供了一种基于隐私保护的去中心化业务模型训练装置，包括：用户集合确定模块，被配置为确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；模型梯度确定模块，被配置为确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；
模型梯度聚合模块，被配置为聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；业务模型更新模块，被配置为基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
[0006]根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。
[0007]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述方法的步骤。
[0008]本说明书提供的基于隐私保护的去中心化业务模型训练方法，确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
[0009]本说明书一实施例通过选择与目标用户关联的邻居用户集合，并接收每个邻居用户发送的邻居模型梯度，再将邻居模型梯度与目标用户的本地待更新业务模型的初始模型梯度进行聚合，确定最终的目标模型梯度，并基于该目标模型梯度更新待更新业务模型，以获得目标用户的目标业务模型，通过该种方式将采样的邻居用户参与目标用户的协同训练，保证了采样数据的有效性，并且目标用户将本地的梯度与采样的邻居所分享的梯度进行聚合，不仅保护了用户隐私数据还可以高效地训练本地模型。
附图说明
[0010]图1是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的场景示意图；图2是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的流程图；图3是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的用户关系图的示意图；图4是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的采样邻居用户的流程图；图5是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的梯度传播流程图；图6是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的处理流程图；图7是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练装置的结构示意图；
图8是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
[0011]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0012]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0013]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0014]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0015]深度学习：(DL，Deep Learning)是机器学习(ML，Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI，Artificial Intelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0016]去中心化：是互联网发展过程中形成的社会关系形态和内容产生形态，是相对于“中心化”而言的新型网络内容生产过程。
[0017]梯本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐私保护的去中心化业务模型训练方法，其特征在于，包括：确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。2.如权利要求1所述的方法，其特征在于，确定所述目标用户的待更新业务模型的初始模型梯度，包括：基于所述目标用户的本地训练数据生成待更新业务模型的基础模型梯度；基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，其中，所述预设梯度编码规则用于对所述基础模型梯度进行加密。3.如权利要求2所述的方法，其特征在于，基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，包括：确定所述用户关联集群的预设梯度裁剪范围；基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度；基于预设梯度编码规则对所述待编码模型梯度进行编码，确定所述目标用户的待更新业务模型的初始模型梯度。4.如权利要求3所述的方法，其特征在于，基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度，包括：在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围内的情况下，将所述基础模型梯度作为待编码模型梯度；或者在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围之外的情况下，基于所述基础模型梯度，在所述预设梯度裁剪范围的端点梯度中确定为待编码模型梯度。5.如权利要求1所述的方法，其特征在于，确定目标用户的用户关联集群，包括：确定与目标用户具有关联关系的初始邻居用户，其中，所述关联关系包括所述目标用户与所述初始邻居用户之间的通信关联关系和/或位置关联关系；基于所述通信关联关系和/或位置关联关系构建所述目标用户与所述初始邻居用户之间的用户关系图；基于所述用户关系图确定目标用户的用户关联集群。6.如权利要求5所述的方法，其特征在于，在所述用户关联集群中确定所述目标用户对应的邻居用户集合，包括：基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重，其中，所述采样权重基于初始邻居用户对应的邻居业务模型中的损失函数值以及模型训练次数生
成；根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合。7.如权利要求6所述的方法，其特征在于，基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重，包括：基于所述用户关联集群中的用户关系图，确定所述目标用户与所述初始邻居用户之间的初始通信路径；基于所述初...

【专利技术属性】
技术研发人员：郑小林，陈超超，王钟毓，钱嘉曙，邹子煜，鲍力成，
申请(专利权)人：杭州金智塔科技有限公司，
类型：发明
国别省市：