基于隐私保护更新业务模型的方法、装置及系统制造方法及图纸

本说明书实施例提供一种基于隐私保护更新业务模型的方法，针对联邦学习过程中，各个业务方提供不同结构的图数据（异构图），无法统一建模的问题，提出一种模型参数局部相一致的技术构思，通过模型基的设置，一个模型基包括若干基准参数，各个业务方利用模型基的线性组合构建本地模型参数向量或矩阵，从而构建本地业务模型。在联邦学习过程中，业务方上传本地梯度、服务方更新全局梯度、业务方更新本地模型参数，均以模型基为单元。这种局部更新模型参数的技术方案，有效打破异构图下的联邦学习壁垒，提供全新的联邦学习思路，并可推广至各种业务模型。

【技术实现步骤摘要】
基于隐私保护更新业务模型的方法、装置及系统
本说明书一个或多个实施例涉及计算机
，尤其涉及基于隐私保护更新业务模型的方法、装置及系统。
技术介绍
计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定模型结构（或约定模型）后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。图数据是一种描述各种实体之间的关联关系的数据，在联邦学习过程中，各个业务方通常可能持有不同结构的图数据。例如，第一方银行持有用户、借贷业务、收入三种实体对应的节点及其关联关系的图数据，第二方本地生活服务平台持有用户、借贷业务、商品或服务三种实体对应的节点及其关联关系本文档来自技高网...

【技术保护点】
1.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法包括：/n所述多个业务方协商确定多个模型基，其中单个模型基为包含若干基准参数的参数单元；/n各个业务方分别基于各个模型基在预定方式下的组合，构建本地业务模型；/n各个业务方分别利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方；/n服务方响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；/n各个业务方根据...

【技术特征摘要】
1.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法包括：
所述多个业务方协商确定多个模型基，其中单个模型基为包含若干基准参数的参数单元；
各个业务方分别基于各个模型基在预定方式下的组合，构建本地业务模型；
各个业务方分别利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方；
服务方响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；
各个业务方根据融合后的全局梯度数据更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。


2.根据权利要求1所述的方法，其中，所述梯度更新条件包括以下中的至少一项：
所接收到的模型基的梯度数据条数达到预定数量；
更新周期到达。


3.根据权利要求1所述的方法，其中，服务方通过以下中的一项融合接收到的单个模型基的各条梯度数据：求均值、加权平均、通过预先训练的长短期记忆模型处理按照时间顺序排列的各条梯度数据。


4.根据权利要求1所述的方法，其中，所述业务模型为图神经网络，各个业务方分别持有依赖于本地数据构建的各个图数据，各个图数据为异构图。


5.根据权利要求1所述的方法，其中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。


6.根据权利要求1所述的方法，其中，所述预定方式为线性组合方式。


7.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法由所述多个业务方中的第一方执行，包括：
利用基于若干模型基在预定方式下的组合而构建的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并发送至服务方，以供服务方按照单个模型基对应的梯度更新条件，利用所接收到的多条梯度数据更新该单个模型基的全局梯度数据，其中，所述若干模型基由所述多个业务方协商确定，单个模型基为包含若干基准参数的参数单元；
响应于从服务方接收到第一模型基的全局梯度数据，根据所述第一模型基的全局梯度数据更新所述第一模型基的本地梯度数据；
根据更新后的本地梯度数据，更新所述第一模型基包含的各个基准参数。


8.根据权利要求7所述的方法，其中，所述根据所述全局梯度数据更新所述第一模型基的本地梯度数据包括，利用所述全局梯度数据替换所述第一模型基的本地梯度数据。


9.根据权利要求7所述的方法，其中，所述根据所述全局梯度数据更新所述第一模型基的本地梯度数据包括：
对所述全局梯度数据和所述第一模型基的本地梯度数据加权平均，得到加权梯度数据；
根据所述加权梯度数据更新所述第一模型基对应的若干基准参数的本地梯度数据。


10.根据权利要求7所述的方法，其中，所述预定方式为线性组合方式。


11.根据权利要求7或10所述的方法，其中，所述业务模型为多层神经网络，单层神经网络的模型参数为所述若干模型基的预定方式组合。


12.根据权利要求11所述的方法，其中，所述利用基于若干模型基的线性组合而确定模型参数的本地业务模型，处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据包括：
利用业务模型针对当前训练样本的输出结果与样本标签的对比，确定所述业务模型的损失；
以最小化所述损失为目标，从最后一层神经网络逐层确定单层神经网络对应的各个模型基分别对应的各条梯度数据。


13.根据权利要求7所述的方法，其中，所述业务模型为图神经网络，各个业务方分别持有本地数据构建的各个图数据，各个图数据为异构图。


14.根据权利要求7所述的方法，其中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。


15.一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法由服务方执行，包括：
从各个业务方获取第一模型基...

【专利技术属性】
技术研发人员：林懿伦，尹红军，崔锦铭，陈超超，王力，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33