更新业务模型的方法及装置制造方法及图纸

本说明书实施例基于具有隐私保护需求的多方安全计算场景，提供一种更新业务模型的方法和装置，针对用于处理知识图谱的业务数据在训练过程中，模型损失的连续性无法保障的情形，提出对模型损失增加利普希茨连续性的约束项，该约束项可以基于常规模型损失对知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定。通过这种方式，在损失最小化过程中，使得模型损失趋于利普希茨连续。如此，可以在使用模型优化算法过程中，提高模型参数的收敛性，加快收敛速度。进一步地，该方案可以适用于任意用于处理知识图谱的机器学习模型的训练过程，且不局限于单方训练和联邦学习场景。

【技术实现步骤摘要】
更新业务模型的方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及联邦学习过程中，各个业务方通过计算机更新业务模型的方法和装置。
技术介绍
计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。对于错综复杂的应用场景，知识图谱（KnowledgeGraph）将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示实体关系以及整体架构，达到多学科融合目的的现代理论。知识图谱也可以称为关系网络，可以通过节点表示各个实体，并利用节点之间的连接边表示实体之间的关联关系。在对知识图谱的处理过程中，用于处理知识图谱的业务模型的损失函数的连续性影响着其收敛性。同时，业务模型的连续性与处理其他数据的业务模型的连续性具有不同的属性。尤其对于多个不同结构的知识图谱构成的异构图，基于保护数据隐私的考虑，更加难以确定损失函数的连续性。因此，对于处理知识图谱的业务模型，在训练更新过程中如何确定损失，以提供更有效的更新方式，是值得研究的技术问题。
技术实现思路
本说明书一个或多个实施例描述了一种更新业务模型的方法及装置，用以解决
技术介绍
提到的一个或多个问题。根据第一方面，提供了一种更新业务模型的方法，所述业务模型基于对预先构建的知识图谱的处理，得到相应的业务处理结果，所述知识图谱由多个节点及若干连接边构成，各个节点分别对应各个业务实体，单个连接边用于表示相应业务实体之间的关联关系，所述方法包括：基于所述业务模型对所述知识图谱的处理，确定针对当前训练样本的业务处理结果；根据所述业务处理结果确定所述业务模型针对所述当前训练样本的模型损失，所述模型损失包括第一损失和第二损失，所述第一损失基于所述业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；以最小化所述模型损失为目标，调整模型参数，以更新所述业务模型。根据一个实施例，所述业务模型为图神经网络、RDF2Vec、威斯费勒-莱曼算法中的一项。根据一个实施例，所述图谱参数包括各个节点分别对应的节点表达向量。根据一个实施例，所述模型损失为所述第一损失和所述第二损失的和，或加权和。根据一个实施例，所述第一损失与图谱参数和模型参数相关，所述第二损失通过以下方式确定：确定所述第一损失对所述知识图谱中的图谱参数的第一梯度表达；基于当前图谱参数的取值，将所述第一梯度表达用模型参数表示，得到所述第一损失对当前图谱参数的梯度；根据所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比，确定所述第二损失。根据一个实施例，所述第二损失为，所述第一损失对所述知识图谱中的图谱参数的梯度构成的向量，与预设的利普希茨常数展开为向量的范数，所述范数包括以下中的一项：绝对值范数、欧几里得范数、无穷范数、Frobenius范数。根据一个实施例，预设的利普希茨常数展开为向量的方式为以下中的一项：展开向量的各个元素都为所述利普希茨常数；展开向量的各个元素满足均值为所述利普希茨常数的正态分布，各个元素分别为正态分布下的一次采样结果。根据一个实施例，所述以最小化所述模型损失为目标，调整模型参数可以通过以下任一优化方法实现：牛顿法、梯度下降法、拟牛顿法。根据一个实施例，所述业务模型对所述知识图谱的处理包括：针对知识图谱中的单个节点，将其邻居节点的表达向量进行融合，得到单个融合向量；利用所述单个融合向量更新所述单个节点的节点表达向量。根据第二方面，提供一种更新业务模型的方法，用于联邦学习中，各个业务方分别利用本地业务模型处理本地数据构建的各个知识图谱，确定相应的各个模型损失，并由服务方根据各个模型损失确定全局模型参数，广播至各个业务方，各个业务方根据全局模型参数更新本地模型参数，其中，各个业务方的损失具有一致的确定方式；所述方法适用于所述多个业务方中的第一方，包括：基于第一业务模型对第一知识图谱的处理，确定针对当前训练样本的第一业务处理结果；根据所述第一业务处理结果确定所述第一业务模型针对所述当前训练样本的当前模型损失，所述当前模型损失包括第一损失和第二损失，所述第一损失基于所述业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；以最小化所述当前模型损失为目标，调整本地模型参数，以更新所述第一业务模型。根据一个实施例，所述以最小化所述当前模型损失为目标，调整本地模型参数，以更新所述第一业务模型包括：以最小化所述当前模型损失为目标，调整本地模型参数；将调整后的本地模型参数发送至服务方，以供服务方基于各个业务方发送的本地模型参数，确定全局模型参数，并广播至各个业务方；利用全局模型参数更新所述第一业务模型。根据第三方面，提供一种更新业务模型的装置，所述业务模型基于对预先构建的知识图谱的处理，得到相应的业务处理结果，所述知识图谱由多个节点及若干连接边构成，各个节点分别对应各个业务实体，单个连接边用于表示相应业务实体之间的关联关系，所述装置包括：处理单元，配置为基于所述业务模型对所述知识图谱的处理，确定针对当前训练样本的业务处理结果；损失确定单元，配置为根据所述业务处理结果确定所述业务模型针对所述当前训练样本的模型损失，所述模型损失包括第一损失和第二损失，所述第一损失基于所述业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；更新单元，配置为以最小化所述模型损失为目标，调整模型参数，以更新所述业务模型。根据第四方面，提供一种更新业务模型的装置，设于联邦学习中多个业务方中的第一方，其中，联邦学习过程中，各个业务方分别利用本地业务模型处理本地数据构建的各个知识图谱，确定相应的各个模型损失，并由服务方根据各个模型损失确定全局模型参数，广播至各个业务方，各个业务方根据全局模型参数更新本地模型参数，其中，各个业务方的损失具有一致的确定方式；所述装置包括：处理单元，配置为基于第一业务模型对第一知识图谱的处理，确定针对当前训练样本的第一业务处理结果；损失确定单元，配置为根据所述第一业务处理结果确定所述第一业务模型针对所述当前训练样本的当前模型损失，所述当前模型损失包括第一损失和第二损失，所述第一损失基于所述业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；更新单元，配置为以最小化所述当前模型损失为目标，调整本地模型参数，以更新所述第一业务模型。根据第五方面，提供了一种计算机可读存本文档来自技高网...

【技术保护点】
1.一种更新业务模型的方法，所述业务模型基于对预先构建的知识图谱的处理，得到相应的业务处理结果，所述知识图谱由多个节点及若干连接边构成，各个节点分别对应各个业务实体，单个连接边用于表示相应业务实体之间的关联关系，所述方法包括：/n基于所述业务模型对所述知识图谱的处理，确定针对当前训练样本的业务处理结果；/n根据所述业务处理结果确定所述业务模型针对所述当前训练样本的模型损失，所述模型损失包括第一损失和第二损失，所述第一损失基于所述业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；/n以最小化所述模型损失为目标，调整模型参数，以更新所述业务模型。/n

【技术特征摘要】
1.一种更新业务模型的方法，所述业务模型基于对预先构建的知识图谱的处理，得到相应的业务处理结果，所述知识图谱由多个节点及若干连接边构成，各个节点分别对应各个业务实体，单个连接边用于表示相应业务实体之间的关联关系，所述方法包括：
基于所述业务模型对所述知识图谱的处理，确定针对当前训练样本的业务处理结果；
根据所述业务处理结果确定所述业务模型针对所述当前训练样本的模型损失，所述模型损失包括第一损失和第二损失，所述第一损失基于所述业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；
以最小化所述模型损失为目标，调整模型参数，以更新所述业务模型。


2.根据权利要求1所述的方法，其中，所述业务模型为图神经网络、RDF2Vec、威斯费勒-莱曼算法中的一项。


3.根据权利要求1所述的方法，其中，所述图谱参数包括各个节点分别对应的节点表达向量。


4.根据权利要求1所述的方法，其中，所述模型损失为所述第一损失和所述第二损失的和，或加权和。


5.根据权利要求1所述的方法，其中，所述第一损失与图谱参数和模型参数相关，所述第二损失通过以下方式确定：
确定所述第一损失对所述知识图谱中的图谱参数的第一梯度表达；
基于当前图谱参数的取值，将所述第一梯度表达用模型参数表示，得到所述第一损失对当前图谱参数的梯度；
根据所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比，确定所述第二损失。


6.根据权利要求1或5所述的方法，其中，所述第二损失为，
所述第一损失对所述知识图谱中的图谱参数的梯度构成的向量，与预设的利普希茨常数对应的展开向量的范数，所述范数包括以下中的一项：绝对值范数、欧几里得范数、无穷范数、Frobenius范数。


7.根据权利要求6所述的方法，其中，预设的利普希茨常数对应的展开向量为以下之一：
展开向量的各个元素都为所述利普希茨常数；
展开向量的各个元素满足均值为所述利普希茨常数的正态分布，各个元素分别为正态分布下的一次采样结果。


8.根据权利要求1所述的方法，其中，所述以最小化所述模型损失为目标，调整模型参数可以通过以下任一优化方法实现：牛顿法、梯度下降法、拟牛顿法。


9.根据权利要求1所述的方法，其中，所述业务模型对所述知识图谱的处理包括：
针对知识图谱中的单个节点，将其邻居节点的表达向量进行融合，得到单个融合向量；
利用所述单个融合向量更新所述单个节点的节点表达向量。


10.一种更新业务模型的方法，用于联邦学习中，各个业务方分别利用本地业务模型处理本地数据构建的各个知识图谱，确定相应的各个模型损失，并由服务方根据各个模型损失确定全局模型参数，广播至各个业务方，各个业务方根据全局模型参数更新本地模型参数，其中，各个业务方的损失具有一致的确定方式；所述方法适用于所述多个业务方中的第一方，包括：
基于第一业务模型对第一知识图谱的处理，确定针对当前训练样本的第一业务处理结果；
根据所述第一业务处理结果确定所述第一业务模型针对所述当前训练样本的当前模型损失，所述当前模型损失包括第一损失和第二损失，所述第一损失基于所述第一业务处理结果与所述当前训练样本的样本标签的比较确定，所述第二损失基于所述第一损失对所述知识图谱中的图谱参数的梯度，与预设的利普希茨常数的对比确定，用于衡量所述模型损失的利普希茨连续性；
以最小化所述当前模型损失为目标，调整本地模型参数，以更新所述第一业务模型。


11.根据权利要求10所述的方法，其中，所述以最小化所述当前模型损失为目标，调整本地模型参数，以更新所述第一业务模型包括：
以最小化所述当前模型损失为目标，调整本地模型参数；
将调整后的本地模型参数发送至服务方，以供服务方基于各个业务方发送的本地模型参数，确定全局模型参数，并广播至各个业务方；
利用全局模型参数更新所述第一业务模型。


12.一种更新业务模型的装置，所述业务模型基于对预先构建的知识图谱的处理，得到...

【专利技术属性】
技术研发人员：林懿伦，尹红军，崔锦铭，陈超超，王力，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33