基于纵向联邦学习的异步优化方法、装置及存储介质制造方法及图纸

本申请的实施例公开了一种基于纵向联邦学习的异步优化方法、装置及存储介质，方法包括：参与方对训练样本进行编码，得到编码输出向量并存储至可信数据库，从可信数据库中请求训练期望值，进而基于训练期望值进行训练，可信第三方从可信数据库中读取训练数据，完成聚合模型的训练，得到输入更新向量，存储至可信数据作为编码模型的训练期望值。本申请实施例的技术方案，通过设立存储中间数据的可信数据库，避免参与方之间发生等待现象，同时还有效缓解了参与方和可信第三方之间的等待。缓解了参与方和可信第三方之间的等待。缓解了参与方和可信第三方之间的等待。

【技术实现步骤摘要】
基于纵向联邦学习的异步优化方法、装置及存储介质


[0001]本申请涉及一种计算机
，提供一种基于纵向联邦学习的异步优化方法、基于纵向联邦学习的异步优化装置、电子设备及计算机可读存储介质。

技术介绍

[0002]纵向联邦学习在训练时，各个参与方需要在本地完成一部分计算，之后再由可信第三方对输出的数据聚合，由于每个参与方的计算力和数据规模等方面都存在差异，因此在训练时会存在参与方之间的等待现象，降低整个系统的效率，且纵向联邦学习在训练时，参与方中的编码模型和可信第三方的聚合模型是相互依赖的，可信第三方接收到参与方的输出才可以更新聚合模型参数，参与方接收到可信第三方传回的训练偏差才可以更新自身编码模型，因此参与方与可信第三方之间也会造成等待现象。

技术实现思路

[0003]本申请的目的在于提供一种基于纵向联邦学习的异步优化方法、基于纵向联邦学习的异步优化装置、电子设备及计算机可读存储介质，通过设立存储中间数据的可信数据库，避免参与方之间发生等待现象，同时还有效缓解了参与方和可信第三方之间的等待。
[0004]本申请提出一种基于纵向联邦学习的异步优化方法，应用于可信第三方，所述方法包括：从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为聚合模型的训练数据；根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量；将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方所需的训练期望值。
[0005]进一步地，在所述从可信数据库中请求各参与方对训练样本的编码输出向量之前，所述方法还包括：设立所述可信数据库；通过所述可信数据库存储各参与方发送的对训练样本的编码输出向量。
[0006]进一步地，所述根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量，包括：将所述编码输出向量拼接得到所述聚合模型的输入向量；根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量。
[0007]进一步地，所述根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量，包括：将所述输入向量输入到所述聚合模型，以得到预测标签；根据所述预测标签和所述训练样本对应的样本标签计算所述聚合模型的损失函数；根据所述损失函数对所述聚合模型的模型参数进行更新，并计算得到所述聚合模型的输入更新向量。
[0008]进一步地，所述计算得到所述聚合模型的输入更新向量，包括：根据所述损失函数和所述聚合模型的模型参数计算得到输入偏差值；根据所述编码输出向量和所述输入偏差值计算得到所述输入更新向量。
[0009]另一方面，本申请还提出一种基于纵向联邦学习的异步优化方法，应用于参与方，其特征在于，包括：基于编码模型对训练样本进行编码，得到编码输出向量；将所述编码输
出向量发送到可信数据库中进行存储，以将所述编码输出向量作为可信第三方的聚合模型的训练数据；从所述可信数据库中请求所述训练样本的训练期望值；根据所述训练期望值对所述编码模型进行训练。
[0010]进一步地，所述根据所述训练期望值对所述编码模型进行训练，包括：根据所述编码输出向量和所述训练期望值的距离计算所述编码模型的损失函数；根据所述损失函数对所述编码模型的模型参数进行更新，以训练所述编码模型。
[0011]本申请还提出一种基于纵向联邦学习的异步优化装置，所述装置部署于可信第三方，包括：向量请求模块，用于从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为训练数据；模型训练模块，用于根据所述训练数据进行聚合模型的训练，得到所述聚合模型的输入更新向量；数据存储模块，用于将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方所需的训练期望值。
[0012]本申请还提出一种基于纵向联邦学习的异步优化装置，所述装置部署于参与方，包括：编码模块，用于基于编码模型对训练样本进行编码，得到编码输出向量；发送模块，用于将所述编码输出向量发送到可信数据库中进行存储，以将所请求的编码输出向量作为可信第三方的聚合模型的训练数据；请求模块，用于从所述可信数据库中请求所述训练样本的训练期望值；训练模块，用于根据所述训练期望值对所述编码模型进行训练。
[0013]本申请还提出一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的方法。
[0014]本申请还提出一种计算机可读存储介质，其上存储有计算机可读指令，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的方法。
[0015]与现有技术相比，本申请具有如下有益效果：
[0016]本申请提供的技术方案中，将参与方的编码模型和可信第三方的聚合模型分开独立训练，参与方对训练样本进行编码，得到编码输出向量并存储至可信数据库，从可信数据库中请求训练期望值，进而基于训练期望值和编码输出向量进行训练，可信第三方从可信数据库中读取训练数据，完成聚合模型的更新，同时计算输入更新向量，存储至可信数据作为编码模型的训练期望值；通过可信数据库，打断编码模型和聚合模型参数更新过程中的直接依赖，使参与方的编码模型与第三方的聚合模型在训练时不再直接关联，参与方等待可信第三方的时间从原先的聚合模型计算时间变为数据库响应的时间，有效降低参与方等待第三方的时间；且参与方的编码模型更新不再依赖聚合模型传回的损失偏差，而是通过聚合模型的输入更新向量来实现独立训练，从而真正同时实现编码模型
‑
编码模型和编码模型
‑
聚合模型之间的异步训练。
附图说明
[0017]图1示出了本申请涉及的一种实施环境的示意图；
[0018]图2示出了本申请一示例性实施例示出的一种基于纵向联邦学习的异步优化方法的流程图；
[0019]图3示出了图2所示实施例中的在步骤S110之前在一示例性实施例中的流程图；
[0020]图4示出了图2所示实施例中的步骤S120在一示例性实施例中的流程图；
[0021]图5示出了图4所示实施例中的步骤S122在一示例性实施例中的流程图；
[0022]图6示出了图2所示实施例中的步骤S530在一示例性实施例中的流程图；
[0023]图7示出了本申请另一示例性实施例示出的一种基于纵向联邦学习的异步优化方法的流程图；
[0024]图8示出了图7所示实施例中的步骤S740在一示例性实施例中的流程图；
[0025]图9示出了本申请涉及的另一种实施环境的示意图；
[0026]图10示出了本申请一示例性实施例示出的另一种基于纵向联邦学习的异步优化方法的流程图；
[0027]图11示出了本申请一示例性实施例示出的一种部署在可信第三方的基于纵向联邦学习的异步优化装置的结构示意图；
[0028]图12示出了本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纵向联邦学习的异步优化方法，其特征在于，应用于可信第三方，所述方法包括：从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为聚合模型的训练数据；根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量；将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方所需的训练期望值。2.根据权利要求1所述的方法，其特征在于，所述从可信数据库中请求各参与方对训练样本的编码输出向量之前，所述方法还包括：设立所述可信数据库；通过所述可信数据库存储各参与方发送的对训练样本的编码输出向量。3.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量，包括：将所述编码输出向量拼接得到所述聚合模型的输入向量；根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量。4.根据权利要求3所述的方法，其特征在于，所述根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量，包括：将所述输入向量输入到所述聚合模型，以得到预测标签；根据所述预测标签和所述训练样本对应的样本标签计算所述聚合模型的损失函数；根据所述损失函数对所述聚合模型的模型参数进行更新，并计算得到所述聚合模型的输入更新向量。5.根据权利要求4所述的方法，其特征在于，所述计算得到所述聚合模型的输入更新向量，包括：根据所述损失函数和所述聚合模型的模型参数计算得到输入偏差值；根据所述编码输出向量和所述输入偏差值计算得到所述输入更新向量。6.一种基于纵向联邦学习的异步优化方法，其特征在于，应用于参与方，其特征在于，包括：基于编码模型对训练样...

【专利技术属性】
技术研发人员：李鑫超，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：