一种基于横向联邦学习的文本预测方法及装置制造方法及图纸

本公开提供一种基于横向联邦学习的文本预测方法及装置，应用于参与方，包括：获取待预测文本；将待预测文本输入本地联邦模型，得到本地联邦模型输出的联邦预测数据，将联邦预测数据输入下游任务的私有模型，得到私有模型输出的预测结果；其中本地联邦模型与公私钥服务器、汇总服务器形成横向联邦学习网络；本地联邦模型是基于横向联邦学习网络的共享参数数据及共享参数数据训练标签训练得到；私有模型是基于本地私有化文本训练数据、文本训练数据标签训练得到的。各参与方通过与公私钥服务器及汇总服务器形成横向联邦学习网络，将联邦学习的本地联邦学习模型用于文本预测的下游任务，在有效保护本地私有数据的同时提高了数据网络传输的安全性。网络传输的安全性。网络传输的安全性。

【技术实现步骤摘要】
一种基于横向联邦学习的文本预测方法及装置


[0001]本公开涉及自然语言处理
，尤其涉及一种基于横向联邦学习的文本预测方法及装置。

技术介绍

[0002]联邦学习起源于虚拟键盘的语言模型分布式训练的方案，采用逻辑回归进行下一词的排序和语言模型进行下一词的预测。在一些场景中，由于文本较长，要想达到较好的效果，需要较大的模型，较多的样本，然而各参与方并不总是有共享彼此数据的意愿。联邦学习可以让各参与方数据不出本地，只传参数的方法联合建模。
[0003]现有技术中，基于联邦蒸馏的方法FedED或基于联邦迁移学习的方法FedNER表明各方联合建模相比单方建模具有显著的效果优势。但是现有的横向联邦学习网络只存在一个中心服务器，中心服务器先解密再汇总梯度的过程中会存在数据损失而且影响数据传输的安全性。

技术实现思路

[0004]本公开提供一种基于横向联邦学习的文本预测方法及装置，用以解决现有技术中联邦学习的安全性问题。
[0005]本公开提供一种基于横向联邦学习的文本预测方法，应用于参与方，所述预测方法包括：
[0006]获取待预测文本；
[0007]将所述待预测文本输入本地联邦模型，得到所述本地联邦模型输出的联邦预测数据，将所述联邦预测数据输入下游任务的私有模型，得到所述私有模型输出的预测结果；
[0008]其中，所述本地联邦模型与公私钥服务器、汇总服务器形成横向联邦学习网络；
[0009]所述本地联邦模型是基于横向联邦学习网络的共享参数数据及共享参数数据训练标签训练得到的；
[0010]所述私有模型是基于本地私有化文本训练数据、文本训练数据标签训练得到的。
[0011]根据本公开提供的一种基于横向联邦学习的文本预测方法，所述横向联邦学习网络包括多个参与方；
[0012]对每个参与方的本地联邦模型的训练过程，具体包括：
[0013]基于本地私有化文本训练数据及文本训练数据标签进行本地联邦模型训练，得到共享参数梯度；
[0014]接收公私钥服务器生成的公钥；
[0015]根据所述公钥将所述共享参数梯度进行同态加密后发送至汇总服务器；
[0016]接收所述公私钥服务器发送的更新共享参数；其中，所述更新共享参数是通过所述汇总服务器接收的各参与方发送的所述共享参数梯度，并进行梯度均值处理，将处理后均值数据发送至所述公私钥服务器；所述公私钥服务器将接收的所述均值数据通过私钥解
密得到的；
[0017]将所述更新共享参数更新至所述本地联邦模型中，完成一轮迭代；
[0018]循环进行至少一轮迭代，直至所述本地联邦模型的损失函数收敛。
[0019]根据本公开提供的一种基于横向联邦学习的文本预测方法，所述本地联邦模型包括嵌入层、至少一个编码层；所述将所述待预测文本输入本地联邦模型，得到所述本地联邦模型输出的联邦预测数据，具体包括：
[0020]将待预测文本输入所述嵌入层，经过对文本做初始映射得到嵌入层输出的降维特征向量；
[0021]将所述降维特征向量依次输入至少一个所述编码层，经过进行高阶特征提取得到编码层输出的联邦预测数据。
[0022]根据本公开提供的一种基于横向联邦学习的文本预测方法，所述下游任务的任务类型包括：文本分类、序列标注、文本生成及句对分类，所述私有模型根据下游任务的任务类型处理得到相应的预测结果。
[0023]本公开还提供一种基于横向联邦学习的文本预测装置，包括：
[0024]获取单元，用于获取待预测文本；
[0025]文本预测单元，用于将所述待预测文本输入本地联邦模型，得到所述本地联邦模型输出的联邦预测数据，将所述联邦预测数据输入下游任务的私有模型，得到所述私有模型输出的预测结果；
[0026]其中，所述本地联邦模型与公私钥服务器、汇总服务器形成横向联邦学习网络；
[0027]所述本地联邦模型是基于横向联邦学习网络的共享参数数据及共享参数数据训练标签训练得到的；所述私有模型是基于本地私有化文本训练数据、文本训练数据标签训练得到的。
[0028]根据本公开提供的一种基于横向联邦学习的文本预测装置，所述文本预测单元包括模型训练单元，所述模型训练单元用于对本地联邦模型进行模型训练。
[0029]根据本公开提供的一种基于横向联邦学习的文本预测装置，所述横向联邦学习网络包括多个参与方；对每个参与方的所述模型训练单元包括：
[0030]共享参数梯度获取子单元，用于基于本地私有化文本训练数据及文本训练数据标签进行本地联邦模型训练，得到共享参数梯度；
[0031]公钥接收子单元，用于接收公私钥服务器生成的公钥；
[0032]梯度加密发送子单元，用于根据所述公钥将所述共享参数梯度进行同态加密后发送至汇总服务器；
[0033]更新共享参数接收子单元，用于接收所述公私钥服务器发送的更新共享参数；其中，所述更新共享参数是通过所述汇总服务器接收的各参与方发送的所述共享参数梯度，并进行梯度均值处理，将处理后均值数据发送至所述公私钥服务器；所述公私钥服务器将接收的所述均值数据通过私钥解密得到的；
[0034]模型更新子单元，用于将所述更新共享参数更新至所述本地联邦模型中，完成一轮迭代；
[0035]循环迭代子单元，用于循环进行至少一轮迭代，直至所述本地联邦模型的损失函数收敛。
[0036]根据本公开提供的一种基于横向联邦学习的文本预测装置，所述本地联邦模型包括嵌入层、至少一个编码层；所述文本预测单元包括映射子单元及特征提取子单元；
[0037]所述映射子单元，用于将待预测文本输入所述嵌入层，经过对文本做初始映射得到嵌入层输出的降维特征向量；
[0038]所述特征提取子单元，用于将所述降维特征向量依次输入至少一个所述编码层，经过进行高阶特征提取得到编码层输出的联邦预测数据。
[0039]本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于横向联邦学习的文本预测方法的步骤。
[0040]本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于横向联邦学习的文本预测方法的步骤。
[0041]本公开提供的基于横向联邦学习的文本预测方法及装置，各参与方通过与公私钥服务器及汇总服务器形成横向联邦学习网络，将联邦学习的本地联邦学习模型用于文本预测的下游任务，在有效保护本地私有数据的同时提高了数据网络传输的安全性。
附图说明
[0042]为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于横向联邦学习的文本预测方法，其特征在于，应用于参与方，所述预测方法包括：获取待预测文本；将所述待预测文本输入本地联邦模型，得到所述本地联邦模型输出的联邦预测数据，将所述联邦预测数据输入下游任务的私有模型，得到所述私有模型输出的预测结果；其中，所述本地联邦模型与公私钥服务器、汇总服务器形成横向联邦学习网络；所述本地联邦模型是基于横向联邦学习网络的共享参数数据及共享参数数据训练标签训练得到的；所述私有模型是基于本地私有化文本训练数据、文本训练数据标签训练得到的。2.根据权利要求1所述的基于横向联邦学习的文本预测方法，其特征在于，所述横向联邦学习网络包括多个参与方；对每个参与方的本地联邦模型的训练过程，具体包括：基于本地私有化文本训练数据及文本训练数据标签进行本地联邦模型训练，得到共享参数梯度；接收公私钥服务器生成的公钥；根据所述公钥将所述共享参数梯度进行同态加密后发送至汇总服务器；接收所述公私钥服务器发送的更新共享参数；其中，所述更新共享参数是通过所述汇总服务器接收的各参与方发送的所述共享参数梯度，并进行梯度均值处理，将处理后均值数据发送至所述公私钥服务器；所述公私钥服务器将接收的所述均值数据通过私钥解密得到的；将所述更新共享参数更新至所述本地联邦模型中，完成一轮迭代；循环进行至少一轮迭代，直至所述本地联邦模型的损失函数收敛。3.根据权利要求1所述的基于横向联邦学习的文本预测方法，其特征在于，所述本地联邦模型包括嵌入层、至少一个编码层；所述将所述待预测文本输入本地联邦模型，得到所述本地联邦模型输出的联邦预测数据，具体包括：将待预测文本输入所述嵌入层，经过对文本做初始映射得到嵌入层输出的降维特征向量；将所述降维特征向量依次输入至少一个所述编码层，经过进行高阶特征提取得到编码层输出的联邦预测数据。4.根据权利要求1所述的基于横向联邦学习的文本预测方法，其特征在于，所述下游任务的任务类型包括：文本分类、序列标注、文本生成及句对分类，所述私有模型根据下游任务的任务类型处理得到相应的预测结果。5.一种基于横向联邦学习的文本预测装置，其特征在于，应用于参与方，包括：获取单元，用于获取待预测文本；文本预测单元，用于将所述待预测文本输入本地联邦模型，得到所述本地联邦模型输出的联邦预测数据，将所述联邦预测数据输入下游任务的私有模型，得到所述...

【专利技术属性】
技术研发人员：刘鸿儒，孙中伟，张钧皓，刘永平，姬艳鑫，曹雨晨，宋红花，赵国梁，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：