本说明书实施例提供一种基于隐私保护联合训练自然语言处理NLP模型的方法，其中NLP模型包括位于第一方的编码网络和位于第二方的处理网络。根据该方法，第一方获取本地的目标训练语句后，将其输入编码网络，基于所述编码网络的编码输出，形成句子表征向量。然后，在句子表征向量上添加符合差分隐私的目标噪声，得到目标加噪表征。将该目标加噪表征发送至第二方，用于处理网络的训练。用于处理网络的训练。用于处理网络的训练。
【技术实现步骤摘要】
基于隐私保护联合训练自然语言处理模型的方法及装置
[0001]本说明书一个或多个实施例涉及机器学习领域，尤其涉及一种基于隐私保护联合训练自然语言处理模型的方法及装置。
技术介绍
[0002]机器学习的迅猛发展使得各种机器学习的模型在各种各样的业务场景得到应用。自然语言处理NLP（natural language processing）是一种常见的机器学习任务，广泛应用于多种业务场景中，例如，用户意图识别，智能客服问答，机器翻译，文本分析分类，等等。针对NLP任务，已经提出了多种神经网络模型和训练方法，来增强其语义理解能力。
[0003]可以理解，对于机器学习模型来说，模型预测性能极大地依赖于训练样本的丰富程度和可用程度，为了得到性能更加优异更符合实际业务场景的预测模型，往往需要大量贴合该业务场景的训练样本。针对具体NLP任务的NLP模型更是如此。为了具有丰富的训练数据，提升NLP模型的性能，在一些场景中，提出利用多个数据方的训练数据，共同训练NLP模型。然而，各个数据方本地的训练数据往往包含本地业务对象的隐私，特别是用户隐私，这为多方的联合训练带来安全和隐私方面的挑战。例如，智能问答作为一项具体的下游NLP任务，其训练数据需要大量的问题
‑
答案对。在实际业务场景中，问题常常由用户端提出。然而，用户问题中往往包含用户个人的隐私信息，如果直接将用户端的用户问题发往例如服务端的另一方，可能存在隐私泄露的风险。
[0004]因此，希望能有改进的方案，在多方共同训练自然语言处理NLP模型的场景中，保护数据安全和数据隐私。
技术实现思路
[0005]本说明书一个或多个实施例描述了一种联合训练自然语言处理NLP模型的方法及装置，能够在联合训练过程中，保护训练样本提供方的数据隐私安全。
[0006]根据第一方面，提供一种基于隐私保护联合训练自然语言处理NLP模型的方法，所述NLP模型包括位于第一方的编码网络和位于第二方的处理网络，所述方法由第一方执行，包括：获取本地的目标训练语句；将所述目标训练语句输入所述编码网络，基于所述编码网络的编码输出，形成句子表征向量；在所述句子表征向量上添加符合差分隐私的目标噪声，得到目标加噪表征；所述目标加噪表征被发送至所述第二方，用于所述处理网络的训练。
[0007]根据一种实施方式，获取本地的目标训练语句，具体包括：根据预设的采样概率p，从本地样本总集中进行采样，得到用于当前迭代轮次的样本子集；从所述样本子集中读取所述目标训练语句。
[0008]在一种实施方式中，基于所述编码网络的编码输出，形成句子表征向量，具体包
括：获取所述编码网络针对所述目标训练语句中各个字符进行编码的字符表征向量；针对所述各个字符的字符表征向量进行基于预设裁剪阈值的裁剪操作，基于裁剪后的字符表征向量形成所述句子表征向量。
[0009]进一步的，在上述实施方式的一个实施例中，裁剪操作可以包括：若所述字符表征向量的当前范数值超过所述裁剪阈值，确定所述裁剪阈值与所述当前范数值的比例，将所述字符表征向量按照所述比例进行裁剪。
[0010]在上述实施方式的一个实施例中，形成句子表征向量具体可以包括：将所述各个字符的裁剪后的字符表征向量拼接，形成所述句子表征向量。
[0011]根据一种实施方式，在添加目标噪声之前，上述方法还包括：根据预设的隐私预算，确定针对所述目标训练语句的噪声功率；在根据所述噪声功率确定的噪声分布中，采样得到所述目标噪声。
[0012]在一个实施例中，上述确定针对所述目标训练语句的噪声功率具体包括：根据所述裁剪阈值，确定所述目标训练语句对应的敏感度；根据预设的单句隐私预算和所述敏感度，确定针对所述目标训练语句的噪声功率。
[0013]在另一实施例中，上述确定针对所述目标训练语句的噪声功率具体包括：根据预设的用于总迭代轮数T的总隐私预算，确定当前迭代轮次t的目标预算信息；根据所述目标预算信息，确定针对所述目标训练语句的噪声功率。
[0014]在以上实施例的一个具体示例中，目标训练语句是从用于当前迭代轮次t的样本子集中依次读取得到的，所述样本子集是根据预设的采样概率p，从本地样本总集中采样得到的；在这样的情况下，确定针对所述目标训练语句的噪声功率具体包括：将所述总隐私预算转换为高斯差分隐私空间中的总隐私参数值；在所述高斯差分隐私空间中，根据所述总隐私参数值、所述总迭代轮数T和所述采样概率p，确定当前迭代轮次t的目标隐私参数值；根据所述目标隐私参数值，所述裁剪阈值，以及所述样本子集中各个训练句子的字符数目，确定所述噪声功率。
[0015]更进一步的，当前迭代轮次t的目标隐私参数值可以如下确定：基于在所述高斯差分隐私空间中计算所述总隐私参数值的第一关系式反推出所述目标隐私参数值，所述第一关系式示出，所述总隐私参数值正比于所述采样概率p，所述总迭代轮数T的平方根，并依赖于以自然指数e为底数，以所述目标隐私参数值为指数的幂运算结果。
[0016]在不同实施方式中，前述编码网络可以采用以下神经网络之一实现：长短期记忆网络LSTM，双向LSTM，transformer网络。
[0017]根据第二方面，提供一种基于隐私保护联合训练自然语言处理NLP模型的装置，所述NLP模型包括位于第一方的编码网络和位于第二方的处理网络，所述装置部署在第一方，包括：语句获取单元，配置为获取本地的目标训练语句；表征形成单元，配置为将所述目标训练语句输入所述编码网络，基于所述编码网络的编码输出，形成句子表征向量；加噪单元，配置为在所述句子表征向量上添加符合差分隐私的目标噪声，得到目标加噪表征；所述目标加噪表征被发送至所述第二方，用于所述处理网络的训练。
[0018]根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当该计
算机程序在计算机中执行时，令计算机执行上述第一方面提供的方法。
[0019]根据第四方面，提供了一种计算设备，包括存储器和处理器，存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述第一方面提供的方法。
[0020]在本说明书实施例提供的联合训练NLP模型的方案中，利用本地差分隐私技术，以训练语句为粒度，进行隐私保护。进一步的，在一些实施例中，通过考虑采样带来的隐私放大，以及训练过程中多轮迭代的隐私成本叠加，更好地设计为进行隐私保护所添加的噪声，使得整个训练过程的隐私成本可控。
附图说明
[0021]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0022]图1示出根据一个实施例的联合训练NLP模型的实施架构示意图；图2示出根据一个实施例进行隐私保护处理的示意图；图3示出根据一个实施例的基于隐私保护联合训练NLP模型的方法流程示意图；图4示出根据一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于隐私保护联合训练自然语言处理NLP模型的方法，所述NLP模型包括位于第一方的编码网络和位于第二方的处理网络，所述方法由第一方执行，包括：获取本地的目标训练语句；将所述目标训练语句输入所述编码网络，基于所述编码网络的编码输出，形成句子表征向量；在所述句子表征向量上添加符合差分隐私的目标噪声，得到目标加噪表征；所述目标加噪表征被发送至所述第二方，用于所述处理网络的训练。2.根据权利要求1所述的方法，其中，获取本地的目标训练语句，包括：根据预设的采样概率p，从本地样本总集中进行采样，得到用于当前迭代轮次的样本子集；从所述样本子集中读取所述目标训练语句。3.根据权利要求1所述的方法，其中，基于所述编码网络的编码输出，形成句子表征向量，包括：获取所述编码网络针对所述目标训练语句中各个字符进行编码的字符表征向量；针对所述各个字符的字符表征向量进行基于预设裁剪阈值的裁剪操作，基于裁剪后的字符表征向量形成所述句子表征向量。4.根据权利要求3所述的方法，其中，所述基于预设裁剪阈值的裁剪操作包括：若所述字符表征向量的当前范数值超过所述裁剪阈值，确定所述裁剪阈值与所述当前范数值的比例，将所述字符表征向量按照所述比例进行裁剪。5.根据权利要求3所述的方法，其中，基于裁剪后的字符表征向量形成所述句子表征向量，包括：将所述各个字符的裁剪后的字符表征向量拼接，形成所述句子表征向量。6.根据权利要求3所述的方法，其中，在所述句子表征向量上添加符合差分隐私的目标噪声之前，还包括：根据预设的隐私预算，确定针对所述目标训练语句的噪声功率；在根据所述噪声功率确定的噪声分布中，采样得到所述目标噪声。7.根据权利要求6所述的方法，其中，根据预设的隐私预算，确定针对所述目标训练语句的噪声功率，包括：根据所述裁剪阈值，确定所述目标训练语句对应的敏感度；根据预设的单句隐私预算和所述敏感度，确定针对所述目标训练语句的噪声功率。8.根据权利要求6所述的方法，其中，根据预设的隐私预算，确定针对所述目标训练语句的噪声功率，包括：根据预设的用于总迭代轮数T的总隐私预...
【专利技术属性】
技术研发人员：杜健，莫冯然，王磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。