一种基于词替换的文本生成方法、系统及存储介质技术方案

本发明专利技术提供一种基于词替换的文本生成方法、系统及存储介质，包括：获取数据集中的原始样本，确定原始样本的因果特征；所述原始样本包括多个单词组成的文本和分类标签，将所述原始样本中因果特征的位置通过占位符进行替换，得到去因果特征文本，将所述去因果特征文本和分类标签输入至预设的填空式文本生成模型，对因果特征进行重构；基于重构的因果特征建立反事实样本生成模型，设置目标函数对所述反事实样本生成模型进行训练，通过所述反事实样本生成模型进行文本生成。本发明专利技术解决了现有反事实样本生成效率低、质量差的缺陷，以实现不依赖人力的情况下生成高质量、高多样性的反事实样本，提高自然语言理解模型的鲁棒性。提高自然语言理解模型的鲁棒性。提高自然语言理解模型的鲁棒性。

【技术实现步骤摘要】
一种基于词替换的文本生成方法、系统及存储介质


[0001]本专利技术涉及自然语言处理
，尤其涉及一种基于词替换的文本生成方法、系统及存储介质。

技术介绍

[0002]随着人工智能的快速发展，自然语言理解模型在同分布的测试集上达到了优异的性能，在GLUE，SuperGLUE等测试基准上的性能甚至超过了人类。然而，研究者们发现这些强大的自然语言理解模型具有捷径学习的现象，即模型会学习数据集中虚假的特征，从而导致了较差的泛化性。因此，捷径学习的现象阻碍了自然语言理解模型在现实场景中的应用。
[0003]现有的研究者们从不同的角度探索缓解捷径学习、提升鲁棒性的方法。其中，反事实样本由于其简单性和有效性在近期获得了研究者们的关注。具体而言，反事实样本要求修改原样本中的因果特征，从而改变样本标签。由于这一过程的复杂性，目前许多已有的工作仍然依赖人工改写的方式构造反事实样本，时间成本和金钱成本都很高。虽然近期出现了一些针对特定任务(如情感分类、问答)的自动反事实样本生成方法，但仍缺少对通用的自动反事实样本生成方法的探索。

技术实现思路

[0004]本专利技术提供一种基于词替换的文本生成方法、系统及存储介质，用以解决现有反事实样本生成效率低、质量差的缺陷，以实现不依赖人力的情况下生成高质量、高多样性的反事实样本，提高自然语言理解模型的鲁棒性。
[0005]本专利技术提供一种基于词替换的文本生成方法，包括：
[0006]获取数据集中的原始样本，确定原始样本的因果特征；
[0007]所述原始样本包括多个单词组成的文本和分类标签，将所述原始样本中因果特征的位置通过占位符进行替换，得到去因果特征文本，将所述去因果特征文本和分类标签输入至预设的填空式文本生成模型，对因果特征进行重构；
[0008]基于重构的因果特征建立反事实样本生成模型，设置目标函数对所述反事实样本生成模型进行训练，通过所述反事实样本生成模型进行文本生成。
[0009]根据本专利技术提供的一种基于词替换的文本生成方法，所述获取数据集中的原始样本，确定原始样本的因果特征，具体包括：
[0010]获取数据集中的原始样本(x,y),其中x＝(t1,t2,
…
,t
n
)是由n个单词组成的文本，y是分类标签；
[0011]基于预设的自然语言理解模型，计算对于单词t
i
的嵌入表示e
i
的梯度；
[0012]计算所述梯度的L2范数并进行归一化处理，得到单词ti的重要性分数si，经过计算得到因果特征。
[0013]根据本专利技术提供的一种基于词替换的文本生成方法，所述计算所述梯度发L2范数并进行归一化处理，得到单词ti的重要性分数si，经过计算得到因果特征，具体包括：
[0014]所述重要性分数si的计算公式为：
[0015]s
i
＝||g(t
i
)||2/Σ||g(t
j
)||2[0016]将所述重要性分数在topπ％的单词视为因果特征z。
[0017]根据本专利技术提供的一种基于词替换的文本生成方法，将所述原始样本中因果特征的位置通过占位符进行替换，得到去因果特征文本，将所述去因果特征文本和分类标签输入至预设的填空式文本生成模型，对因果特征进行重构，具体包括：
[0018]获取原始样本(x,y)和样本的因果特征z；
[0019]将原始样本x中的因果特征z的位置通过占位符[MASK
‑
i]进行替换，得到去因果特征文本x
‑
z；
[0020]将所述去因果特征文本x
‑
z和原始样本中的y输入至预设的填空式文本生成模型，通过自回归的方式生成目标序列，完成因果特征z的重构。
[0021]根据本专利技术提供的一种基于词替换的文本生成方法，所述基于重构的因果特征建立反事实样本生成模型，具体包括：
[0022]将所述反事实样本生成模型形式化为标签可控的填空式文本生成任务；
[0023]通过对因果特征的重构改变样本标签，建立标签可控的填空式文本生成任务，完成反事实样本生成模型的构建。
[0024]根据本专利技术提供的一种基于词替换的文本生成方法，所述设置目标函数对所述反事实样本生成模型进行训练，通过所述反事实样本生成模型进行文本生成，具体包括：
[0025]设定目标函数，引入非似然损失函数对所述反事实样本生成模型进行训练；
[0026]训练完成后，所述反事实样本生成模型在输入不同标签时，抑制生成相同因果特征，完成文本生成。
[0027]本专利技术还提供一种基于词替换的文本生成系统，所述系统包括：
[0028]因果特征确定模块，用于获取数据集中的原始样本，确定原始样本的因果特征；
[0029]重构模块，用于所述原始样本包括多个单词组成的文本和分类标签，将所述原始样本中因果特征的位置通过占位符进行替换，得到去因果特征文本，将所述去因果特征文本和分类标签输入至预设的填空式文本生成模型，对因果特征进行重构；
[0030]样本生成模块，用于基于重构的因果特征建立反事实样本生成模型，设置目标函数对所述反事实样本生成模型进行训练，通过所述反事实样本生成模型进行文本生成。
[0031]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于词替换的文本生成方法。
[0032]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于词替换的文本生成方法。
[0033]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于词替换的文本生成方法。
[0034]本专利技术提供的一种基于词替换的文本生成方法、系统及存储介质，通过建立反事实样本生成模型在进行词替换时，修改原样本中的因果特征，改变标签样本，可以在不依赖任何人力的情况下生成高质量、高多样性的反事实样本，可以广泛的应用到包括自然语言推断，情感分类，问答等多种自然语言理解任务上，显著的提升自然语言理解模型的泛化
性、鲁棒性。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术提供的一种基于词替换的文本生成方法的流程示意图之一；
[0037]图2是本专利技术提供的一种基于词替换的文本生成方法的流程示意图之二；
[0038]图3是本专利技术提供的一种基于词替换的文本生成方法的流程示意图之三；
[0039]图4是本专利技术提供的一种基于词替换的文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于词替换的文本生成方法，其特征在于，包括：获取数据集中的原始样本，确定原始样本的因果特征；所述原始样本包括多个单词组成的文本和分类标签，将所述原始样本中因果特征的位置通过占位符进行替换，得到去因果特征文本，将所述去因果特征文本和分类标签输入至预设的填空式文本生成模型，对因果特征进行重构；基于重构的因果特征建立反事实样本生成模型，设置目标函数对所述反事实样本生成模型进行训练，通过所述反事实样本生成模型进行文本生成。2.根据权利要求1所述的基于词替换的文本生成方法，其特征在于，所述获取数据集中的原始样本，确定原始样本的因果特征，具体包括：获取数据集中的原始样本(x,y),其中x＝(t1,t2,
…
,t
n
)是由n个单词组成的文本，y是分类标签；基于预设的自然语言理解模型，计算对于单词t
i
的嵌入表示e
i
的梯度；计算所述梯度的L2范数并进行归一化处理，得到单词ti的重要性分数si，经过计算得到因果特征。3.根据权利要求2所述的基于词替换的文本生成方法，其特征在于，所述计算所述梯度的L2范数并进行归一化处理，得到单词ti的重要性分数si，经过计算得到因果特征，具体包括：所述重要性分数si的计算公式为：s
i
＝||g(t
i
)||2/Σ||g(t
j
)||2将所述重要性分数在topπ％的单词视为因果特征z。4.根据权利要求1所述的基于词替换的文本生成方法，其特征在于，将所述原始样本中因果特征的位置通过占位符进行替换，得到去因果特征文本，将所述去因果特征文本和分类标签输入至预设的填空式文本生成模型，对因果特征进行重构，具体包括：获取原始样本(x,y)和样本的因果特征z；将原始样本x中的因果特征z的位置通过占位符[MASK
‑
i]进行替换，得到去因果特征文本x
‑
z；将所述...

【专利技术属性】
技术研发人员：黄民烈，温佳鑫，
申请(专利权)人：清华大学，
类型：发明
国别省市：