一种基于预训练语言模型的可控文本生成方法技术

本发明专利技术提供了一种基于预训练语言模型的可控文本生成方法，分别训练主题、情感和写作风格判别器模型，利用贝叶斯公式的概率分解联合预训练语言模型的输出概率和判别器模型的输出概率，从而生成同时满足所需要的主题、情感和写作风格的文本。该方法相较于直接针对满足约束条件单独训练的模型而言，无需对预训练语言模型本身做任何改动，而是在模型推理阶段通过属性判别器来引导模型生成满足约束条件的内容，因此节省了训练大规模预训练语言模型的计算资源。另外，本发明专利技术的方法可以通过灵活的组合属性判别器来生成满足不同约束条件的文本，从而避免针对每种需求单独训练一个模型。型。型。

【技术实现步骤摘要】
一种基于预训练语言模型的可控文本生成方法


[0001]本专利技术涉及自动文本生成技术，特别涉及基于预训练语言模型的可控文本生成技术。

技术介绍

[0002]自然语言生成（又称文本生成）被认为是对自然语言理解的补充，是自然语言处理的一个重要分支。自然语言理解的任务是对输入的文本消除歧义，产生文本中所表达的思想的单一规范化表示；与此相反，文本生成主要侧重于将潜在的语义表示转化为具体的、符合逻辑的自然语言文本。换句话说，自然语言理解旨在开发一种能够阅读和理解人类语言的智能机器，而文本生成则使计算机能够像人类一样写作。作为先进的人工智能的体现，文本生成技术在诸如对话系统、写作辅助、数据增强和广告营销等应用领域中发挥着至关重要的作用。
[0003]对文本生成研究的一个重要和基本的问题是如何使生成的文本可控。在实际应用中，文本生成系统应该能够按照使用者的意愿可靠地生成满足某些控制属性的文本。一般来说，这些控制属性是针对具体任务的。例如，对于故事生成任务需要控制生成的故事的情节和结局；在对话生成的任务中，需要控制生成对话的情感、角色、语气等；对于基于文本生成的数据增强，有必要对生成数据进行控制以确保不同领域的数据分布平衡；在营销文案写作任务中，通过控制生成的广告营销文案围绕产品主题、表达用户情感以及采用特殊的写作风格，更容易吸引消费者注意力，建立品牌信任。此外，出于人工智能应用对社会道德伦理方面带来影响的考虑，如何对文本生成系统进行控制以避免生成攻击性的内容——如性别偏见、敏感词汇——是非常重要的。
[0004]近年来，深度学习的发展催生了一系列基于深度学习模型的可控文本生成的研究，促进了该领域的迅速发展。早期的方法基于序列到序列的模型和文本风格特征表示，并取得了一定程度的进展。此后，基于深度生成模型的方法被引入可控文本生成——例如变分自编码器、生成对抗网络和基于能量的模型——使得对可控文本生成的研究进一步与概率模型等理论相结合。基于深度学习的方法以数据驱动的方式进行端到端的学习，模型能够学习到隐式的表示文本语义特征的低维稠密向量。这种表示方法有利于缓解数据稀少的问题以及避免由于依赖人工特征带来的偏差，在文本生成中显示出巨大的潜力。
[0005]然而，上述基于深度学习方法的成功在很大程度上依赖于大规模的训练数据集，这对基于监督学习和跨领域的文本生成任务构成了挑战。自从2018年以来，大规模预训练语言模型的应用已逐渐成为自然语言处理的一个新范式。通过在大型语料库上的无监督学习，基于Transformer架构的预训练语言模型能够从海量数据中学习大量的语义和句法知识，只需要对其在下游任务用少量数据进行微调就可以获得在特定任务上的优越性能。就文本生成而言，如GPT
‑
3这类拥有上千亿参数的大规模预训练语言模型通过在海量的语料数据上的学习，极大程度上建模了自然语言的分布，能够生成人类难以分辨真伪的自然流畅的文本。此外，大规模预训练语言模型本身可以被看作是一个信息丰富的知识库，使得它
可以在不需要外部领域知识的情况下生成具有特定约束的文本。尽管如此，基于神经网络的预训练语言模型本质上仍然是黑盒子，缺乏良好的可解释性和可控性。

技术实现思路

[0006]本专利技术要解决的技术问题是，提供一种基于预训练语言模型的可以控制主题、情感、写作风格的文本生成方法。
[0007]本专利技术为解决上述技术问题所采用的技术方案是，一种基于预训练语言模型的可控文本生成方法，包括以下步骤：训练步骤：步骤1、收集符合当前文本应用场景的文本样本数据并生成训练样本；将训练样本输入预训练语言模型进行微调，生成符合当前文本应用场景的预训练语言模型；步骤2、训练主题判别器模型、情感判别器模型和写作风格判别器模型；主题判别器模型用于接收输入的句子前缀和关键词来计算主题关键词集合中的所有关键词在句子中出现的概率，输出句子是否满足围绕文本主题这一控制属性的对数几率；情感判别器模型用于接收输入的句子前缀来计算句子的情感极性是正面的还是负面的概率，输出句子是否满足情感极性这一控制属性的对数几率；写作风格判别器模型用于接收输入的句子前缀来计算句子满足期望的写作风格的概率，输出句子是否满足写作风格这一控制属性的对数几率；文本生成步骤：步骤3、训练完成的预训练语言模型接收输入的句子前缀，输出当前生成的候选词的预测概率；步骤4、训练完成的主题判别器模型、情感判别器模型和写作风格判别器模型分别接收输入的句子前缀，分别输出其控制属性的对数几率并相加，相加的结果为生成的候选词满足当前文本应用场景的控制属性的对数几率；步骤5、从控制属性的对数几率得到当前生成的候选词的属性概率，将预测概率与属性概率相乘得到最终生成的候选词的输出概率，选择输出概率最大的候选词作为句子的词输出，再判断句子是否达到最大长度，如否将当前生成的句子作为句子前缀，返回步骤3，如是，则输出生成的句子。
[0008]本专利技术通过给定三个相互独立定义的控制属性判别器，可以通过灵活地调整各属性判别器的指标以实现不同控制属性的组合。可根据需要满足的属性组合选择对应的属性判别器，通过将这些属性判别器模型输出的对数几率相加获得所需满足的属性组合的对数几率来引导预训练语言模型生成满足属性组合的句子。
[0009]预训练语言模型经过一次微调完成后，当文本生成需求发生变化时，可不再对预训练语言模型进行微调，而是根据具体文本需求对三个控制属性判别器进行微调，就可以对最终生成文本的进行控制。因此本专利技术的方法能应用于不能直接访问模型，仅以服务方式提供模型API调用的场合。比如目前具有强大文本生成能力的GPT
‑
3模型没有开源，只提供了通过API调用的服务。使用本专利技术中的方法可以充分利用GPT
‑
3强大的文本生成能力生成自然流畅同时满足约束条件的文本。
[0010]因为本专利技术中只要单词表不变，在不改变判别器模型的情况下，预训练语言模型可以替换成其他的模型，使得生成的最终文本效果可随预训练语言模型的性能提升而不断改进，例如使用更大的模型，更多的训练数据或者更长的训练时间。
[0011]本专利技术的有益效果是：提高基于预训练语言模型的文本生成模型的可解释性和可控性，更好地实现可控文本生成。
附图说明
[0012]图1实施例示意图；图2预训练语言模型在判别器引导下生成满足约束句子的示意图。
具体实施方式
[0013]实施例以生成营销文案为例。
[0014]如图1所示，一种在模型推理阶段通过属性判别器来引导预训练语言模型生成满足控制属性的文本生成方法，包括以下步骤：步骤1：收集符合当前文本应用场景的文本样本数据并生成训练样本；将训练样本输入预训练语言模型进行微调，生成符合当前文本应用场景的预训练语言模型。
[0015]使用爬虫等手段可以很容易的从社交媒体、新闻门户、垂直社区、视频故事文本、电商评论等来源获取大量营销文案数据。将清洗后的数据用于对大规模中文预训练语言模型进行微调，得到能够生成营销文案的预训练语言模型G。模型的训练使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练语言模型的可控文本生成方法，其特征在于，包括以下步骤：训练步骤：步骤1、收集符合当前文本应用场景的文本样本数据并生成训练样本；将训练样本输入预训练语言模型进行微调，生成符合当前文本应用场景的预训练语言模型；步骤2、训练主题判别器模型、情感判别器模型和写作风格判别器模型；主题判别器模型用于接收输入的句子前缀和关键词来计算主题关键词集合中的所有关键词在句子中出现的概率，输出句子是否满足围绕文本主题这一控制属性的对数几率；情感判别器模型用于接收输入的句子前缀来计算句子的情感极性是正面的还是负面的概率，输出句子是否满足情感极性这一控制属性的对数几率；写作风格判别器模型用于接收输入的句子前缀来计算句子满足期望的写作风格的概率，输出句子是否满足写作风格这一控制属性的对数几率；文本生成步骤：步骤3、预训练语言模型接收输入的句子前缀，输出当前生成的候选词的预测概率；步骤4、训练完成的主题判别器模型、情感判别器模型和写作风格判别器模型分别接收输入的句子前缀，分别输出其控制属性的对数几率并相加，相加的结果为生成的候选词满足当前文本应用场景的控制属性的对数几率；步骤5、从控制属性的对数几率得到当前生成的候选词的属性概率，将预测概率与属性概率相乘得到最终生成的候选词的输出概率，选择输出概率最大的候选词作为句子的词输出，再判断句子是否达到最大长度，如否将当前生成的句子作为句子前缀，返回步骤3，如是，则输出生成的句子。2.如权利要求1所述方法，其特征...

【专利技术属性】
技术研发人员：廖俊伟，刘万隆，程绍欢，屈鸿，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：