【技术实现步骤摘要】
本专利技术涉及机器学习领域，特别是涉及一种文本生成方法。
技术介绍
1、现有的可控文本生成方法，主要通过基于微调训练的方法，用包含属性的相关数据集对预训练语言模型进行二次训练，微调其模型参数，以适应带属性的样本分布；该基于微调的方法虽然可以保证生成文本的高控制度，但模型的生成过程中，属性信息可能与训练语料的领域信息纠缠，导致生成的文本虽然符合目标属性，但仅限于在某些特定的文本领域。进而导致生成的文本倾向于偏向训练语料所属的领域，因而使得生成结果失去通用性，并且随着预训练模型的不断增大，微调模型的成本也越来越高。
2、少部分无需微调训练，仅在推理阶段的文本生成中进行控制，根据目标属性提高相关单词的生成概率，进而生成完整的符合目标属性要求的文本片段。但直接根据与目标属性的相关性而改变文本生成概率将导致生成的句子流畅度降低，导致生成的文本的质量受到限制。当前的方法难以在生成流畅通顺的句子的前提下保证文本内容的高度可控。
3、因此，如何解决上述至少一个技术问题，以提高文本生成效果，是本领域亟待解决的技术问题。
技术实现思路
1、为解决上述技术问题，本专利技术提供一种属性增强的文本生成方法，包括：
2、s1：构建基于语义检索、目标属性的生成模型和对应检索库，以及用于判断文本属性的属性判别器；
3、s2：确定待生成文本的目标属性，将当前文本序列输入生成模型，生成下一词，并与当前文本序列拼接，得到下一文本序列；
4、s3：将下一文本序列
5、s4：若一致则确定生成最终的下一文本序列，完成本轮文本生成；
6、s5：若不一致，则反馈更新属性判别器，检索得到更新的下一词，并与当前文本序列拼接，得到更新的下一文本序列；迭代判断直至更新的下一文本序列的属性与目标属性一致或满足迭代结束条件，则确定生成最终的下一文本序列，完成本轮文本生成。
7、进一步地，生成下一词的步骤，包括：
8、s21：计算当前文本序列的语义向量；
9、s22：根据语义向量，检索检索库，匹配与语义向量匹配的对应语义向量和属性向量，以得到两组预测词；两组预测词的语义与语义向量一致；但，一组预测词的属性与属性向量一致、一组预测词的属性与属性向量不一致；
10、s23：根据两组预测词的预测概率和生成模型的输出概率，确定下一词。
11、进一步地，步骤s23，具体为：
12、计算两组预测词的预测概率的差值，结合生成模型的输出概率，依据可变化的权重相加，确定下一词的概率，以确定下一词。
13、进一步地，步骤s3，包括：
14、s31：确定下一文本序列的附带属性信息的语义向量；
15、s32：计算该附带属性信息的语义向量的属性向量，判断其与目标属性，是否一致。
16、进一步地，步骤s5，包括：
17、s51：若不一致，则保存属性判别器的梯度，以优化属性判别器中的参数，得到优化后的属性判别器；
18、s52：将当前文本序列，输入优化后的属性判别器，得到当前文本序列带属性信息的语义向量；
19、s53：根据当前文本序列带属性信息的语义向量，检索检索库，得到更新的下一词，并与当前文本序列拼接，得到更新的下一文本序列；
20、s54：重复步骤s3，判断更新的下一文本序列的属性是否与目标属性一致，若一致则以更新的下一文本序列为最终生成的下一文本序列；若不一致，则返回步骤s51。
21、进一步地，步骤s51，具体为：
22、用独热向量表示期望类别的属性分布，和模型输出的属性概率分布，计算损失值，反向传播梯度更新属性判别器的参数。
23、进一步地，生成模型，包括第一编码器和语言建模层；
24、第一编码器，用于接收输入的当前文本序列，并进行编码计算，得到当前文本序列的语义向量；根据语义向量检索反馈检索库中对应的语义向量和属性向量；以在检索库中获取两组预测词；
25、语言建模层，用于融合两组预测词，获得对当前文本序列的下一词。
26、进一步地，属性判别器包括第二编码器和属性判别层；
27、第二编码器，用于根据下一文本序列，确定下一文本序列的附带属性信息的语义向量；
28、属性分类层，用于计算附带属性信息的语义向量的属性向量，判断其与目标属性是否一致。
29、另一方面，本专利技术还提供一种计算机存储介质，存储有可执行程序代码；所述可执行程序代码，用于执行上述任意的文本生成方法。
30、另一方面，本专利技术还提供一种终端设备，包括存储器和处理器；所述存储器存储有可被处理器执行的程序代码；所述程序代码用于执行上述任意的文本生成方法。
31、本专利技术提供一种属性增强的文本生成方法及存储介质和终端设备，使用梯度引导的可控检索和属性分类器，能够更准确地生成符合目标属性的文本。此外，通过从检索结果中分离无关的属性，并将预训练模型表示融入生成过程，可以进一步提高生成文本的质量和相关性。此外，本专利技术提出的迭代修正逐步生成的算法，可以根据梯度动态调整生成过程，使生成的文本更符合目标属性，从而提高生成文本的属性相关性。这些优点使得本专利技术在可控文本生成领域具有更广泛的应用前景。
本文档来自技高网...【技术保护点】
1.一种属性增强的文本生成方法，其特征在于，包括：
2.根据权利要求1所述的文本生成方法，其特征在于，生成下一词的步骤，包括：
3.根据权利要求2所述的文本生成方法，其特征在于，步骤S23，具体为：
4.根据权利要求1所述的文本生成方法，其特征在于，步骤S3，包括：
5.根据权利要求1所述的文本生成方法，其特征在于，步骤S5，包括：
6.根据权利要求1所述的文本生成方法，其特征在于，步骤S51，具体为：
7.根据权利要求1-6任意一项所述的文本生成方法，其特征在于，生成模型，包括第一编码器和语言建模层；
8.根据权利要求7所述的文本生成方法，其特征在于，属性判别器包括第二编码器和属性判别层；
9.一种计算机存储介质，其特征在于，存储有可执行程序代码；所述可执行程序代码，用于执行权利要求1-8任意一项所述的文本生成方法。
10.一种终端设备，其特征在于，包括存储器和处理器；所述存储器存储有可被处理器执行的程序代码；所述程序代码用于执行权利要求1-8任意一项所述的文本生成方法。
...【技术特征摘要】
1.一种属性增强的文本生成方法，其特征在于，包括：
2.根据权利要求1所述的文本生成方法，其特征在于，生成下一词的步骤，包括：
3.根据权利要求2所述的文本生成方法，其特征在于，步骤s23，具体为：
4.根据权利要求1所述的文本生成方法，其特征在于，步骤s3，包括：
5.根据权利要求1所述的文本生成方法，其特征在于，步骤s5，包括：
6.根据权利要求1所述的文本生成方法，其特征在于，步骤s51，具体为：
7.根据权利要求1...
【专利技术属性】
技术研发人员：李东升，文智华，田植良，黄震，孙重豪，黄静远，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。