文本生成模型的训练方法、目标语料扩充方法及相关装置制造方法及图纸

本申请公开了一种文本生成模型的训练方法、目标语料扩充方法及相关装置。文本生成模型的训练方法包括：获取样本语料；对样本语料进行分词处理，并根据分词处理结果，生成统计语言模型；利用文本生成模型的生成器生成目标文本；根据样本语料利用文本生成模型的判别器对目标文本进行判别，输出判别结果，并根据判别结果得到对抗损失函数；利用统计语言模型获取目标文本的困惑度，并根据困惑度确定惩罚项；将对抗损失函数和惩罚项进行叠加后得到文本生成模型的目标损失函数，并利用目标损失函数对文本生成模型进行训练，得到训练后的文本生成模型。上述方案，能够利用现有语料库来指导文本生成模型的训练，提升文本生成模型的性能。能。能。

【技术实现步骤摘要】
文本生成模型的训练方法、目标语料扩充方法及相关装置


[0001]本申请涉及文本处理
，特别是涉及一种文本生成模型的训练方法、目标语料扩充方法及相关装置。

技术介绍

[0002]语音识别包括声学模型和语言模型两个部分，其中统计语言模型在语言模型中应用最多，但统计语言模型需要大规模语料库支持，实际上语料库的获取较困难，特别是特定场景下的语料库十分匮乏。而文本自动生成是人工智能和自然语言处理
中一个重要的技术，是解决语料库匮乏的有效方法，该技术的应用场景广泛，比如常见的“机器人写作”、“自动对话生成”、“中文歌词自动生成器”等。
[0003]基于深度学习的文本生成技术是该方向的主流方向，文本生成技术发展至今产生了一系列的通用模型。现有的方案是先训练一个文本生成模型，利用文本生成模型根据给定的开头词迭代地生成下一个词，没有很好的利用现有语料库来指导文本生成模型的训练。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种文本生成模型的训练方法、目标语料扩充方法及相关装置，能够利用现有语料库来指导文本生成模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本生成模型的训练方法，其特征在于，所述文本生成模型的训练方法包括：获取样本语料；对所述样本语料进行分词处理，并根据所述分词处理结果，生成统计语言模型；利用文本生成模型的生成器生成目标文本；根据所述样本语料利用所述文本生成模型的判别器对所述目标文本进行判别，输出判别结果，并根据所述判别结果得到对抗损失函数；利用所述统计语言模型获取所述目标文本的困惑度，并根据所述困惑度确定惩罚项；将所述对抗损失函数和所述惩罚项进行叠加后得到所述文本生成模型的目标损失函数，并利用所述目标损失函数对所述文本生成模型进行训练，得到训练后的文本生成模型。2.根据权利要求1所述的文本生成模型的训练方法，其特征在于，所述对所述样本语料进行分词处理，并根据所述分词处理结果，生成统计语言模型，包括：利用第一分词方法对所述样本语料进行分词操作，得到第一分词结果；利用第二分词方法对所述样本语料进行分词操作，得到第二分词结果；将所述第一分词结果和所述第二分词结果取并集来作为所述分词处理结果，并统计所述分词处理结果中的词频，生成所述统计语言模型。3.根据权利要求2所述的文本生成模型的训练方法，其特征在于，所述第一分词方法包括基于词典的方法；所述利用第一分词方法对所述样本语料进行分词操作，得到第一分词结果，包括：利用所述基于词典的方法，采用正向最大匹配算法来对所述样本语料进行分词操作，得到第一分词结果。4.根据权利要求2所述的文本生成模型的训练方法，其特征在于，所述第二分词方法包括基于长短期记忆网络的方法；所述利用第二分词方法对所述样本语料进行分词操作，得到第二分词结果，包括：对所述样本语料进行词嵌入处理，将所述样本语料中每个句子的每个词映射成一个向量，训练词向量，使每个词向量的维度为固定维度，以将每个句子处理为二维矩阵；根据所述二维矩阵统计所述样本语料中的词频并排序，为每个词生成一个索引；将所述样本语料中的每个句子划分为长度为n
‑
gram的词对，并根据每个词生成的索引将所述词对转换成词索引；利用转换成词索引后的所述样本语料对所述长短期记忆网络进行训练，得到训练后的长短期记忆网络；利用所述训练后的长短期记忆网络对所述样本语料进行分词操作，得到第二分词结果。5.根据权利要求1所述的文本生成模型的训练方法，其特征在于，所述利用文本生成模型的生成器生成目标文本，包括：统计所述样本语料中每个句子的首个词的频率，并将词频中最高的前N个词作为起始列表；根据所述起始列表选择起始词，并通过所述生成器计算得到之后的所有词，直到遇到结束符号，生成新的句子以作为所述目标文本。6.根据权利要求1所述的文本生成...

【专利技术属性】
技术研发人员：岳昌洁，张锦铖，黄惠祥，史巍，林聚财，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：