【技术实现步骤摘要】
文本生成模型的优化方法及系统
本专利技术涉及自然语言处理领域，尤其涉及一种文本生成模型的优化方法及系统。
技术介绍
自然语言生成是自然语言处理的重要内容，广泛应用于自动翻译、摘要提取、新闻撰写、阅读理解、智能聊天机器人等等领域。比如在中英文本翻译中，给模型输入“这个多少钱”，模型输出“howmuchisit”。技术上，业界普遍使用的算法框架是一种“编码-解码”(encode-decode)框架，知名的算法有“seq2seq-attention”、“tansformer”等。这些性能强大的算法能够有效的学习到输入文本的特征，并巧妙的利用这些特征组织输出文本。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：在实际实施过程中，这些算法总是会受限于训练数据的规模，生成的文本往往有重复、不通顺等情况。而生成模型，作为有监督的模型，恰好又无法利用超大规模数据进行训练，只“熟悉”部分文字之间的连接性。使得通过这些算法训练的生成模型的生成文本会出现语句不通顺或重复的情况。
技术实现思路
...
【技术保护点】
1.一种文本生成模型的优化方法，包括：/n基于文本生成模型的本文生成领域，获取与所述本文生成领域相关联的训练数据集，根据所述训练数据集训练所述本文生成领域的语言模型；/n将对话文本分别输入至所述文本生成模型以及所述语言模型；/n确定在t时刻，所述文本生成模型解码端的输出S
【技术特征摘要】 【专利技术属性】
1.一种文本生成模型的优化方法，包括：
基于文本生成模型的本文生成领域，获取与所述本文生成领域相关联的训练数据集，根据所述训练数据集训练所述本文生成领域的语言模型；
将对话文本分别输入至所述文本生成模型以及所述语言模型；
确定在t时刻，所述文本生成模型解码端的输出St为第一输出，以及所述语言模型的输出Lt为第二输出；
基于所述第一输出和所述第二输出的加权和确定第三输出；
基于所述输出St、输出Lt以及激活函数，建立输出门模型，确定融合输出比例Ot；
通过所述第三输出以及融合输出比例Ot相结合，得到所述文本生成模型的优化输出文本。
2.根据权利要求1所述的方法，其中，所述基于所述第一输出和所述第二输出的加权和确定第三输出包括：
通过所述激活函数，确定所述输出St以及所述输出Lt各自所占的第一比例以及第二比例；
基于所述输出St、所述Lt、第一比例以及第二比例确定所述文本生成模型以及所述语言模型结合后的第三输出Ct。
3.根据权利要求2所述的方法，其中，所述通过所述激活函数，确定所述输出St以及所述输出Lt各自所占的第一比例以及第二比例包括：
基于所述激活函数，建立生成门模型GSt，用于确定所述输出St所占的第一比例；
基于所述激活函数，建立语言门模型GLt，用于确定所述输出Lt所占的第二比例；
所述基于所述输出St、所述Lt、第一比例以及第二比例确定所述文本生成模型以及所述语言模型结合后的第三输出Ct包括：
通过Ct＝GLt·Lt+GSt·St得到所述文本生成模型以及所述语言模型结合后的整体输出。
4.根据权利要求3所述的方法，其中，所述通过所述第三输出以及融合输出比例Ot相结合，包括：
通过Ot*tanh(Ct)将所述第三输出Ct以及融合输出比例Ot相结合。
5.根据权利要求1所述的方法，其中，在所述确定在t时刻，所述文本生成模型解码端的输出St为第一输出，以及所述语言模型的输出Lt为第二输出之后，所述方法还包括：
技术研发人员：朱钦佩，吴仁守，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。