一种用于文本生成的变分自编码器制造技术

本申请提供一种用于文本生成的变分自编码器，利用传统变分自编码器中双向长短期记忆网络层的输出矩阵构造文本信息向量、均值特征向量、最大值特征向量，用以学习文本语料的序列特征与语义特征，并以此为基础实现了对传统变分自编码器的编码过程的优化，使得本申请提供的用于文本生成的变分自编码器的训练过程得到了更好的收敛效果以及更稳定的文本生成性能。

【技术实现步骤摘要】
一种用于文本生成的变分自编码器
本申请涉及自然语言处理领域，特别是涉及一种用于文本生成的变分自编码器。
技术介绍
随着人工智能在经济、政治、国防等领域的战略地位不断提高，自然语言处理也迎来了新的发展契机，越来越多的自然语言处理技术已经成功应用在情感分析、文档摘要、信息抽取、问答系统、机器翻译等领域中。近年来，AI写诗、新闻报道生成等文本生成任务也备受关注。自然语言处理中的文本生成任务通过构建自回归模型，试图模拟真实文本的生成过程，进而求解出真是文本的语言模型的近似分布。目前，主流的文本生成模型多以对抗生成网络、自编码器与变分自编码器为基础模型。然而，上述三种模型在完成文本生成任务时，均存在一定的不足：对抗生成网络的训练过程的鲁棒性较弱，占用了大量的网络模型训练资源；自编码器或变分自编码器的训练过程比较稳定，然而，由于在训练过程中难以保证捕获有效的文本语义，因此，造成了语义学习能力弱、训练耗时长、收敛效果不佳等问题，不利于生成合理有效的自然语言文本。
技术实现思路
基于此，针对传统变分自编码器文本语义学习能力弱、训练耗本文档来自技高网...

【技术保护点】
1.一种用于文本生成的变分自编码器，其特征在于，包括：/n编码器(01)：由第一嵌套层(011)、第一双向长短期记忆网络层(012)以及第一采样模块(013)构成，用于学习输入文本的潜在语义特征(014)，并将其压缩到低维的潜在语义特征空间表示；/n解码器(02)：由第二采样模块(021)、第二嵌套层(022)、第二双向长短期记忆网络层(023)以及输出层(024)构成，并利用潜在语义特征(014)实现对输入文本(03)的重构；/n第一嵌套层(011)，保存语料中所有词的词向量，接收输入文本(03)的词索引序列并输出词向量序列；/n第一双向长短期记忆网络层(012)，接收词向量序列，并从正、反...

【技术特征摘要】
1.一种用于文本生成的变分自编码器，其特征在于，包括：
编码器(01)：由第一嵌套层(011)、第一双向长短期记忆网络层(012)以及第一采样模块(013)构成，用于学习输入文本的潜在语义特征(014)，并将其压缩到低维的潜在语义特征空间表示；
解码器(02)：由第二采样模块(021)、第二嵌套层(022)、第二双向长短期记忆网络层(023)以及输出层(024)构成，并利用潜在语义特征(014)实现对输入文本(03)的重构；
第一嵌套层(011)，保存语料中所有词的词向量，接收输入文本(03)的词索引序列并输出词向量序列；
第一双向长短期记忆网络层(012)，接收词向量序列，并从正、反两个方向对词向量序列进行处理，输出矩阵H；
第一采样模块(013)，利用第一双向长短期记忆网络层(012)的输出矩阵H学习输入文本的潜在语义特征(014)；
第二采样模块(021)，根据输出层(024)输出的当前状态下的词的概率分布，利用采样策略生成词的索引；
第二嵌套层(022)，根据第二采样模块(021)输出的词索引，输出词向量；
第二双向长短期记忆网络层(023)，根据第二嵌套层(022)输出的词向量与潜在语义特征(014...

【专利技术属性】
技术研发人员：徐新胜，王庆林，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江;33