【技术实现步骤摘要】
一种基于深度学习的文本生成方法
本专利技术属于自然语言处理
，更具体地，涉及一种基于深度学习的文本生成方法。
技术介绍
深度学习的出现使得人工智能的发展走上一个新的台阶，并且迅速在学术界和工业界产生深远的影响。基于深度学习的方法在计算机视觉、自然语言处理等领域已经成为一种主流的方法。在自然处理领域基于深度学习的方法也已经取得了很大的进步，比如在机器翻译，人机对话，古诗生成等领域，基于深度学习的方法已经完全超越甚至取代了传统的机器学习方法。自动写作是一项重要的人工智能技术，利用人工智能进行写作或者辅助创作，为人类提供了新的创作方法与途径，自动写作对于写作的便捷与速度有了很大改善，很大程度上改变了人们日常写作方式。然而以前的自动写作均为基于模板的自动写作，虽然能够快速进行自动写作，但在新颖性和多样上有很大缺陷，难以满足人们对创新性的要求。经典的基于深度学习的文本生成方法都是基于循环神经网络RNN的人工神经网络模型。将输入信息压缩为固定长度的向量，再使用线性或者非线性的变换，通过神经网络逐句生成文本。该类方法...
【技术保护点】
1.一种基于深度学习的文本生成方法，包括训练和测试，其特征在于，所述训练包括步骤：/n构建训练集，所述训练集中包括经过预处理的话题和对应文本组成的多个样本对；/n预先定义生成器，所述生成器用于根据输入的话题生成文本，利用所述训练集对所述生成器进行预训练，所述生成器包括编码器和解码器，所述编码器用于将输入的话题编码为词向量，所述解码器为使用循环神经网络的长短时记忆网络，所述长短期记忆网络的初始状态向量使用随机初始化的向量，所述长短期记忆网络的输入包括上一个时间步的真实输出、注意力机制得到的话题向量和全局历史记忆向量；/n预先定义分类器，将所述生成器输出的文本和所述训练集中的文...
【技术特征摘要】
1.一种基于深度学习的文本生成方法，包括训练和测试，其特征在于，所述训练包括步骤：
构建训练集，所述训练集中包括经过预处理的话题和对应文本组成的多个样本对；
预先定义生成器，所述生成器用于根据输入的话题生成文本，利用所述训练集对所述生成器进行预训练，所述生成器包括编码器和解码器，所述编码器用于将输入的话题编码为词向量，所述解码器为使用循环神经网络的长短时记忆网络，所述长短期记忆网络的初始状态向量使用随机初始化的向量，所述长短期记忆网络的输入包括上一个时间步的真实输出、注意力机制得到的话题向量和全局历史记忆向量；
预先定义分类器，将所述生成器输出的文本和所述训练集中的文本输入到所述分类器进行对抗训练；
根据预训练的所述生成器和所述分类器定义损失函数对所述生成器进行强化学习训练。
2.如权利要求1所述的一种基于深度学习的文本生成方法，其特征在于，所述预处理包括：对样本集中的文本进行关键词分词，使用tf-idf算法计算所有关键词的tf-idf得分，选取得分最高的多个关键词作为每个文本的话题。
3.如权利要求1所述的一种基于深度学习的文本生成方法，其特征在于，所述全局历史记忆向量根据历史记忆矩阵得到，所述历史记忆矩阵由长度为L的向量组成，所述历史记忆矩阵最开始全部初始化为0，在训练过程中动态地存储之前所生成的词向量，在对所述生成器进行训练的过程中，所述历史记忆矩阵不进行参数更新。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。