一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法技术

本发明专利技术涉及一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，包括以下步骤：1)获取关键词进行预处理；2)输入关键词，基于LSTM和注意力机制的歌词生成模型结合后处理操作，依次生成句中词和结尾词，完成一句歌词的生成；3)重复执行步骤1)‑步骤2)，直至生成一篇完整的歌词。与现有技术相比，本发明专利技术具有生成歌词可读性强、语义通顺、对仗工整等优点。

【技术实现步骤摘要】
一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法
本专利技术涉及自然语言处理领域，尤其是涉及一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法。
技术介绍
自然语言处理(NaturalLanguageProcessing,NLP)是当今人工智能技术的重要分支，其目标是计算机能学习、理解并能够生成人的语言。语言生成是NLP领域的重要任务，涉及语义解析、语义编码、语言模型等多方面技术。传统NLP技术聚焦于语言本身的规则，企图使机器像人一样学习详细的语法规则，构建语法解析树，进而完全掌握自然语言。然而，随着语料库扩大，语法解析树会以指数速率膨胀到令人难以接受的程度，语言本身的多样性、奇异性和上下文相关性也让语言规则的总结工作变成不可能完成的任务。近年来，基于统计模型的机器学习方法成为主流。该流派不在意语言深层的意义，直接从符号层面入手让计算机统计语言的规律，从而建立合理的语言模型。人工神经网络的出现促进了统计模型的发展，让人们有能力模拟极其复杂的概率分布。现有的语言生成方案往往使用循环神经网络(RecurrentNeuralNetwork,RNN)作为基础，通过大量的学习来模拟语言的分布规律。然而，简单的RNN网络存在严重的梯度消失问题，很难生成长句与长文章，单阶段的生成方式也无法体现句与句之间复杂的关系。此外，中文语言处理有一些特殊的问题，例如分词、消岐等，这些是主流的英文语料库与英文模型无法处理的，针对中文歌词进行特定研究的更是少之又少。因此，本专利技术提出了一种新的中文歌词生成方案，生成了可读性强、语义通顺、对仗工整、甚至还具备一定审美特点的歌词。本专利技术首先从网络上开放资源收集到中文歌词的原始数据，对数据进行预处理后得到干净的语料库；而后使用词典加条件随机场的方式对已登录词进行分割，使用隐马尔科夫模型对未登录词进行预测分割；再引入Word2Vec方法将词语符号转换成高维嵌入向量对模型进行训练。模型的编码部分使用双向LSTM，可以有效记忆并编码语句中的语义信息；解码部分引入了注意力机制，使得下一句歌词能与上一句产生较强的关联性。最终训练好的模型可以逐句生成通顺的歌词。在此基础上，本专利技术还设计了独特的模型控制方法，使得模型可以按要求生成指定风格、指定句长、押韵或者藏头的歌词。为了方便使用，本专利技术最后开发了简单的网页前端，让生成的歌词直观地展示出来。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种生成歌词可读性强、语义通顺、对仗工整的基于Word2Vec、LSTM和注意力机制的中文歌词生成方法。本专利技术的目的可以通过以下技术方案来实现：一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，包括以下步骤：1)获取关键词进行预处理；2)输入关键词，基于LSTM和注意力机制的歌词生成模型并结合后处理操作，依次生成句中词和结尾词，完成一句歌词的生成；3)重复执行步骤1)-步骤2)，直至生成一篇完整的歌词。所述的关键词包括控制关键词和上一句歌词；当生成的歌词为首句歌词时，所述的输入关键词为控制关键词；当生成的歌词为后续歌词时，所述的输入关键词为上一句歌词，所述的控制关键词包括歌词风格、歌词剧场、歌词韵脚。所述的歌词生成模型包括编码器和解码器，所述的编码器为双向LSTM编码器，所述的解码器为单向LSTM加注意力机制解码器。所述的歌词生成模型生成歌词的步骤具体包括：201)双向LSTM编码器将输入的关键词编码成语义编码向量；202)注意力机制计算状态向量和语义编码向量的匹配程度，获取注意力权值，加权求得语义向量ci；203)将上一时刻状态、上一时刻输出和当前语义向量作为输入，解码得到当前时刻输出词的概率分布；所述的注意力机制为Bahdanau注意力算法，所述的状态向量包括解码器状态向量和编码器状态向量。所述的后处理操作包括类束搜索、添加结束位置符、添加情绪引导词和多元启发搜索。所述的类束搜索将当前输出词中概率高于设定阈值的词语划入可行集，并从中通过随机数挑选一个词语作为句中词。所述的歌词生成模型生成歌词时添加情绪引导词，用于控制生成歌词的情绪，所述的情绪引导词包括“乐”、“好”、“怒”、“哀”、“惧”和“惊”。当遇到结束位置符时，通过多源启发算法生成结尾词，所述的多源启发算法从可行集中选取韵脚符合且概率最大的词语作为结尾词输出。所述的歌词生成模型的训练步骤包括：211)通过爬虫算法获取网络公开中文歌词资源；212)预先建立一个词典，使用词典加条件随机场的方法对已登录词进行分割，使用隐马尔科夫模型对未登录词进行分割方式，并去除停用词，形成词汇表；213)使用Word2Vec方法将歌词转换为Word2Vec向量，并将该歌词对应的下一句歌词转换成数字序列，再拼接位置结束符；214)利用交叉熵损失与Adam优化器进行模型训练，选取最优的模型作为歌词生成模型；所述的已登录词为词典范围内的词，所述的未登录词为词典范围外的词。所述的Word2Vec方法将歌词转换为Word2Vec向量具体包括：2131)构建包括CBOW模型和Skip-gram模型的训练模型并利用词汇表进行训练；2132)训练结束后分别取出CBOW模型和Skip-gram模型的隐层权重并拼接起来，形成Word2Vec矩阵；2133)Word2Vec矩阵的第i行对应为词汇表中第i个词语的Word2Vec向量。与现有技术相比，本专利技术具有以下优点：1)本专利技术歌词生成模型的编码部分使用双向LSTM网络，可以有效记忆并编码语句中的语义信息，缓解了梯度消失问题，解码部分引入了注意力机制，使得下一句歌词能与上一句产生较强的关联性，整篇歌词有统一的风格与含义；2)本专利技术还设计了独特的模型控制方法，在原始模型的基础上添加后处理操作，使得模型可以按要求生成指定风格、指定句长、押韵或者藏头的歌词；3)本专利技术的模型训练过程中，引入Word2Vec方法将词语符号转换成高维嵌入向量对模型进行训练，有效地将词语信息转换成了计算机可识别的向量形式；4)本专利技术从网络开放资源收集到中文歌词的原始数据，对数据进行预处理后得到干净的语料库，并使用词典加条件随机场的方式对已登录词进行分割，使用隐马尔科夫模型对未登录词进行预测分割，构建了干净易用的中文歌词语料库。5)目前市面上基本没有成熟可用的中文歌词生成器，本专利技术填补了这一应用领域的空缺，为语言生成技术提供了一种新的方案与思路。附图说明图1为本专利技术整体流程示意图；图2为爬虫算法流程示意图；图3为Word2Vec模型示意图；图4为RNN结构示意图；图5为LSTM单元结构示意图；图6为注意力机制示意图；图7为训练过程的损失曲线对比图；图8为训练过程的词语丰富度曲线对比图；图9本文档来自技高网...

【技术保护点】
1.一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，包括以下步骤：/n1)获取关键词进行预处理；/n2)输入关键词，基于LSTM和注意力机制的歌词生成模型并结合后处理操作，/n依次生成句中词和结尾词，完成一句歌词的生成；/n3)重复执行步骤1)-步骤2)，直至生成一篇完整的歌词。/n

【技术特征摘要】
1.一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，包括以下步骤：
1)获取关键词进行预处理；
2)输入关键词，基于LSTM和注意力机制的歌词生成模型并结合后处理操作，
依次生成句中词和结尾词，完成一句歌词的生成；
3)重复执行步骤1)-步骤2)，直至生成一篇完整的歌词。


2.根据权利要求1所述的一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，所述的关键词包括控制关键词和上一句歌词；
当生成的歌词为首句歌词时，所述的输入关键词为控制关键词；当生成的歌词为后续歌词时，所述的输入关键词为上一句歌词，所述的控制关键词包括歌词风格、歌词剧场、歌词韵脚。


3.根据权利要求1所述的一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，所述的歌词生成模型包括编码器和解码器，所述的编码器为双向LSTM编码器，所述的解码器为单向LSTM加注意力机制解码器。


4.根据权利要求3所述的一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，所述的歌词生成模型生成歌词的步骤具体包括：
201)双向LSTM编码器将输入的关键词编码成语义编码向量；
202)注意力机制计算状态向量和语义编码向量的匹配程度，获取注意力权值，加权求得语义向量；
203)将上一时刻状态、上一时刻输出和当前语义向量作为输入，解码得到当前时刻输出词的概率分布；
所述的注意力机制为Bahdanau注意力算法，所述的状态向量包括解码器状态向量和编码器状态向量。


5.根据权利要求3所述的一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，所述的后处理操作包括类束搜索、添加结束位置符、添加情绪引导词和多元启发搜索。


6.根据权利要求5所述的一种基于Word2Vec、LSTM和注意力机制的中文歌词生成方法，其特征在于，...

【专利技术属性】
技术研发人员：陈启军，何宗涛，刘成菊，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31