多语种的带韵律歌词生成方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种多语种的带韵律歌词生成方法、系统、设备及存储介质，采用语音生成模型对词语发音进行捕捉，然后生成押韵词对，大大提高生成词的韵脚质量，同时生成过程中采用以韵脚为起始输入的自编码模型，能生成语义更连贯的歌词；而且支持多语种歌词生成，使得生成的押韵词更加多样。成的押韵词更加多样。成的押韵词更加多样。

【技术实现步骤摘要】
多语种的带韵律歌词生成方法、系统、设备及存储介质


[0001]本专利技术涉及自然语言处理
，尤其涉及一种多语种的带韵律歌词生成方法、系统、设备及存储介质。

技术介绍

[0002]语音识别方向目前已经较为成熟，在大多数语种中都能够得到相对准确的识别结果。文本生成也是最近自然语言处理中的热门领域，在基于大规模语料库预训练语言模型的加持下，GPT等自回归语言模型已经能在文本生成任务上有着很好的表现。
[0003]通过多语种文本生成，一方面可以面向不同语言的人群进行生成任务，另一方面通过多语种的夹杂能够带来更多的创造性，为歌词创作提供更多的灵感。
[0004]但是，目前歌词生成模型缺少歌曲的灵魂—韵律。目前文本生成模型已经能够产生一些较为流畅的歌词，但是在歌词的韵律方面与人创作相比存在较大差距。尤其在面对一些强调歌词韵律的场景下，如当下在全球比较流行的嘻哈歌词(说唱歌词)，模型能力稍显不足。
[0005]目前说唱歌词的生成建模方法如图1所示。
[0006]生成歌词过程中首先确定歌曲主题，根据主题从预定义的歌词中选择本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多语种的带韵律歌词生成方法，其特征在于，包括：从前文歌词中需要押韵的句子中抽取待若干押韵词；对于每一待押韵词，通过语音生成技术生成待押韵词的语音信号，并通过押韵对生成技术生成待押韵词多种新的语音信号，再通过语音识别技术生成所述待押韵词多种新的语音信号对应的多个不同的候选词，将每一候选词与所述待押韵词组成押韵队，筛选出最佳押韵队对应的候选词作为用来生成句子的多语种押韵词；根据筛选出的所有多语种押韵词、前文歌词以及识别出的前文歌词的语种信息采用自回归文本生成算法，生成歌词文本。2.根据权利要求1所述的一种多语种的带韵律歌词生成方法，其特征在于，所述需要押韵的句子在前文歌词中随机选取；选取概率跟当前待生成句子所在位置之间的距离满足如下关系：其中，dis(i)、dis(j)分别表示前文歌词中句子i、句子j与当前待生成句子所在位置之间的距离；α为超参数。3.根据权利要求1所述的一种多语种的带韵律歌词生成方法，其特征在于，所述抽取待押韵词，通过语音生成技术生成待押韵词的语音信号包括：根据不同的押韵方式从分词后的需要押韵的句子中抽取不同的替换词作为待押韵词；对于句尾词使用押韵生成策略，如果分词后的句尾词长度为1，则连同前词组成新词后再一同押韵；采用端到端的语音生成模型对输入的待押韵词文本的发音进行捕捉，获得对应的发声，形成语音信号；所述语音合成模型采用多语种语料进行训练。4.根据权利要求1所述的一种多语种的带韵律歌词生成方法，其特征在于，所述通过押韵对生成技术生成待押韵词多种新的语音信号，再通过语音识别技术生成所述待押韵词多种新的语音信号对应的多个不同的候选词包括：使用押韵对生成模型对输入的语音信号进行编解码，获得对应的a种押韵词发音；a为大于1的整数；所述押韵对生成模型通过预先收集的多语种的押韵对进行训练，训练后的押韵对生成模型具备捕捉相应押韵规则的能力。5.根据权利要求1所述的一种多语种的带韵律歌词生成方法，其特征在于，所述通过语音识别技术生成对应的押韵词以及多个不同的候选词包括：采用端到端的语音识别模型对待押韵词每一种新的语音信号进行还原，待押韵词每一种新的语音信号与之最接近的b个词，总共产生a
×
b个候选词，其中，a为大于1的整数，表示押韵词发音的总数；b为大于1的整数；所述语音识别模型采用标注好的多语种语音识别数据训...

【专利技术属性】
技术研发人员：刘权，张泰宇，郭武，陈志刚，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：