旋律生成方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种旋律生成方法、装置、电子设备和存储介质，其中方法包括：对歌词文本进行歌词特征编码，得到歌词特征；基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。本发明专利技术提供的方法、装置、电子设备和存储介质，基于各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对各待解码音符进行音符解码，由于在解码过程中参照了音符和歌词字句的对应关系，解码所得的音符序列中各音符均能与歌词中的字严格对齐，由此保证基于歌词生成的旋律能够更加贴合歌词本身，提高了旋律生成的可靠性。的可靠性。的可靠性。

【技术实现步骤摘要】
旋律生成方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种旋律生成方法、装置、电子设备和存储介质。

技术介绍

[0002]歌词到旋律的生成任务，是人工智能作曲领域中一个极具挑战性的研究课题。
[0003]目前，歌词到旋律的生成任务主要通过两类方式实现，一类是纯靠数据驱动的端到端建模方式，通过优化神经网络结构和音乐表征来提高生成旋律的质量；一类是利用音乐知识，采用节奏等共通的音乐元素桥接歌词与旋律，将歌词与旋律的端到端建模拆分为歌词到音乐元素与音乐元素到旋律的两阶段建模学习。
[0004]然而，无论是上述何种方式，均未能学习到歌词中的字与旋律中音符的严格对齐关系，直接导致生成的旋律与歌词匹配度不高。

技术实现思路

[0005]本专利技术提供一种旋律生成方法、装置、电子设备和存储介质，用以解决现有技术中生成的旋律和歌词间的匹配度不高的缺陷。
[0006]本专利技术提供一种旋律生成方法，包括：
[0007]对歌词文本进行歌词特征编码，得到歌词特征；
[0008]基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。
[0009]根据本专利技术提供的一种旋律生成方法，所述基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列，包括：
[0010]基于各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，确定所述各待解码音符与所述歌词文本中各歌词句和/或各歌词字之间的对齐相关度；
[0011]基于所述对齐相关度和所述歌词特征，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。
[0012]根据本专利技术提供的一种旋律生成方法，所述基于各待解码音符在所述歌词文本中对应的歌词句，确定所述各待解码音符与所述歌词文本中各歌词句之间的对齐相关度，包括：
[0013]若任一歌词句为所述待解码音符对应的歌词句，则计算所述歌词特征中歌词句的句特征与所述待解码音符的音符状态之间的相关度，作为所述待解码音符与所述任一歌词句之间的对齐相关度；
[0014]否则，将所述待解码音符与所述任一歌词句之间的对齐相关度确定为第一预设值。
[0015]根据本专利技术提供的一种旋律生成方法，所述基于各待解码音符在所述歌词文本中
对应的歌词字，确定所述各待解码音符与所述歌词文本中各歌词字之间的对齐相关度，包括：
[0016]若任一歌词字为所述待解码音符对应的歌词字，则基于所述解码音符对应的歌词字的字数确定所述待解码音符与所述任一歌词字之间的对齐相关度；
[0017]否则，将所述待解码音符与所述任一歌词字之间的对齐相关度确定为第二预设值。
[0018]根据本专利技术提供的一种旋律生成方法，所述基于所述对齐相关度和所述歌词特征，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列，包括：
[0019]基于所述歌词文本的歌词情感信息、歌词密度信息和歌词声调信息中的至少一种，以及所述对齐相关度和所述歌词特征，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。
[0020]根据本专利技术提供的一种旋律生成方法，所述对所述各待解码音符进行音符解码，包括：
[0021]对所述各待解码音符在音乐层级结构下进行音符解码；
[0022]所述音乐层级结构包括逐层细化的乐段、乐句、小节、拍子和时间步长。
[0023]根据本专利技术提供的一种旋律生成方法，所述基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列，包括：
[0024]基于生成模型，应用所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列；
[0025]所述生成模型是基于样本歌词文本以及所述样本歌词文本对应的样本音符序列训练得到的，所述样本音符序列中的各音符携带有与所述样本歌词文本中的歌词句和/或歌词字的对齐标签。
[0026]本专利技术还提供一种旋律生成装置，包括：
[0027]编码单元，用于对歌词文本进行歌词特征编码，得到歌词特征；
[0028]解码单元，用于基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。
[0029]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述旋律生成方法。
[0030]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述旋律生成方法。
[0031]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述旋律生成方法。
[0032]本专利技术提供的旋律生成方法、装置、电子设备和存储介质，基于各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对各待解码音符进行音符解码，由于在解码过程中参照了音符和歌词字句的对应关系，解码所得的音符序列中各音符均能与歌词中的字严
格对齐，由此保证基于歌词生成的旋律能够更加贴合歌词本身，提高了旋律生成的可靠性。
附图说明
[0033]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本专利技术提供的旋律生成方法的流程示意图之一；
[0035]图2是本专利技术提供的音符序列的解码方法的流程示意图；
[0036]图3是本专利技术提供的音乐层级结构的结构示意图；
[0037]图4是本专利技术提供的旋律生成方法的流程示意图之二；
[0038]图5是本专利技术提供的旋律生成装置的结构示意图；
[0039]图6是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0040]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]歌词到旋律的生成任务不仅需要学习歌词与旋律间的耦合关系，同时还需要学习歌词里的字与音符的严格对齐关系。为了保证生成的旋律中音符能够与歌词中的字严格对齐，本专利技术提供一种旋律生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种旋律生成方法，其特征在于，包括：对歌词文本进行歌词特征编码，得到歌词特征；基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。2.根据权利要求1所述的旋律生成方法，其特征在于，所述基于所述歌词特征，以及各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列，包括：基于各待解码音符在所述歌词文本中对应的歌词句和/或歌词字，确定所述各待解码音符与所述歌词文本中各歌词句和/或各歌词字之间的对齐相关度；基于所述对齐相关度和所述歌词特征，对所述各待解码音符进行音符解码，得到所述歌词文本对应的音符序列。3.根据权利要求2所述的旋律生成方法，其特征在于，所述基于各待解码音符在所述歌词文本中对应的歌词句，确定所述各待解码音符与所述歌词文本中各歌词句之间的对齐相关度，包括：若任一歌词句为所述待解码音符对应的歌词句，则计算所述歌词特征中歌词句的句特征与所述待解码音符的音符状态之间的相关度，作为所述待解码音符与所述任一歌词句之间的对齐相关度；否则，将所述待解码音符与所述任一歌词句之间的对齐相关度确定为第一预设值。4.根据权利要求2所述的旋律生成方法，其特征在于，所述基于各待解码音符在所述歌词文本中对应的歌词字，确定所述各待解码音符与所述歌词文本中各歌词字之间的对齐相关度，包括：若任一歌词字为所述待解码音符对应的歌词字，则基于所述解码音符对应的歌词字的字数确定所述待解码音符与所述任一歌词字之间的对齐相关度；否则，将所述待解码音符与所述任一歌词字之间的对齐相关度确定为第二预设值。5.根据权利要求2所述的旋律生成方法，其特征在于，所述基于所述对齐相关度和所述歌词特征，对所述各待解码音符进行音符解...

【专利技术属性】
技术研发人员：柴丽，潘嘉，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：