基于Transformer的条件音乐主题旋律自动生成方法及系统技术方案

本发明专利技术公开了一种基于Transformer的条件音乐主题旋律自动生成方法及系统，将原始数据集当中的数据进行统一的数据格式转换，筛选得到主题音乐数据集；将主题音乐数据集中的主题音乐进行音乐主题片段提取；将主题音乐数据集中的每个样本的音乐主题片段序列输入到Transformer的编码器中，得到编码器的输出；将主题音乐数据集中的每个样本的完整音乐序列输入到Transformer的解码器中，解码器的输入由两部分构成，分别为样本完整音乐序列和编码器的输出，进行解码操作得到包含音乐主题片段的音乐序列，进行误差计算更新参数；反复训练模型直至终止，将用户输入音乐主题旋律作为条件音乐主题片段序列输入到模型当中，得到包含音乐主题片段序列的完整音乐序列并保存文件。音乐主题片段序列的完整音乐序列并保存文件。音乐主题片段序列的完整音乐序列并保存文件。

【技术实现步骤摘要】
基于Transformer的条件音乐主题旋律自动生成方法及系统


[0001]本专利技术涉及音乐智能生成领域，尤其是涉及一种基于Transformer的条件音乐主题旋律自动生成方法及系统。

技术介绍

[0002]音乐是一门时间的艺术，而一段优美的音乐又是由多部分构成的，在这诸多的音乐表现因素中，旋律则是最重要的，可以说是音乐的灵魂，一段动听的旋律是具有重复性的，旋律中的某些片段会随着时间的推移反复的出现，这些重复的片段往往蕴含着作者想要表达的情感，因此又可以称这些片段为音乐的主题。而传统的音乐自动生成方法几乎没有考虑音乐的主题，然后，生成的旋律比较杂乱，缺乏和谐性，让人听起来不会产生深刻的印象。如黄颂国等人提出的一种旋律生成方法及系统，采用的方法是使用MIDI格式的音乐文件作为数据集，然后对MIDI文件进行特征提取得到旋律特征，并利用算法生成器去处理这些旋律特征得到最终的旋律，该方法只是考虑了音符级数、音符力度、动机位置、音程等旋律特征，而这些特征只是在音符级别上的，而并未考虑这些音符在整段旋律当中的排列模式，导致最终生成音乐的规律性和和谐性较差，无法体现音乐的主题风格；再如赵洲等人提出的一种基于编码
‑
解码网络的音乐伴奏自动生成方法及其系统，所采用的音乐生成方法仍然只是考虑了音符级别的音乐特征，并未将音乐的整体结构以及音乐主题风格作为生成阶段的考虑因素，只是依托于模型通过深度学习的方式去提取这些潜在的特征，但这种生成模式往往是低效的，最终生成的音乐质量也是难以与真实音乐相媲美的。
[0003]目前的专利文献中，已授权专利(CN109727590B)提供基于循环神经网络的音乐生成方法及装置，涉及深度学习
，方法包括以下步骤：建立循环神经网络；将MIDI格式的第一音符序列进行预处理，得到训练数据集；通过训练数据集对循环神经网络进行训练，得到神经网络模型；通过神经网络模型及采样策略对输入的第二音符序列的各个音符事件进行计算、排序，输出第三音符序列；将第三音符序列解码转换为MIDI格式的音符序列文件；将音符序列文件转换为音频格式的输出文件。该专利技术通过神经网络模型生成音乐，借助深度神经网络强大的学习、表示能力，通过采样策略，快速有效的得到优质的旋律，便于用户生成原始的旋律，有效提高了音乐创作的效率。
[0004]但是，其缺陷是该专利技术使用循环神经网络进行音乐生成，循环神经网路在处理较长序列时存在梯度消失问题，不能有效学习较长序列的相应特征。因此，该专利技术进行音乐生成时，生成的音乐往往不具备长时间结构联系，这影响了生成音乐的动听性，缺乏实用价值。
[0005]可见，本领域亟待出现相应的解决技术方案。

技术实现思路

[0006]本专利技术所采用的技术方案克服现有技术缺陷，提供了一种基于Transformer的条件音乐主题旋律自动生成方案。
[0007]本专利技术提供一种基于Transformer的条件音乐主题旋律自动生成方法，包括以下步骤，
[0008]步骤1，将原始数据集当中的数据进行统一的数据格式转换，转换为MIDI格式的音乐数据集，然后对MIDI格式的数据集进行过滤，筛选出具有主题音乐的数据样本，将非主题音乐进行过滤，得到主题音乐数据集；
[0009]步骤2，将主题音乐数据集中的主题音乐进行音乐主题片段提取；
[0010]步骤3，将主题音乐数据集中的每个样本的音乐主题片段序列输入到Transformer的编码器中，对音乐主题片段序列进行编码后得到编码器的输出；其中音乐主题片段序列是原MIDI格式音乐文件经处理后得到的初始音乐表征序列，并通过对应的词汇表转换后得到的整型数组；
[0011]步骤4，将主题音乐数据集中的每个样本的完整音乐序列输入到Transformer的解码器中，其中样本完整音乐序列是原MIDI格式音乐文件经处理后得到的初始音乐表征序列，并经过对应的词汇表转换后得到的整型数组；
[0012]解码器的输入由两部分构成，分别为样本完整音乐序列和编码器的输出；对解码器的输入序列进行解码操作得到包含音乐主题片段的音乐序列，最后将解码器的输出序列与原始样本序列进行误差计算，并利用反向传播算法同步更新编码器和解码器的参数；
[0013]步骤5，返回重复步骤3、4，反复训练模型，直至模型达到训练终止条件；将用户输入音乐主题旋律作为条件音乐主题片段序列输入到模型当中，得到包含音乐主题片段序列的完整音乐序列，并保存为指定的音乐格式文件。
[0014]而且，步骤1的实现方式为，对于格式转换后的MIDI格式音乐数据集，以每一首MIDI格式的音乐为一个样本，对样本进行编码，得到格式为REMI的初始音乐表征，按照小节进行划分，以两个小节为一个片段，将每个样本划分为若干片段，然后计算样本中每个片段的重复次数，以样本中重复次数最多的片段为代表片段，若代表片段的重复次数达到了预设阈值，则判定样本具有音乐主题；将数据集中的所有样本进行划分，得到主题音乐数据集。
[0015]而且，步骤2的实现方式为，以每一首MIDI格式的主题音乐为一个样本，对样本进行编码，得到格式为REMI的初始音乐表征，按照小节进行划分，以两个小节为一个片段，将每个样本划分为若干片段，对划分后的样本进行词嵌入，得到对应的词向量，然后对每个样本词向量使用聚类算法，将词向量中相同或相似的片段进行聚类，得到多个簇，选取片段数最多的簇作为主题簇，然后取主题簇中离簇的质心最近的一个片段作为音乐主题片段。
[0016]而且，步骤3的实现方式为，Transformer的编码器由6个相同的编码层组成，每个编码层都由多头自注意力机制和前馈层构成，并使用了叠加法和正则化操作。
[0017]而且，解码器由6个相同的解码层组成，每个解码层都由多头自注意力机制，交叉注意力机制和前馈层构成，并使用了叠加法和正则化操作。
[0018]另一方面，本专利技术提供一种基于Transformer的条件音乐主题旋律自动生成系统，用于实现如上所述的一种基于Transformer的条件音乐主题旋律自动生成方法。
[0019]而且，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上任一项所述的一种基于Transformer的条件音乐主题旋律自动生成方法。
[0020]而且，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于Transformer的条件音乐主题旋律自动生成方法。
[0021]本专利技术的优势包括：
[0022]1)提出了一种包含音乐主题风格的音乐生成方式，将音乐的主题作为生成的条件，最终生成的音乐无论从音符级别的特征细腻度上还是从旋律整体的完整度上都要优于其他方法，提升了生成音乐的质量。
[0023]2)在所给数据集的数据量充足的条件下，生成的包含主题风格的音乐更具有多样性，能够满足用户对于音乐主题风格的个人要求，不仅能够为专业音乐人士带来创作灵感，而且还能够为普通用户提供音乐主题风格定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的条件音乐主题旋律自动生成方法，其特征在于：包括以下步骤，步骤1，将原始数据集当中的数据进行统一的数据格式转换，转换为MIDI格式的音乐数据集，然后对MIDI格式的数据集进行过滤，筛选出具有主题音乐的数据样本，将非主题音乐进行过滤，得到主题音乐数据集；步骤2，将主题音乐数据集中的主题音乐进行音乐主题片段提取；步骤3，将主题音乐数据集中的每个样本的音乐主题片段序列输入到Transformer的编码器中，对音乐主题片段序列进行编码后得到编码器的输出；其中音乐主题片段序列是原MIDI格式音乐文件经处理后得到的初始音乐表征序列，并通过对应的词汇表转换后得到的整型数组；步骤4，将主题音乐数据集中的每个样本的完整音乐序列输入到Transformer的解码器中，其中样本完整音乐序列是原MIDI格式音乐文件经处理后得到的初始音乐表征序列，并经过对应的词汇表转换后得到的整型数组；解码器的输入由两部分构成，分别为样本完整音乐序列和编码器的输出；对解码器的输入序列进行解码操作得到包含音乐主题片段的音乐序列，最后将解码器的输出序列与原始样本序列进行误差计算，并利用反向传播算法同步更新编码器和解码器的参数；步骤5，返回重复步骤3、4，反复训练模型，直至模型达到训练终止条件；将用户输入音乐主题旋律作为条件音乐主题片段序列输入到模型当中，得到包含音乐主题片段序列的完整音乐序列，并保存为指定的音乐格式文件。2.根据权利要求1所述基于Transformer的条件音乐主题旋律自动生成方法，其特征在于：步骤1的实现方式为，对于格式转换后的MIDI格式音乐数据集，以每一首MIDI格式的音乐为一个样本，对样本进行编码，得到格式为REMI的初始音乐表征，按照小节进行划分，以两个小节为一个片段，将每个样本划分为若干片段，然后计算样本中每个片段的重复次数，以样本中重复次数最多的片段为代表片段，若代表片段的重复次数达到了预设阈值，则判定样本具有音乐主题；将数据集中的所有样本进行划分，得到主题音乐数据集。3.根据权利...

【专利技术属性】
技术研发人员：王恒，汪骁虎，郝森，油梦楠，尤昕源，
申请(专利权)人：武汉轻工大学，
类型：发明
国别省市：