基于深度学习的和弦进行生成方法技术

本发明专利技术提供了一种基于深度学习的和弦进行生成方法，所述方法包括：S1、基于计算机视觉技术制作数据集，数据集包括旋律数据及和弦数据；S2、通过数据集训练基于注意力机制的旋律‑和弦机器翻译模型；S3、检测旋律序列，并将旋律序列输入至基于注意力机制的旋律‑和弦机器翻译模型，获取对应的和弦序列。本发明专利技术结合注意力机制模型及相关乐理理论，训练得到旋律‑和弦机器翻译模型，实现了旋律至和弦的自动翻译，降低了翻译模型训练损失值，提高了翻译准确率，能够为音乐旋律编配合适、动听的和弦进行。

Chord Generation Method Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的和弦进行生成方法
本专利技术涉及音乐和声
，特别是涉及一种基于深度学习的和弦进行生成方法。
技术介绍
和弦(chord)源自希腊文，原意是指弦线。在音乐理论里，是指组合在一起的两个或更多不同音高的音。在欧洲古典音乐及受其影响的音乐风格里，更多时候是指三个或以上的音高组合，而两个音高的组合则以音程来描述。和弦的组成音，可分开演奏，亦可同时演奏。和弦有三度叠置与非三度叠置之分，在西方传统和声中的和弦，均按照三度叠置的原则构成，因此和弦表示为若干组成音的集合。按照现代和声协和理论，当两个不同音高的音同时奏响时，两音之间的音程差决定了这个和声的协和度，并且这个协和度是可以根据音程差进行分类的。现有的自动伴奏技术需要由用户给出和弦，由琶音生成器(Arpeggiator)生成最终的伴奏。琶音生成器的原理即借由有限状态机(DFA)对给出的和弦里的音进行排列组合，生成一个由和弦音组成的单音序列。现有技术中已经公开了几种和弦自动生成的技术，如中国专利申请201410582178.1中公开了一种基于遗传算法的和弦伴奏生成方法，其采用遗传算法生成单音序列的和弦，但采用遗传算法生成的和旋准确率仍然较低。因此，针对上述技术问题，有必要提供一种基于深度学习的和弦进行生成方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于深度学习的和弦进行生成方法。为了实现上述目的，本专利技术一实施例提供的技术方案如下：一种基于深度学习的和弦进行生成方法，所述方法包括：S1、基于计算机视觉技术制作数据集，数据集包括旋律数据及和弦数据；S2、通过数据集训练基于注意力机制的旋律-和弦机器翻译模型；S3、检测旋律序列，并将旋律序列输入至基于注意力机制的旋律-和弦机器翻译模型，获取对应的和弦序列。一实施例中，所述步骤S1具体为：S11、获取若干乐谱图片；S12、对乐谱图片进行分割处理，得到旋律区域图片及对应的和弦区域图片；S13、将旋律区域图片及和弦区域图片对应转化为旋律文本数据及和弦文本数据，旋律文本数据包括高音和时值参数，和弦文本数据包括字母；S14、对旋律文本数据及和弦文本数据进行处理得到数据集。一实施例中，所述步骤S12具体为：对乐谱图片进行一次高斯滤波降噪，再将乐谱图片进行横向投影，得到像素堆积的峰值特征；追踪峰值特征定位到每行线谱的位置，裁剪出上方的旋律序列和下方的和弦序列；将线谱、旋律序列、和弦序列标记合在一起的一行乐谱图片做纵向投影，追踪小节线特征将乐谱图片切割为旋律区域图片及和弦区域图片。一实施例中，所述步骤S14具体为：对旋律文本数据及和弦文本数据进行降维处理，去除旋律文本数据中的时值参数。一实施例中，所述旋律-和弦机器翻译模型为旋律序列到和弦序列的机器翻译模型，包括编码器和解码器，所述编码器和解码器均使用LSTM长短期记忆循环神经网络，编码器用于接收旋律序列并加工成中间语义向量C，所述解码器用于将中间语义向量C转换为对应的和弦序列。一实施例中，所述基于注意力机制的旋律-和弦机器翻译模型中，编码器用于接收旋律序列并加工成中间语义向量Ci，解码器用于将中间语义向量Ci转换为对应的和弦序列，中间语义向量Ci为：其中，Lx是旋律序列的长度，aij是输出第i个和弦序列时对旋律序列第j段局部旋律的注意力系数，hj是旋律序列第j段局部旋律的语义编码。一实施例中，所述中间语义向量Ci中，aij的计算方法为：使用输出和弦序列i-1时刻的隐藏状态Hi-1去逐个与输入旋律序列中每个局部旋律对应的神经网络隐藏状态hj进行比对，通过匹配函数F(hj,Hi-1)来获得当前输入的和弦序列所产生的解码器隐藏状态与之前编码器逐个依次输入局部旋律记录得到的多个编码器隐藏状态进行比较；通过匹配函数F(hj,Hi-1)得到多个数值，并统一输出到SoftMax函数中进行归一化后得到符合概率分布区间取值的注意力分配概率分布数值。一实施例中，所述匹配函数F(hj,Hi-1)为加权求和函数。一实施例中，所述步骤S3中的“检测旋律序列”包括：S31、确定拍速BPM；S32、调整麦克风灵敏度阈值；S33、使用麦克风检测旋律，得到旋律序列。一实施例中，所述步骤S33具体为：按照固定频率BPM/60*4次/秒，调用detect函数来获取当前外界的频率值存入到数组中；旋律的存储结构采用JAVA内部类，类内包括音高和时值两个成员变量。停止后，数组内音高前后相同的进行合并，转储为旋律序列。本专利技术具有以下有益效果：本专利技术结合注意力机制模型及相关乐理理论，训练得到旋律-和弦机器翻译模型，实现了旋律至和弦的自动翻译，降低了翻译模型训练损失值，提高了翻译准确率，能够为音乐旋律编配合适、动听的和弦进行。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术中基于深度学习的和弦进行生成方法的流程示意图；图2为本专利技术中旋律-和弦机器翻译模型的模块示意图；图3为本专利技术中LSTM长短期记忆循环神经网络的原理示意图；图4为本专利技术中注意力机制模型的原理示意图；图5为本专利技术一具体实施例中吉他乐谱的示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。参图1所示，本专利技术公开了一种基于深度学习的和弦进行生成方法，该方法包括：S1、基于计算机视觉技术制作数据集，数据集包括旋律数据及和弦数据；S2、通过数据集训练基于注意力机制的旋律-和弦机器翻译模型；S3、检测旋律序列，并将旋律序列输入至基于注意力机制的旋律-和弦机器翻译模型，获取对应的和弦序列。其中，步骤S1具体为：S11、获取若干乐谱图片；S12、对乐谱图片进行分割处理，得到旋律区域图片及对应的和弦区域图片；S13、将旋律区域图片及和弦区域图片对应转化为旋律文本数据及和弦文本数据，旋律文本数据包括高音和时值参数，和弦文本数据包括字母；S14、对旋律文本数据及和弦文本数据进行处理得到数据集。进一步地，步骤S12具体为：对乐谱图片进行一次高斯滤波降噪，再将乐谱图片进行横向投影，得到像素堆积的峰值特征；追踪峰值特征定位到每行线谱的位置，裁剪出上方的旋律序列和下方的和弦序列；将线谱、旋律序列、和弦序列标记合在一起的一行乐谱图片做纵向投影，追踪小节线特征将乐谱图片切割为旋律区域图片及和弦区域图片。进一步地，步骤S14具体为：对旋律文本数据及和弦文本数据进行降维处理，去除旋律文本数据中的时值参数。参图2所示，本专利技术中旋律-和弦机器翻译模型为旋律序列到和弦序列的机器翻译模型，包括编码器和解码器，编码器和解码器均使用LSTM长短期记忆循环神经网络，编码器用于接收旋律序列并加工成中间语义向量C，解码器用于将中间语义向量C转换为对应的和弦序列。参图3所示，LS本文档来自技高网...

【技术保护点】
1.一种基于深度学习的和弦进行生成方法，其特征在于，所述方法包括：S1、基于计算机视觉技术制作数据集，数据集包括旋律数据及和弦数据；S2、通过数据集训练基于注意力机制的旋律‑和弦机器翻译模型；S3、检测旋律序列，并将旋律序列输入至基于注意力机制的旋律‑和弦机器翻译模型，获取对应的和弦序列。

【技术特征摘要】
1.一种基于深度学习的和弦进行生成方法，其特征在于，所述方法包括：S1、基于计算机视觉技术制作数据集，数据集包括旋律数据及和弦数据；S2、通过数据集训练基于注意力机制的旋律-和弦机器翻译模型；S3、检测旋律序列，并将旋律序列输入至基于注意力机制的旋律-和弦机器翻译模型，获取对应的和弦序列。2.根据权利要求1所述的基于深度学习的和弦进行生成方法，其特征在于，所述步骤S1具体为：S11、获取若干乐谱图片；S12、对乐谱图片进行分割处理，得到旋律区域图片及对应的和弦区域图片；S13、将旋律区域图片及和弦区域图片对应转化为旋律文本数据及和弦文本数据，旋律文本数据包括高音和时值参数，和弦文本数据包括字母；S14、对旋律文本数据及和弦文本数据进行处理得到数据集。3.根据权利要求2所述的基于深度学习的和弦进行生成方法，其特征在于，所述步骤S12具体为：对乐谱图片进行一次高斯滤波降噪，再将乐谱图片进行横向投影，得到像素堆积的峰值特征；追踪峰值特征定位到每行线谱的位置，裁剪出上方的旋律序列和下方的和弦序列；将线谱、旋律序列、和弦序列标记合在一起的一行乐谱图片做纵向投影，追踪小节线特征将乐谱图片切割为旋律区域图片及和弦区域图片。4.根据权利要求2所述的基于深度学习的和弦进行生成方法，其特征在于，所述步骤S14具体为：对旋律文本数据及和弦文本数据进行降维处理，去除旋律文本数据中的时值参数。5.根据权利要求1所述的基于深度学习的和弦进行生成方法，其特征在于，所述旋律-和弦机器翻译模型为旋律序列到和弦序列的机器翻译模型，包括编码器和解码器，所述编码器和解码器均使用LSTM长短期记忆循环神经网络，编码器用于接收旋律序列并加工成中间语义向量C，所述解码器用于将中间语义向量C转换为对应的和弦序列。6.根...

【专利技术属性】
技术研发人员：王子豪，魏东来，王文玉，赵梓良，
申请(专利权)人：王子豪，
类型：发明
国别省市：山东,37