一种基于循环谱的多通道信息融合钢琴音乐记谱方法技术

本发明专利技术一种基于循环谱的多通道信息融合钢琴音乐记谱方法，包括以下步骤：将钢琴信号的循环谱输入到具有不同目标的检测网络中，分别检测钢琴音符的起始点、终点及音符持续段；将钢琴音符起始点、终点及音符持续段三个通道特征进行融合得到增强特征，将增强特征矩阵分别与音符起始点、终点、音符持续段三个特征矩阵作点积运算，得到融合特征矩阵；再利用卷积神经网络提取融合特征矩阵的跨通道信息；利用双向门控循环单元建模跨通道信息的时序关联性，借助判决函数由Sigmoid激活函数输出的音高序列概率值得到钢琴音乐音符序列，达到钢琴音乐记谱的目的。本发明专利技术的方法取得了较高的准确率和鲁棒性。确率和鲁棒性。确率和鲁棒性。

【技术实现步骤摘要】
一种基于循环谱的多通道信息融合钢琴音乐记谱方法


[0001]本专利技术属于音乐信息检索领域，涉及一种基于循环谱的多通道信息融合钢琴音乐记谱方法。

技术介绍

[0002]钢琴记谱是指从钢琴音乐信号中提取各音符的过程，是音乐信息检索领域的一个基础核心问题。由于钢琴音乐中可以在同一时间存在多个具有和声关系的并发音符，各音符具有丰富的谐波，使得钢琴音乐频谱结构非常复杂。这些分量相互叠加，难以准确提取出音符的音高信息，使得钢琴记谱具有较大难度。
[0003]现有的钢琴记谱方法包括基于频谱分解的方法与机器学习方法。基于频谱分解的方法包括非负矩阵分解法、稀疏分解法、伪二维谱分解法等。具体过程是将钢琴信号频谱用矩阵分解的方法而直接得到音高矩阵与激活矩阵，通过最小化信号频谱与音高矩阵和激活矩阵的乘积的最小距离，实现钢琴音乐记谱。但是基于频谱分解的方法很难表示音符随时间演化的属性，因此在准确率上还有待提高。现流行的机器学习方法同时考虑到起始点与音符持续段等因素进行建模，但在输入特征上缺乏对钢琴信号频谱的谐波复杂性的考虑。
[0004]现需要探索适合处理具有多个满足和声关系并发音符的钢琴记谱方法，以降低钢琴音乐表示的复杂性，减少谐波分量对音符估计的影响。

技术实现思路

[0005]为了探索适合处理复杂频谱的钢琴记谱方法，降低钢琴音乐表示的复杂性，减少谐波分量对音符估计的影响，本专利技术采用的技术方案是：一种基于循环谱的多通道信息融合钢琴音乐记谱方法，包括以下步骤：
[0006]将钢琴信号的循环谱输入到具有不同目标的检测网络中，分别检测钢琴音符的起始点、终点及音符持续段；
[0007]将钢琴音符起始点、终点及音符持续段三个通道特征进行融合得到增强特征，使得增强特征同时关注到音符起始点、终点与音符持续段信息；将增强特征矩阵分别与音符起始点、终点、音符持续段三个特征矩阵作点积运算，得到融合特征矩阵；
[0008]再利用卷积神经网络提取融合特征矩阵的跨通道信息；
[0009]利用双向门控循环单元建模跨通道信息的时序关联性，将双向门控循环单元输出的音高序列采用Sigmoid激活函数转化为音高序列的概率值，借助判决函数由Sigmoid激活函数输出的音高序列概率值得到钢琴音乐音符序列，达到钢琴音乐记谱的目的。
[0010]进一步地：所述钢琴信号的循环谱基于下列方式得到：
[0011]对钢琴音频信号进行分帧，计算每一帧信号的循环谱密度函数，得到钢琴信号的循环谱。
[0012]进一步地：所述循环谱密度函数公式如下：
[0013][0014]其中,S
X
(α,k)是关于循环频率序号α、频率序号k的二维函数，令上式中k＝0得到该帧信号的循环谱，逐帧计算循环谱生成整个音频的循环谱图。
[0015]进一步地：所述检测网络包括音符起始点检测子网络、音符终点检测子网络与音符持续段检测子网络；
[0016]所述音符起始点检测子网络、音符终点检测子网络与音符持续段检测子网络均采用四层卷积神经网络与双向门控循环单元级联的相同网络结构，各子网络参数由不同目标训练得到；
[0017]所述音符起始点检测子网络、音符终点检测子网络与音符持续段检测子网络均采用交叉熵作为损失函数，即
[0018][0019][0020][0021]T表示帧数，N＝88，即钢琴的音符数，I
on
(t,n)∈{0,1},I
off
(t,n)∈{0,1}和I
fr
(t,n)∈{0,1}分别表示钢琴信号在第t帧第n个音符的起始点、终点和音符持续段标签值，P
on
(t,n)∈[0,1],P
off
(t,n)∈[0,1]和P
fr
(t,n)∈[0,1]分别表示各个检测模块输出的第t帧第n个音符处的起始点、终点和音符持续段概率值；
[0022]则检测网络总损失函数l
tol
定义如下。
[0023]l
tol
＝l
on
+l
off
+l
fr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0024]进一步地：先将钢琴音符起始点、终点及音符持续段三个音符特征矩阵在通道维度上分别进行平均池化与最大池化，生成与音符特征矩阵同维度的平均池化与最大池化信息矩阵；
[0025]再利用卷积神经网络关联两个信息矩阵的交互特征，得到与音符起始点、终点与音符持续段维度相同的增强特征矩阵；
[0026]然后，将增强特征矩阵分别与音符起始点、终点及音符持续段特征矩阵作点积，生成融合特征矩阵；
[0027]具体公式为：
[0028]C
avg
＝Avgpool(C1,C2,C3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0029]C
max
＝Maxpool(C1,C2,C3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0030]C
′
m
＝Sigmoid(Conv([C
avg
,C
max
]))
⊙
C
m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0031]其中：m＝1,2,3，分别为音符起始点、终点与音符持续段三个通道特征矩阵；表示融合特征矩阵，表示在通道维度上对C
m
进行平均池化得到的平均池化信息矩阵，表示在通道维度上对C
m
进行最大池化得到最大池化信息矩阵；Conv(
·
)表示单层卷积神经网络3
×
3卷积核的映射函数，Sigmoid为激活函数，
⊙
表示点积运算。
[0032]进一步地：所述判决函数表达式如下：
[0033][0034]其中：p(i,j)∈[0,1]表示在第i帧存在第j个音符的概率值，Y
final
(i,j)∈{0,1}表示最终音符输出结果，Tr表示音符概率的判决阈值。
[0035]一种基于循环谱的多通道信息融合钢琴音乐记谱装置，包括：
[0036]检测模块：用于将钢琴信号的循环谱输入到具有不同目标的检测网络中，分别检测钢琴音符的起始点、终点及音符持续段；所述检测模块包括音符起始点检测子模块、音符终点检测子模块与音符持续段检测子模块；
[0037]融合模块：用于将钢琴音符起始点、终点及音符持续段三个通道特征进行融合得到增强特征，使得增强特征同时关注到音符起始点、终点与音符持续段信息；将增强特征矩阵分别与音符起始点、终点、音符持续段三个特征矩阵分别作点积运算，得到融合特征矩阵；
[0038]特征提取模块：用于利用卷积神经网络提取融合特征矩阵的跨通道信息；
[0039本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环谱的多通道信息融合钢琴音乐记谱方法，其特征在于：包括以下步骤：将钢琴信号的循环谱输入到具有不同目标的检测网络中，分别检测钢琴音符的起始点、终点及音符持续段；将钢琴音符起始点、终点及音符持续段三个通道特征进行融合得到增强特征，使得增强特征同时关注到音符起始点、终点与音符持续段信息；将增强特征矩阵分别与音符起始点、终点、音符持续段三个特征矩阵作点积运算，得到融合特征矩阵；再利用卷积神经网络提取融合特征矩阵的跨通道信息；利用双向门控循环单元建模跨通道信息的时序关联性，将双向门控循环单元输出的音高序列采用Sigmoid激活函数转化为音高序列的概率值，借助判决函数由Sigmoid激活函数输出的音高序列概率值得到钢琴音乐音符序列，达到钢琴音乐记谱的目的。2.根据权利要求1所述的一种基于循环谱的多通道信息融合钢琴音乐记谱方法，其特征在于：所述钢琴信号的循环谱基于下列方式得到：对钢琴音频信号进行分帧，计算每一帧信号的循环谱密度函数，得到钢琴信号的循环谱。3.根据权利要求1所述的一种基于循环谱的多通道信息融合钢琴音乐记谱方法，其特征在于：所述循环谱密度函数公式如下：其中,S
X
(α,k)是关于循环频率序号α、频率序号k的二维函数，令上式中k＝0得到该帧信号的循环谱，逐帧计算循环谱生成整个音频的循环谱图。4.根据权利要求1所述的一种基于循环谱的多通道信息融合钢琴音乐记谱方法，其特征在于：所述检测网络包括音符起始点检测子网络、音符终点检测子网络与音符持续段检测子网络；所述音符起始点检测子网络、音符终点检测子网络与音符持续段检测子网络均采用四层卷积神经网络与双向门控循环单元级联的相同网络结构，各子网络参数由不同目标训练得到；所述音符起始点检测子网络、音符终点检测子网络与音符持续段检测子网络均采用交叉熵作为损失函数，即叉熵作为损失函数，即叉熵作为损失函数，即T表示帧数，N＝88，即钢琴的音符数，I
on
(t,n)∈{0,1},I
off
(t,n)∈{0,1}和I
fr
(t,n)∈{0,1}分别表示钢琴信号在第t帧第n个音符的起始点、终点和音符持续段标签值，P
on
(t,n)∈[0,1],P
off
(t,n)∈[0,1]和P
fr
(t,n)∈[0,1]分别表示各个检测模块输出的第t帧第n个音符处的起始点、终点和音符持续段概率值；则检测网络总损失函数l
tol
定义如下。
l
tol
＝l
on
+l
off
+l
fr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)5.根据权利要求1所述的一种基于循环谱的多通道信息融合钢琴音乐记谱方法，其特征在于：所述将钢琴音符起...

【专利技术属性】
技术研发人员：张维维，王扬，高金艺，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：