一种基于旋律特征聚类与优化的哼唱检索方法技术

本申请涉及一种基于旋律特征聚类与优化的哼唱检索方法，包括：对训练数据进行旋律特征提取，该特征为音高向量；对音高向量进行聚类并利用聚类标签训练DBN网络；利用训练好的DBN模型对测试数据提取特征；与训练集旋律特征库中的旋律特征进行匹配并找到所属类别，在类内继续匹配输出检索结果。本方法将优化初始聚类中心的k

【技术实现步骤摘要】
一种基于旋律特征聚类与优化的哼唱检索方法


[0001]本专利技术涉及声音与音乐的信号处理技术、音乐声学理论、机器学习、人工智能
，具体涉及一种哼唱检索方法。

技术介绍

[0002]哼唱检索是近年来新兴的检索方法，是一项通过哼唱歌曲来进行音乐检索的技术。具体而言，哼唱检索需要检索出与哼唱旋律特征相匹配的歌曲旋律特征，从而根据旋律特征的匹配程度来确定哼唱歌曲的所属类别。然而，不同人哼唱同一旋律将会产生较大差异，从而导致同首歌在不同版本之间的旋律特征具有极强的不一致性。因此，并无法保证哼唱歌曲与其对应歌曲的旋律特征完全一致，进而导致检索结果不准确。研究者们针对旋律匹配问题，Jang首先尝试了动态时间归整(dynamic time warping,DTW)与线性伸缩(linear scaling,LS)等近邻检索算法。接着，Wu提出了一种具有优越性的递归对齐(recursive align,RA)方法。而Ryynanen提出的局部敏感哈希(Locally Sensitive Hashing,LSH)方法则是目前应用最为广泛的近邻检索方法。LSH方法需要通过旋律特征在多个方向上的投影来获取近邻，因此并无法保证其得到的近邻候选集是旋律特征的真正近邻。
[0003]针对上述问题，可以直接在特征空间中对旋律特征进行聚类，将空间距离近的旋律特征划分到同一聚类，使得划分到同一聚类内的旋律特征均互为真正近邻，从而有效保证检索结果的正确性。在众多旋律特征聚类方法中，使用最广泛的方法为k
‑
均值聚类算法(kr/>‑
means)。虽然k
‑
means算法简单高效，但随机选取初始聚类中心将引入更多的不确定因素，且易陷入局部最优解。针对k
‑
means算法初始簇心敏感和无法很好处理密度差异较大的数据集问题，本文将优化初始聚类中心的k
‑
means(optimized initial clustering center k
‑
means,OICC k
‑
means)算法引入到哼唱检索中，其能够依据高密度优先聚类的思想，提升密度差异较大数据集的聚类效果，增强算法的稳定性。
[0004]经过特征聚类后，同簇的旋律特征具有更高的结构相似性。对旋律特征进行聚类后，本文将聚类结果作为标签，并采用深度置信网络(deep beliefnetworks,DBN)来进行旋律特征提取，以获得区分性更强的高层旋律特征。进行哼唱检索时，利用哼唱旋律特征匹配到最相似的聚类特征，在该聚类内的歌曲旋律特征结构相似，正确检索结果包含在其中。实验结果表明所提出的方法能够有效提升哼唱检索系统的性能。

技术实现思路

[0005]本专利技术要解决的技术问题是哼唱检索不稳定的问题，提出了一种基于旋律特征聚类与优化的哼唱检索方法。
[0006]为了达到上述目的，本专利技术采用的技术方案是：
[0007]S1、对歌曲库MIDI文件提取音高向量；
[0008]S2、利用基于优化初始聚类中心的k
‑
means算法，对步骤S1中提取的音高向量进行
聚类，获取聚类标签；
[0009]S3、利用步骤S1中提取的音高向量及步骤S2中获取的聚类标签训练DBN模型；
[0010]S4、利用步骤S3中得到的DBN模型，提取步骤S1中音高向量所对应的高层旋律特征及其类别信息，利用这些信息构成歌曲特征库；
[0011]S5、对哼唱WAV文件提取音高向量；
[0012]S6、利用步骤S3中得到的DBN模型，提取步骤S5中音高向量所对应的高层旋律特征及其类别信息；
[0013]S7、利用步骤S6中得到的类别信息，将步骤S6中提取的高层旋律特征与步骤S4歌曲特征库中同类别的高层旋律特征进行匹配，最终得到匹配结果。
[0014]进一步的，所述步骤S1中对歌曲库MIDI文件提取音高向量，其具体方法包括：
[0015]S11、MIDI文件由不同音符值p
i
持续t
i
时间所构成的音符序列(p1,t1),...,(p
i
,t
i
)表示，音符持续时间t
i
又可以转换为持续帧数F
i
，因此可以根据帧移数将时间音符序列转换为帧移音符序列(p1,F1),...,(p
i
,F
i
)。
[0016]S12、所有的二维帧移音符序列均可由一维音高序列来表示：
[0017][0018]其中，p
i
表示任意音符，F
i
表示音符持续帧数。
[0019]S13、每个MIDI文件由不同音符值p
w
构成一维音高序列(p1,...,p
w
,...,p
W
)，对其提取音高向量时，需要选取一个h秒的窗，在窗内提取一个固定时间间隔的高维音高向量，然后移动窗去提取下一个音高向量，以此类推，最终即可获得全部音高向量，表示为：
[0020]x＝(p1,...,p
w+T
,...,p
W+T(D
‑
1)
)
[0021]其中，x为音高向量，T为采样间隔，D为音高向量维数。
[0022]进一步的，所述步骤S2中对步骤S1中提取的音高向量进行聚类，其具体方法包括：
[0023]S21、将样本数据集合定义表示为D＝{x1,x2,...,x
n
}，k个簇类定义表示为C＝{C1,C2,...,C
k
}，m个集合定义表示为M＝{M1,M2,...,M
m
}，根据上述的符号定义，首先应该计算出两数据对象间的欧式距离：
[0024][0025]式中，x
i
，x
j
表示为数据对象，x
il
表示为x
i
的第l个特征属性，x
jl
表示为x
j
的第l个特征属性；接着将距离最短的两个数据对象组成一个样本集合M
m
(0≤m≤k)，k表示为簇类数，从总的数据集D中将它们删除，同时计算出样本集合M
m
内所有数据对象的均值。
[0026]S22、计算数据集D中每个对象与样本集合M
m
间的距离：
[0027][0028]其中，M为距离最短的两点组成的集合，D'为删除集合M中数据后的样本数据集，为第m个集合M
m
的均值；找到距离最近的点加入集合M
m
，将它从数据集D中删除，并计算集合M
m
内所有数据对象的均值；重复执行直到M
m
内数据对象大于等于α
·
(n/k),(0＜α≤1)；若m＜k，则重复以上步骤直到m≥k，即当集合的数目等于簇类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旋律特征聚类与优化的哼唱检索方法，其特征在于，包括以下几个步骤：S1、对歌曲库MIDI文件提取音高向量；S2、利用基于优化初始聚类中心的k
‑
means算法，对步骤S1中提取的音高向量进行聚类，获取聚类标签；S3、利用步骤S1中提取的音高向量及步骤S2中获取的聚类标签训练DBN模型；S4、利用步骤S3中得到的DBN模型，提取步骤S1中音高向量所对应的高层旋律特征及其类别信息，利用这些信息构成歌曲特征库；S5、对哼唱WAV文件提取音高向量；S6、利用步骤S3中得到的DBN模型，提取步骤S5中音高向量所对应的高层旋律特征及其类别信息；S7、利用步骤S6中得到的类别信息，将步骤S6中提取的高层旋律特征与步骤S4歌曲特征库中同类别的高层旋律特征进行匹配，最终得到匹配结果。2.根据权利要求1所述的一种基于旋律特征聚类与优化的哼唱检索方法，其特征在于，所述步骤S1包括：S11、MIDI文件由不同音符值p
i
持续t
i
时间所构成的音符序列(p1,t1),...,(p
i
,t
i
)表示，音符持续时间t
i
又可以转换为持续帧数F
i
，因此可以根据帧移数将时间音符序列转换为帧移音符序列(p1,F1),...,(p
i
,F
i
)；S12、所有的二维帧移音符序列均可由一维音高序列来表示：其中，p
i
表示任意音符，F
i
表示音符持续帧数；S13、每个MIDI文件由不同音符值p
w
构成一维音高序列(p1,...,p
w
,...,p
W
)，对其提取音高向量时，需要选取一个h秒的窗，在窗内提取一个固定时间间隔的高维音高向量，然后移动窗去提取下一个音高向量，以此类推，最终即可获得全部音高向量，表示为：x＝(p1,...,p
w+T
,...,p
W+T(D
‑
1)
)其中，x为音高向量，T为采样间隔，D为音高向量维数。3.根据权利要求1所述的一种基于旋律特征聚类与优化的哼唱检索方法，其特征在于，所述步骤S2中的k
‑
means算法如下：S21、将样本数据集合定义表示为D＝{x1,x2,...,x
n
}，k个簇类定义表示为C＝{C1,C2,...,C
k
}，m个集合定义表示为M＝{M1,M2,...,M
m
}，根据上述的符号定义，首先应该计算出两数据对象间的欧式距离：式中，x
i
，x
j
表示为数据对象，x
il
表示为x
i
的第l个特征属性，x
jl
表示为x
j
的第l个特征属性；接着将距离最短的两个数据对象组成一个样本集合M
m
(0≤m≤k)，k表示为簇类数，从总的数据集D中将它们删除，同时计算出样本集合M
m
内所有数据对象的均值；S22、计算数据集D中每个对象与样本集合M
m
间的距离：
其中，M为距离最短的两点组成的集合，D'为删除集合M中数据后的样本数据集，为第m个集合M
m
的均值；找到距离最近的点加入集合M
m
，将它从数据集D中删除，并计算集合M
m
内所有数据对象的均值；重复执行直到M
m
内数据对象大于等于α
·
(n/k),(0＜α≤1)；若m＜k，则重复以上步骤直到m≥k，...

【专利技术属性】
技术研发人员：王宁，陈德运，季超群，陈晨，何勇军，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：