提供一种自动生成音乐结构性界面信息的设备和方法以及一种通过哼唱音乐旋律来检索音乐文件的系统，该设备，包括：位量化调制谱特征提取单元，用于提取音乐信号的调制谱特征，并对调制谱特征进行位量化；相似度矩阵计算单元，用于利用位量化调制谱特征提取单元位量化的调制谱特征计算相似度矩阵；高效动态匹配搜索单元，基于相似度矩阵计算单元计算的相似度矩阵自动搜索歌曲的段落起始时间和属性，并输出包括段落起始时间和属性的音乐结构性界面信息。
【技术实现步骤摘要】
本专利技术涉及音频/音乐的自动切分，特别是涉及一种自动生成音乐结构性 界面信息的设备和方法及检索系统。
技术介绍
随着便携式设备和移动存储技术的发展，越来越多的数字音乐文件开始 在互联网络和个人便携式多媒体播放器上传播。其中，绝大部分广为流传的歌曲都属于摇滚乐或者流行乐。而这两种音乐具有比较典型的结构，如图8所示。图8所示的是一首附有歌词的中文流行歌曲的主旋律曲谱。从曲谱可以 看出，这是一首2/4拍的歌曲。前8个小节为歌曲的前奏(intro);然后是16 个小节，为第一段正歌(verse);后面的16个小节，则为第一段副歌(chorus ); 此后，前8个小节会被重复，作为歌曲的间奏；接着是16个小节的第二段正 歌；最后是16个小节的第二段副歌；虽然曲语上没有显示，通常歌曲会有一 段收尾部分(outro),表示歌曲的完结。 一般来说，第一段正歌和第二段正歌， 第一段副歌和第二段副歌，从旋律上来说是非常相似的。正如图8中所示的 那样，这首歌曲的两段正歌/副歌的旋律是完全相同的，只是在歌词方面有所 不同。长期以来，音乐家们对于不同流派f大曲编曲方式、奇大曲结构进行了大量 的研究。对于很多流派的音乐而言，大家很难在乐曲的结构性问题上达成一 致意见。大家比较认同的用来表示音乐结构性信息的特点一般来说包括两点 段落性和相似性。根据这一特点，大多数的摇滚和流行歌曲都符合如下的结 构形式<table>table see original document page 7</column></row><table>总的来说， 一首摇滚或者流行歌曲通常遵循前奏-正歌-副歌-间奏-正歌 副歌-重复副歌-收尾这一结构。当然，某些歌曲为了自身风格的需要，会省略其中某些段落。比如图8中的曲谱那样，没有第三段副歌，也没有收尾部分。根据音乐旋律结构的特点，我们将音乐歌曲段落的起始位置的标记信息 定义为音乐结构性界面。在现今广泛流传的摇滚乐和流行乐的歌曲中，音乐 结构性界面包括歌曲的每一段落(正歌、副歌、前奏、间奏、收尾等)的起始时 间和属性。在摇滚乐和流行乐中，正歌一般为歌曲的故事描述部分，而副歌 一般为歌曲的情感杼发部分，这两部分通常构成了一首歌曲的主要部分。一 般来说，由于副歌部分感情饱满，并常常会用多次重复的手法来表达歌曲的 情绪，往往令听者印象深刻，而成为这首歌曲的高潮段被广泛传唱。而前奏、 间奏、收尾部分，通常只包含了伴奏乐器或者伴唱者的声音，往往无法给人 深刻的印象。因此，对于一首歌曲而言，正歌和副歌(特别是副歌)的起始 时间和属性的检测最为重要。从音乐切分算法角度而言，最为经典的算法是由Jonathan Foote和 Matthew Cooper提出的相似度分析(Similarity Analysis )算法。该算法通过对 音乐声学信号作短时傅立叶变换求取其倒语特征，进而采用自相关算法，得到歌曲的相似度矩阵(Similarity Matrix )，并在此基础上对音乐4爻落进行分析。 其算法的具体内容，可以参考以下几篇论文J. Foote, "Automatic audio segmentation using a measure of audio novelty," in Proceedings of IEEE International Conference on Multimedia and Expo, vl， 卯.452 455， 2002。M. Cooper and J. Foote, "Automatic Music Summarization via Similarity Analysis," in Proceedings of International Symposium on Music Information Retrieval, pp.81 85， 2002。M Cooper and J. Foote， "Summarizing popular music via structural similarity analysis," in proceedings of IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pp.l9 22, 2003。Y. Shiu, H. Jeong, C-C. J. Kuo, "Similarity segment detection for music structure analysis via Viterbi algorithm," in Proceedings of IEEE International Conference on Multimedia and Expo, pp.789~792, 2006。从现有应用而言，上述的算法最典型的应用是音乐摘要提取(Music Thumbnailing)领域。正如前文所述的，在摇滚乐和流行乐中，副歌部分是最8容易让人印象深刻的片段，因此最为适合用来作为歌曲的摘要和表征。基于 这种直观的考虑，以下已有文献应用了上述音乐切分算法。J. J. Aucouturier and M. Sandler, "Finding repeating patterns in acoustic musical signals: applications for audio thumbnailing," in Proceedings of AES 22nd International Conference on Virtual, Synthetic and Entertainment Audio。W. Chai, et al., "Structural analysis of musical signals for indexing and thumbnailing," in Proceedings of 2003 Joint Conference on Digital Libraries, pp.27 34, 2003。从算法角度来看，现有的相关技术所用的方法是一种具有普适性的相似 性信号检测算法。主要是通过对于音乐的声音信号作短时傅立叶分析，求取 其倒语特征，然后采用相似度分析算法，分析特征之间的相似性，从而完成 对于音频流的分割工作。这样的算法在音乐信号中，不但可以检测相似段落， 也可以检测相似小节，甚至是相似音符；类似的算法也可以应用于任何其他 特征表示中来检测特征的相似度。但随之而来的问题就是，这种算法的计算 复杂度很高，即使是在PC平台上，也难以实时运行。对于现在广泛应用的 便携式音乐播放器而言，更加难以实现。因此需要一种快速、高效的音乐段落分割算法以达到在便携式设备上实 时运^"的目的。
技术实现思路
根据本专利技术的 一方面，提供一种自动生成音乐结构性界面信息的设备， 包括位量化调制语特征提取单元，用于提取音乐信号的调制谱特征，并对 调制语特征进行位量化；相似度矩阵计算单元，用于利用位量化调制谱特征 提取单元位量化的调制谙特征计算相似度矩阵；高效动态匹配搜索单元，基 于相似度矩本文档来自技高网...
【技术保护点】
一种自动生成音乐结构性界面信息的设备，包括： 位量化调制谱特征提取单元，用于提取音乐信号的调制谱特征，并对调制谱特征进行位量化； 相似度矩阵计算单元，用于利用位量化调制谱特征提取单元位量化的调制谱特征计算相似度矩阵； 高效 动态匹配搜索单元，基于相似度矩阵计算单元计算的相似度矩阵自动搜索歌曲的段落起始时间和属性，并输出包括段落起始时间和属性的音乐结构性界面信息。
【技术特征摘要】
【专利技术属性】
技术研发人员：朱璇，史媛媛，邓菁，
申请(专利权)人：三星电子株式会社，北京三星通信技术研究有限公司，
类型：发明
国别省市：KR[韩国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。