一种曲谱拍照自动播放方法技术

本发明专利技术实施例公开了一种曲谱拍照自动播放方法。该方法构建主要包括如下几个关键步骤：获取图像及预处理步骤；利用像素所占比例确定五线谱以及小节位置的步骤；利用图像匹配确定乐曲节拍步骤；确定每个小节的音符步骤；转换为数字信号并进行播放步骤。利用本发明专利技术实施例，能够在不懂曲谱的情况下欣赏到曲谱的旋律，同时利用相机拍摄非常的方便，具有很大的实用价值。

【技术实现步骤摘要】

本专利技术利用图像处理技术，集中解决了五线谱的识别并播放问题，着重构建了一 个曲谱拍照自动播放系统。
技术介绍
音乐是人们身心放松的工具，乐器有很多，但曲谱只有一个，曲谱是旋律的代表。 对于熟悉五线谱的人自然能够看懂，不熟悉的人可以在互联网上搜索，但是不是所有的曲 谱都可以查到，所以本专利针对这一个问题设计了一个曲谱拍照自动播放系统，做到只要 有曲谱，就可以欣赏到音乐。 就目前来看，公开资料中尚未找到关于此方面的技术，只有电子琴，或者自己谱曲 播放的系统。基于此，考虑到操作系统的开放性，本专利技术设计了一款应用系统，利用相机对 曲谱进行拍照，并播放曲谱。
技术实现思路
本专利技术的目的是设计一个应用系统，通过调用摄像头对曲谱进行拍照，通过图像 处理技术识别音符，变换为扬声器的频率信号，使之发声为音乐。 为达到上述目的，本专利技术提出的自动播放系统包括下列步骤： 一、图像的预处理步骤：用摄像头拍摄的照片中要包含完整的平铺曲谱纸张，通过 边缘检测确定曲谱纸张的矩形边界，进行旋转变换成为标准曲谱图片； 二、五线谱，小结的确定步骤：通过对二值化图像的逐行和逐列像素检测，计算黑 色像素所占百分比，确定五线谱的行位置以及小节的分界线位置； 三、曲谱节拍的确定步骤：对第一条五线谱（左手部分）的节拍数字图像进行提取 并且，并与提前准备好的标准音节图片进行比对，确定节拍； 四、识别音符步骤：判断每一个音节中的音符类别，并确定其所代表的发音； 五、转为数字信号并播放步骤：所有音符确定之后，根据音乐与扬声器的振动频率 对应关系，使之转换为数字信号，并通过扬声器发音。 曲谱节拍的确定步骤，此步骤的具体过程如下： 1)、确定节拍数字图像的边界，现在五线谱和小节的位置已经确定，先记二值化图 像为A，为了方便确定音符的范围，在二值化图片中去掉五线谱，在第一排五线谱（左手部 分）的第一小节的范围内，逐列检测黑色像素的有无确定节拍数字图像的宽度范围，记为 Plrft和I\ight。并在此宽度内逐行检测确定节拍数字图像的高度范围，记为P high与P 。贝1J 节拍数字图像的小图图像记为： Al = A(Phigh：P low' Pleft :P right) 2)、采用模板匹配法确定节拍：将现有数字图片与模板数字图片相减，误差最小的 模板数字图片与该现有图片匹配。B为现有数字图片，Al为待匹配模板图片，即寻找B使得 最小，i和j分别为图像的行索引和列索引。 识别音符步骤，此步骤的具体过程如下： 1)确定音符的矩形边界，先记二值化图像为。由于五线谱的位置已经确定，为了方 便确定音符的范围，在二值化图片中去掉五线谱，在单一音节的范围内，逐列检测黑色像素 的有无确定音符宽度范围，记为Q lrft和Qmht。并在此宽度内逐行检测确定音符高度范围， 记为Qhigh与Q lOTt。则音符的小图图像记为： Il - I (Qhigh：Q low? Qleft：Q right) 2)对Il进行处理，将音符宽度作为特征，SP (QHght_Qleft)，把音符划分为单音符 (全音符，半分音符，1/4音符）和多音符（多音符为多个单音符的连接）。 A.对于单音符，先根据音符竖线附近的像素分布判断是否为特殊音符（如震音音 符），如果不是特殊音符，根据音符所占高度，即（Q lmt-Qhigh)，判断有几个音，对每一个音求 像素质心确定其发的对应音。 纵向质心的位置为：【主权项】1. 一种曲谱拍照自动播放系统，其特征在于，包括如下几个关键步骤： 一、 图像的预处理步骤：用摄像头拍摄的照片中要包含完整的平铺曲谱纸张，通过边缘 检测确定曲谱纸张的矩形边界，进行旋转变换成为标准曲谱图片； 二、 五线谱，小结的确定步骤：通过对二值化图像的逐行和逐列像素检测，计算黑色像 素所占百分比，确定五线谱的行位置以及小节的分界线位置； 三、 曲谱节拍的确定步骤：对第一条五线谱（左手部分）的节拍数字图像进行提取并 且，并与提前准备好的标准音节图片进行比对，确定节拍； 四、 识别音符步骤：判断每一个音节中的音符类别，并确定其所代表的发音； 五、转为数字信号并播放步骤：所有音符确定之后，根据音乐与扬声器的振动频率对应 关系，使之转换为数字信号，并通过扬声器发音。2. 如权利要求1所述的方法，其特征在于，曲谱节拍的确定步骤中，此步骤的具体过程 如下： 1) 确定节拍数字图像的边界，且五线谱和小节的位置已经确定，先记二值化图像为A， 为了方便确定音符的范围，在二值化图片中去掉五线谱，在第一排五线谱（左手部分）的 第一小节的范围内，逐列检测黑色像素的有无确定节拍数字图像的宽度范围，记为匕#和 P&ht，并在此宽度内逐行检测确定节拍数字图像的高度范围，记为Phigh与PlOTt，则节拍数字 图像的小图图像记为： A1A(Phigh:Pi〇w' right) 2) 采用模板匹配法确定节拍：将现有数字图片与模板数字图片相减，误差最小的模 板数字图片与该现有图片匹配，B为现有数字图片，A1为待匹配模板图片，即寻找B使得 min(EJj|B-Al|)最小，i和j分别为图像的行索引和列索引。3. 如权利要求1所述的方法，其特征在于，识别音符步骤中，此步骤的具体过程如下： 1) 确定音符的矩形边界，先记二值化图像为I;由于五线谱的位置已经确定，为了方便 确定音符的范围，在二值化图片中去掉五线谱，在单一音节的范围内，逐列检测黑色像素的 有无确定音符宽度范围，记为Qleft和QHght，并在此宽度内逐行检测确定音符高度范围，记为 Qhigh与Q1(W，则音符的小图图像记为： II I (Qhigh:Q low' Qleft:Q right) 2) 对II进行处理，将音符宽度作为特征，即（Q,ight_Qleft)，把音符划分为单音符（全音 符，半分音符，1/4音符）和多音符（多音符为多个单音符的连接）； A、对于单音符，先根据音符竖线附近的像素分布判断是否为特殊音符（如震音音符）， 如果不是特殊音符，根据音符所占高度，即（Q1(W-Qhigh)，判断有几个音，对每一个音求像素质 心确定其发的对应音， 纵向质心的位置为：横向质心的位置为：根据纵向质心在五线谱中的相对位置来确定其是哪种音符，根据质心（Pi，Pj)周围白 色像素的有无判断是半分音符还是1/4音符或全音符； B、对于多音符，同样先找到音符竖线，找到几根音符竖线就有几个音符，逐个判断音符 竖线附近的像素分布，即判断黑白相间的分布层数，通过层数确定音长减小的倍数，之后将 其再分割成多个单音符，重复A步骤。【专利摘要】本专利技术实施例公开了一种曲谱拍照自动播放系统。该系统构建主要包括如下几个关键步骤：获取图像及预处理步骤；利用像素所占比例确定五线谱以及小节位置的步骤；利用图像匹配确定乐曲节拍步骤；确定每个小节的音符步骤；转换为数字信号并进行播放步骤。利用本专利技术实施例，能够在不懂曲谱的情况下欣赏到曲谱的旋律，同时利用相机拍摄非常的方便，具有很大的实用价值。【IPC分类】G06K9-38, G10L13-08【公开号】CN104778467【申请号】CN201510076223【专利技术人】马占宇, 李卓, 齐峰 【申请人本文档来自技高网...

【技术保护点】
一种曲谱拍照自动播放系统，其特征在于，包括如下几个关键步骤：一、图像的预处理步骤：用摄像头拍摄的照片中要包含完整的平铺曲谱纸张，通过边缘检测确定曲谱纸张的矩形边界，进行旋转变换成为标准曲谱图片；二、五线谱，小结的确定步骤：通过对二值化图像的逐行和逐列像素检测，计算黑色像素所占百分比，确定五线谱的行位置以及小节的分界线位置；三、曲谱节拍的确定步骤：对第一条五线谱(左手部分)的节拍数字图像进行提取并且，并与提前准备好的标准音节图片进行比对，确定节拍；四、识别音符步骤：判断每一个音节中的音符类别，并确定其所代表的发音；五、转为数字信号并播放步骤：所有音符确定之后，根据音乐与扬声器的振动频率对应关系，使之转换为数字信号，并通过扬声器发音。

【技术特征摘要】

【专利技术属性】
技术研发人员：马占宇，李卓，齐峰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11