一种利用计算机识别南音乐谱的识别方法技术

本发明专利技术涉及南音乐谱信息采集技术领域，其公开了一种利用计算机识别南音乐谱的识别方法，解决了目前南音乐谱无法被计算机识别的技术问题，包括以下步骤：第一步，模型训练：通过该步骤，得到一个音符识别器；第二步，图像识别：图像识别包括以下步骤：S1，图像加载；S2，图像缩放；S3，灰度化；S4，二值化；S5，倾斜校正；S6，列切割；S7，字符切割；S8，音符识别；S9，XML转换。根据以上技术方案，基于图像识别的基础上，对图像进行一系列的预处理，然后通过卷积神经网络训练样本，得到一个可识别南音乐谱特殊字符的图像分类器，使得计算机可以识别南音乐谱，并绘制、电子版南音乐谱，从而达到复制、推广和传承的目的。

【技术实现步骤摘要】
一种利用计算机识别南音乐谱的识别方法
本专利技术涉及南音乐谱信息采集
，更具体地说，它涉及一种利用计算机识别南音乐谱的识别方法。
技术介绍
福建泉州南音作为传统音乐珍贵的"活化石",一直倍受人们的关注。但在新世纪多元文化的冲击下,南音复杂的工乂谱以及独特性导致其保护与传承存在一些难点。首当其冲的是其乐谱，它独有的音名、指法和撩拍的字符较为特殊，无法被计算机识别，因此一直都是靠手抄、面授。其导致了识谱、编谱、打谱困难，导致学习成本大、学习门槛高，给推广和传承都造成了一定阻碍。
技术实现思路
针对
技术介绍
中提出的南音乐谱无法被计算机识别的技术问题，本专利技术该方法是基于图像识别的基础上，对图像进行一系列的预处理，然后通过卷积神经网络(CNN)训练样本，得到一个可以识别南音乐谱特殊字符的图像分类器，使得计算机可以识别南音乐谱，并绘制、编排电子版南音乐谱，从而达到便于复制、推广和传承的目的。为实现上述目的，本专利技术提供了如下技术方案：一种利用计算机识别南音乐谱的识别方法，包括以下步骤：第一步，模型训练：通过该步骤，得到一个音符识别器；第二步，图像识别：所述图像识别包括以下步骤：S1，图像加载：将扫描完成的南音乐谱图像整批次的加载进内存；S2，图像缩放：将图像调整为设定的大小；S3，灰度化：对彩色图像进行处理；S4，二值化：将图像处理为黑白两色；S5，倾斜校正：对于有倾斜角度的图像，对图像进行倾斜校正；S6，列切割：对二值图像按竖直方向做开运算，用于消除图像中的文字，留下竖直边框，可将乐谱的每一列均区分开；S7，字符切割：得到一个个切割好的、方方正正的字符图像，作为模型需要用到的样本；S8，音符识别：将经S1至S8步骤预处理后的字符图像输出到模型训练得到的音符识别器中，输出音符对应的编码，最终映射到南音特有的音名、指法和撩拍上；S9，XML转换：输出到XML文件中，形成格式化的文本。通过上述技术方案，南音乐谱识别算法主要是在对图像进行特殊处理后，用卷积神经网络(CNN)训练样本，得到一个可以识别南音乐谱特殊字符的音符识别器，从而识别南音乐谱上的特殊字符。用南音乐谱算法成功识别南音乐谱，将形态各异的、不同版本的传统乐谱变成了规范的电子乐谱。极大的降低了南音学习成本及门槛，使得南音这珍贵的传统音乐“活化石”可以被更好的推广和传承。本专利技术进一步设置为：所述模型训练包括以下步骤：第一步，图像扫描：将书面的南音乐谱扫描成图像；第二步，图像加载：将扫描完成的南音乐谱图像整批次的加载进内存；第三步，图像缩放：将图像调整为设定的大小；第四步，灰度化：对彩色图像进行处理；第五步，二值化：将图像处理为黑白两色；第六步，倾斜校正：对于有倾斜角度的图像，对图像进行倾斜校正；第七步，列切割：对二值图像按竖直方向做开运算，用于消除图像中的文字，留下竖直边框，可将乐谱的每一列均区分开；第八步，字符切割：得到一个个切割好的、方方正正的字符图像，作为模型需要用到的样本；第九步，音符标注：将字符图像映射到唯一的ASCII码上，并对样本进行标注，标注完成生成一套高质量的数据集；第十步，模型训练：采用Adam优化器、交叉熵(CrossEntropy)损失函数对网络模型进行训练，迭代设定次数；第十一步，输出模型结果：输出最优的模型用于权利要求1中的图像识别的音符识别器中。通过上述技术方案，通过模型训练步骤，可得到一个音符识别器。本专利技术进一步设置为：所述图像缩放步骤中将图像调整为2000x3000的统一大小。通过上述技术方案，图像调整为2000x3000的统一大小方便操作。本专利技术进一步设置为：选用平均值法对彩色图像进行灰度化，平均值法：经平均值法处理后的图像只剩下一个通道的灰度图像。通过上述技术方案，对彩色图像进行处理时，我们往往需要对三个通道依次进行处理，时间开销将会很大。因此，为了达到提高整个应用系统的处理速度的目的，需要对彩色图像进行灰度化以减少所需处理的数据量。本专利技术进一步设置为：用算法确定最佳的阈值T，大于阈值的设为255，小于阈值的设为0；这样处理后的图像就只有黑白两色了，从而将灰度范围划分成目标和背景两类，实现了图像的二值化。通过上述技术方案，二值化的目的是将上一步灰度的图像转换成黑白二值图像，从而能得到清洗的边缘轮廓线，更好地为边缘提取、图像分割、目标识别等后续处理服务。本专利技术进一步设置为：所述模型训练中的网络模型包括四个卷积层，即两个池化层和两个全连接层。本专利技术进一步设置为：迭代固定次数为1000次。通过上述技术方案，通过实验可知迭代固定次数为1000次可输出最优的模型用于图像识别。综上所述，本专利技术具有以下有益效果：(1)南音乐谱识别算法主要是在对图像进行特殊处理后，用卷积神经网络(CNN)训练样本，得到一个可以识别南音乐谱特殊字符的音符识别器，从而识别南音乐谱上的特殊字符；(2)用南音乐谱算法成功识别南音乐谱，将形态各异的、不同版本的传统乐谱变成了规范的电子乐谱；(3)极大的降低了南音学习成本及门槛，使得南音这珍贵的传统音乐“活化石”可以被更好的推广和传承。附图说明图1为南音音名示意图；图2为南音指法示意图；图3为南音撩拍示意图；图4为模型训练原理框图示意图；图5为图像识别原理框图示意图；图6为二维图像在y轴上的投影，即水平投影示意图；图7为二维图像在x轴上的投影，即垂直投影示意图；图8为网络训练模型示意图。具体实施方式下面结合实施例及附图对本专利技术作进一步的详细说明，但本专利技术的实施方式不仅限于此。一种利用计算机识别南音乐谱的识别方法，主要原理包括两大块，第一，通过模型训练步骤得到一个音符识别器，第二，对南音乐谱进行图像识别。具体的，如图1、图2、图3和图4所示，模型训练步骤如下：第一步，图像扫描：整个算法是要识别书面的南音乐谱中特有的音符，所以首先我们会先将书面的南音乐谱扫描成图像，存放在计算机上，一页就是一幅图像。第二步，图像加载：有了扫描后的图像，我们将南音乐谱的图像加载进内存。在训练阶段，我们会加载一批这样的图像；而在后续的识别阶段，则是一次加载一张。第三步，图像缩放：将图像调整为2000x3000的统一大小；第四步，灰度化：对彩色图像进行处理时，我们往往需要对三个通道依次进行处理，时间开销将会很大。因此，为了达到提高整个应用系统的处理速度的目的，需要对彩色图像进行灰度化以减少所需处理的数据量。在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。一般有本文档来自技高网...

【技术保护点】
1.一种利用计算机识别南音乐谱的识别方法，其特征在于，包括以下步骤：/n第一步，模型训练：通过该步骤，得到一个音符识别器；/n第二步，图像识别：/n所述图像识别包括以下步骤：/nS1，图像加载：将扫描完成的南音乐谱图像整批次的加载进内存；/nS2，图像缩放：将图像调整为设定的大小；/nS3，灰度化：对彩色图像进行处理，将其转换为具有一个通道的灰度图像；/nS4，二值化：将图像处理为黑白两色，从而将灰度范围划分成目标和背景两类，实现了图像的二值化；/nS5，倾斜校正：对于有倾斜角度的图像，对图像进行倾斜校正；/nS6，列切割：对二值图像按竖直方向做开运算，用于消除图像中的文字，留下竖直边框，可将乐谱的每一列均区分开；/nS7，字符切割：在列切割之后，单列的横排和竖排中具有多个字符，通过水平和垂直投影，将水平方向和垂直方向的字符切割开，得到了一个个切割好的、方方正正的字符图像，作为模型需要用到的样本；/nS8，音符识别：将经S1至S8步骤预处理后的字符图像输出到模型训练得到的音符识别器中，输出音符对应的编码，最终映射到南音特有的音名、指法和撩拍上；/nS9，XML转换：将识别出来音符，以及它们在乐谱中位置信息一起，输出到XML文件中，形成格式化的文本。/n...

【技术特征摘要】
1.一种利用计算机识别南音乐谱的识别方法，其特征在于，包括以下步骤：
第一步，模型训练：通过该步骤，得到一个音符识别器；
第二步，图像识别：
所述图像识别包括以下步骤：
S1，图像加载：将扫描完成的南音乐谱图像整批次的加载进内存；
S2，图像缩放：将图像调整为设定的大小；
S3，灰度化：对彩色图像进行处理，将其转换为具有一个通道的灰度图像；
S4，二值化：将图像处理为黑白两色，从而将灰度范围划分成目标和背景两类，实现了图像的二值化；
S5，倾斜校正：对于有倾斜角度的图像，对图像进行倾斜校正；
S6，列切割：对二值图像按竖直方向做开运算，用于消除图像中的文字，留下竖直边框，可将乐谱的每一列均区分开；
S7，字符切割：在列切割之后，单列的横排和竖排中具有多个字符，通过水平和垂直投影，将水平方向和垂直方向的字符切割开，得到了一个个切割好的、方方正正的字符图像，作为模型需要用到的样本；
S8，音符识别：将经S1至S8步骤预处理后的字符图像输出到模型训练得到的音符识别器中，输出音符对应的编码，最终映射到南音特有的音名、指法和撩拍上；
S9，XML转换：将识别出来音符，以及它们在乐谱中位置信息一起，输出到XML文件中，形成格式化的文本。


2.根据权利要求1所述的一种利用计算机识别南音乐谱的识别方法，其特征在于：
所述模型训练包括以下步骤：
第一步，图像扫描：将书面的南音乐谱扫描成图像，存放在计算机上，一页就是一幅图像；
第二步，图像加载：将扫描完成的南音乐谱图像整批次的加载进内存；
第三步，图像缩放：将图像调整为设定的大小；
第四步，灰度化：对彩色图像进行处理，将其转换为具有一个通道的灰度图像；
第五步，二值化：将图像处理为黑白两色，从而将灰度范围划分成目标和背景两类，实现了图像的二值化；
第六步，倾斜校正：对于有倾斜角度的图像，对图像进行倾斜校正；
第七步，列切割：对二值图像按竖直方向做开运算，用于消除图像中的文字，留下竖直边框，可将乐谱的每一列均区分开；
第八步，字符切割：在列切割之后，单列的横排和竖排中具有多个字符，通过水平...

【专利技术属性】
技术研发人员：徐凌云，肖继华，唐文千，卓佳源，杨晓琪，郭奕晗，武星，晃国清，郁抒思，
申请(专利权)人：上海画笙智能科技有限公司，
类型：发明
国别省市：上海;31