基于分段投影与乐符结构的谱线检测及删除方法技术

本发明专利技术公布了一种基于分段投影与乐符结构的谱线检测及删除方法，纸质乐谱图像首先通过扫描仪或者数码拍摄设备输入到计算机，然后经过去噪，图像格式变换等预处理操作，变成二值乐谱图像；输入图像经过预处理后，首先计算出乐谱的谱线间距，并以此为参考将整幅图像在垂直方向上分割成若干段，通过对部分特殊图像段进行水平投影处理后获取图像的垂直倾斜度，实现谱线垂直方向的倾斜校正，然后对各段进行水平垂直投影，计算相邻两段投影的互相关，进而实现图像水平倾斜以及谱线弯曲的校正，进一步消除二值图像由于倾斜导致部分直线段出现像素重叠的问题。本发明专利技术的能有效的解决“误删”和欠删除现象。

【技术实现步骤摘要】

本专利技术涉及多媒体信号处理
，尤其是在数字音乐图书馆等音乐乐谱数字 化应用开发的领域。
技术介绍
乐谱的专利技术是人类音乐史上的里程碑，它的出现使人们可以在一个相对标准的平 台上进行音乐的交流和传承。但是，古往今来的优秀音乐作品大都以纸质乐谱的形式保留 下来，直至今天，纸质乐谱仍是表达和描述音乐作品的主要载体。纸质乐谱的存在使得音乐 的人们交流和保存音乐，但是纸质乐谱的保存需要占用一定的存储空间，不利于保存与交 流，特别是纸质状乐谱无法实现高速查询与检索，而只能能以纯手工的方式进行。纸质乐谱 的这些缺点，使得乐谱的交流与保存极为不便。光学乐谱识别技术(OMR)是近年来发展起来的实现纸质乐谱数字化的一种主流 技术，不同于传统的图像存储格式(如JPG，TIF，GIF等)采用光学扫描压缩存贮乐谱图像， 而是记录乐谱所表达的音乐内容，因此所需要的存储空间更小，并且可以很方便的对其进 行编辑、加工、打印、传播或者实时演奏。OMR技术为纸质乐谱的数字化提供了一个智能、高 效的新途径，可以广泛的应用在计算机辅助音乐教学、数字音乐图书馆建设、互联网音乐搜 索、计算机音乐合成等领域。一个完整的OMR处理系统大致包括以下几个组成模块1)纸质乐谱图像输入及预 处理，2)乐谱谱线检测定位及删除，3)乐谱图像分割，4)乐谱图像识别，5)乐谱重建及音乐 语义解释。乐谱的分割是识别的前提，关系到整个OMR系统的性能。目前广泛采用的乐谱 分割方式主要有投影法，区域生长法，边缘提取及连通域分析等方法。投影法方法简单，但 往往只能实现对直线区域和非直线区域的有效分割，或者是进行直线的提取，无法实现对 各具体连通域进行分割；边缘提取法，区域生长法以及传统连通域方法虽能提取图像中的 各个连通区域，但运行速度慢且复杂，往往需要对图像进行多次扫描才能完成。国外有关OMR的研究起始于60年代后期，当时由于技术条件和硬件设备的限制， 所研究的内容也是非常有限的。到了 70年代，随着光学扫描仪的出现和机器性能的提升， OMR才真正已经引起众多学者的广泛注意。进入80年代后，随着计算机图形图像技术的不 断发展与成熟，研究内容越来越深入，部分研究成果也正逐步进入实用阶段。在我国，一方面由于计算机音乐发展起步晚，计算机音乐只是少数音乐工作者的 “专利”，社会缺乏计算机识别乐谱的需要；另一方面，由于国内高校的学科设置综合化程 度、学科交叉的跨度与国外有着相当大的差距，长期以来，从事计算机音乐研究的专业人才 严重缺乏。因此，OMR技术在国内的系统研究和实践工作几乎为空白。目前，西北工业大学 与西安音乐学院合作正在开展印刷体光学乐谱识别技术的研究。目前国内外对谱线的定位和检测进行了广泛的研究，提出了各种方法，检测定位 主要分为三大类方法投影法，Hough变换法以及数学形态法。投影法速度快，但传统的投 影方法无法处理倾斜或者局部弯曲的图像；Hough变化法虽能较好的处理图像倾斜现象，4但计算量十分庞大，很难实用；数学形态法的应用比较简单，但处理时结构元素的选取易受 实际图像的限制难以确定，同时对倾斜直线的检测效果也不理想。而谱线的删除方法主要是传统的直线跟踪删除方法和游程图段法，在删除过程经 常会出现“误删”或者过删除现象，理想的删除技术方法还有待进一步挖掘。
技术实现思路
本专利技术目的是针对现有技术存在的缺陷提供一种基于分段投影与乐符结构的谱 线检测及删除方法。本专利技术为实现上述目的，采用如下技术方案本专利技术基于分段投影与乐符结构的谱线检测方法，包括如下步骤(1)扫描输入以后的图像经过滤波去噪、格式变换以后得到行和列分别为WXH的 二值图像B(x，y)，(0彡χ彡W;0彡y彡H)，当像素点为黑色的目标点时B(x，y) =0，为 白色的背景点时B(x，y) = 1，其中(x、y)为像素点坐标；首先计算乐谱图像的谱线间距S， 即找出图像中出现次数最多的垂直白色游程的长度；再将图像沿水平方向划分成N个条形 区域Z1, Z2, -Zn, N = Ceil (W/(4X S)), Ceil表示朝①方向取整数，其中前N-I个区域的 宽度w为4 X S，最后一个区域宽度w为W- (N-I) X 4 X S，对最后两个区域内的子图像进行水 平投影，得到投影队列本文档来自技高网...

【技术保护点】
一种基于分段投影与乐符结构的谱线检测方法，其特征在于包括如下步骤：（１）扫描输入以后的图像经过滤波去噪、格式变换以后得到行和列分别为Ｗ×Ｈ的二值图像：Ｂ（ｘ，ｙ），（０≤ｘ≤Ｗ；０≤ｙ≤Ｈ），当像素点为黑色的目标点时Ｂ（ｘ，ｙ）＝０，为白色的背景点时Ｂ（ｘ，ｙ）＝１，其中（ｘ、ｙ）为像素点坐标；首先计算乐谱图像的谱线间距Ｓ，即找出图像中出现次数最多的垂直白色游程的长度；再将图像沿水平方向划分成Ｎ个条形区域Ｚ↓［１］，Ｚ↓［２］，…Ｚ↓［ｎ］，Ｎ＝Ｃｅｉｌ（Ｗ／（４×Ｓ）），Ｃｅｉｌ表示朝∞方向取整数，其中前Ｎ－１个区域的宽度ｗ为４×Ｓ，最后一个区域宽度ｗ为Ｗ－（Ｎ－１）×４×Ｓ，对最后两个区域内的子图像进行水平投影，得到投影队列：Ｐｒｏｊ↓［ｖ］［ｙ］＝＊Ｂ（ｙ，ｋ），１≤ｙ≤Ｈ，（２）垂直方向上的倾斜校正：根据投影队列找出第一根谱线和最后一根谱线的行位置ｒｏｗ１和ｒｏｗ２，沿谱线的位置分别在区域：Ｚ１（ｘ，ｙ）：（Ｎ－２）×ｗ＜ｘ≤Ｗ，ｒｏｗ１－Ｓ≤ｙ≤ｒｏｗ１＋Ｓ，和Ｚ２（ｘ，ｙ）：（Ｎ－２）×ｗ＜ｘ≤Ｗ，ｒｏｗ２－Ｓ≤ｙ≤ｒｏｗ２＋Ｓ中搜索出黑色像素的最大列值ｃｏｌ１和ｃｏｌ２，据此计算出整幅图像的垂直倾斜度φ：φ＝ａｒｃｔａｎ（（ｒｏｗ２－ｒｏｗ１）／（ｃｏｌ２－ｃｏｌ１））及垂直方向上的最大倾斜长度ｑ：ｑ＝（ｃｏｌ２－ｃｏｌ１）×Ｗ／（ｒｏｗ２－ｒｏｗ１）；对图像进行垂直倾斜校正：Ｂ′（ｘ，ｙ）＝Ｂ（ｘ，ｙ＋Δ′），其中Δ′＝ｆｌｏｏｒ（ｑ×ｘ／Ｈ），１≤ｘ≤Ｗ，１≤ｙ≤Ｈ，为不同像素在垂直方向上的校正量，Ｂ′（ｘ，ｙ）为垂直校正后的图像，ｆｌｏｏｒ表示向零方向取整；（３）水平方向上的倾斜及弯曲校正：对步骤（２）所划分的各个子区域进行水平投影，得到各条形子区域的水平投影队列：Ｐｒｏｊ［ｙ，ｎ］＝＊Ｂ（ｙ，ｋ），其中ｓｐ＝（ｎ－１）×ｗ，１≤ｎ≤Ｎ，１≤ｙ≤Ｈ，ｎ为条形区域的段号；（４）相同的的两个曲线的相关系数最大，故对相邻两段的水平投影图进行互相关运算，得到互相关队列Ｃｒｏｓｓ（λ，ｎ），以获得两个投影图对应谱线间的位置差ｄ（ｎ）；Ｃｒｏｓｓ（λ，ｎ）＝＊Ｐｒｏｊ（ｋ，ｎ）×Ｐｒｏｊ（ｋ＋λ，ｎ＋１），其中－Ｓ＜λ＜Ｓ，１≤ｎ≤Ｎ－１。Ｐ１，Ｐ２为互相关计算的下限和上限，如果λ≤０，则Ｐ１＝－λ＋１，Ｐ２＝Ｈ，如果λ＞０则Ｐ１＝１，Ｐ２＝Ｈ－λ，λ为水平投影队列在垂直方向上移动的距离，其值设定在一个...

【技术特征摘要】
一种基于分段投影与乐符结构的谱线检测方法，其特征在于包括如下步骤(1)扫描输入以后的图像经过滤波去噪、格式变换以后得到行和列分别为W×H的二值图像B(x，y)，(0≤x≤W；0≤y≤H)，当像素点为黑色的目标点时B(x，y)＝0，为白色的背景点时B(x，y)＝1，其中(x、y)为像素点坐标；首先计算乐谱图像的谱线间距S，即找出图像中出现次数最多的垂直白色游程的长度；再将图像沿水平方向划分成N个条形区域Z1，Z2，…Zn，N＝Ceil(W/(4×S))，Ceil表示朝∞方向取整数，其中前N 1个区域的宽度w为4×S，最后一个区域宽度w为W (N 1)×4×S，对最后两个区域内的子图像进行水平投影，得到投影队列 <mrow><msub> <mi>Proj</mi> <mi>v</mi></msub><mo>[</mo><mi>y</mi><mo>]</mo><mo>=</mo><munderover> <mi>&Sigma;</mi> <mrow><mi>k</mi><mo>=</mo><mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>2</mn> <mo>)</mo></mrow><mo>&times;</mo><mn>4</mn><mo>&times;</mo><mi>S</mi><mo>+</mo><mn>1</mn> </mrow> <mi>W</mi></munderover><mi>B</mi><mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo></mrow><mo>,</mo><mn>1</mn><mo>&le;</mo><mi>y</mi><mo>&le;</mo><mi>H</mi><mo>,</mo> </mrow>(2)垂直方向上的倾斜校正根据投影队列找出第一根谱线和最后一根谱线的行位置row1和row2，沿谱线的位置分别在区域Z1(x，y)(N 2)×w＜x≤W，row1 S≤y≤row1+S，和Z2(x，y)(N 2)×w＜x≤W，row2 S≤y≤row2+S中搜索出黑色像素的最大列值col1和col2，据此计算出整幅图像的垂直倾斜度φφ＝arctan((row2 row1)/(col2 col1))及垂直方向上的最大倾斜长度qq＝(col2 col1)×W/(row2 row1)；对图像进行垂直倾斜校正B′(x，y)＝B(x，y+Δ′)，其中Δ′＝floor(q×x/H)，1≤x≤W，1≤y≤H，为不同像素在垂直方向上的校正量，B′(x，y)为垂直校正后的图像，floor表示向零方向取整；(3)水平方向上的倾斜及弯曲校正对步骤(2)所划分的各个子区域进行水平投影，得到各条形子区域的水平投影队列 <mrow><mi>Proj</mi><mo>[</mo><mi>y</mi><mo>,</mo><mi>n</mi><mo>]</mo><mo>=</mo><munderover> <mi>&Sigma;</mi> <mrow><mi>k</mi><mo>=</mo><mi>sp</mi> </mrow> <mrow><mi>k</mi><mo>=</mo><mi>sp</mi><mo>+</mo><mi>w</mi> </mrow></munderover><mi>B</mi><mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo></mrow><mo>,</mo> </mrow>其中sp＝(n 1)×w，1≤n≤N，1≤y≤H，n为条形区域的段号；(4)相同的的两个曲线的相关系数最大，故对相邻两段的水平投影图进行互相关运算，得到互相关队列Cross(λ，n)，以获得两个投影图对应谱线间的位置差d(n)； <mrow><mi>Cross</mi><mrow> <mo>(</mo> <mi>&lambda;</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>&Sigma;</mi> <mrow><mi>k</mi><mo>=</mo><mi>P</mi><mn>1</mn> </mrow> <mrow><mi>P</mi><mn>2</mn> </...

【专利技术属性】
技术研发人员：邹采荣，杨银贤，赵力，奚吉，王开，陈存宝，王青云，余华，
申请(专利权)人：东南大学，
类型：发明
国别省市：32[中国|江苏]