一种基于实时视频流的五线谱图像识别与编码方法及系统技术方案

本发明专利技术提供了一种基于实时视频流的五线谱图像识别与编码方法及系统，包括：实时视频流循环采集模块、视频流动态翻页判断模块、五线谱图像处理与识别模块、MIDI文件生成模块；基于实时视频流的方式，进行乐谱图像的翻页动态性判断，根据所述五线谱图像处理与识别模块对五线谱图像进行处理和识别，并按照标准电子音乐文件格式MIDI对所述音乐符号流进行编码和保存。本发明专利技术的有益效果是：本发明专利技术实现了纸质乐谱的数字化存储和传输，在视频流的基础上，解决了机器人实时演奏过程中的动态翻页过程的判断问题和复杂情况下乐谱识别及编码的问题，能够连续识别出多张乐谱，抗干扰能力好，具有很强的实用性。

A method and system for identifying and coding stave images based on real-time video streaming

The invention provides a method and a system for recognizing and encoding a five-line spectrum image based on real-time video stream, including a real-time video stream cyclic acquisition module, a video flow dynamic page turning judgment module, a five-line spectrum image processing and recognition module, a MIDI file generation module, and a music image turning based on real-time video stream. Page dynamic judgment, according to the five-line spectrum image processing and recognition module for five-line spectrum image processing and recognition, and in accordance with the standard electronic music file format MIDI to encode and save the music symbol stream. The invention has the advantages of realizing the digital storage and transmission of paper music score, solving the problems of judging the dynamic page-turning process in the process of robot real-time playing and the problems of music score recognition and coding in complex situations, and identifying multiple music scores continuously, and having good anti-interference ability. It has strong practicability.

【技术实现步骤摘要】
一种基于实时视频流的五线谱图像识别与编码方法及系统
本专利技术涉及乐谱识别领域，尤其涉及一种基于实时视频流的五线谱图像识别与编码系统。
技术介绍
历年来，经典的音乐作品大多数都以纸质的形式存储了下来，实际上，直到计算机迅速发展的今天，纸质乐谱仍然是音乐发表和音乐创作最主要的形式。然而，纸质乐谱文件不易于携带、传播、检索和存储，长久放置后的纸质乐谱还会褪色、损坏、片段丢失等。近年来伴随着计算机科学的迅速发展，人类社会进入了一个数字化的时代。计算机大容量的存储能力、超高速检索能力、以及互联网带来良好的信息传播能力让各种资料都开始了数值化的存储和传播。因此乐谱的数字化是顺应时代发展规律的必然结果。光学乐谱识别技术(OpticalMusicRecognition，简称OMR)的研究范畴属于文档图像分析(DocumentImageAnalysis，简称DIA)，具体实现是指将乐谱图像输入至计算机中，运用图像处理和模式识别的有关知识，将纸质乐谱上的音符信息以及各种符号识别出来，并将其转化为时间上连续的音符数字化信息，最后编码成标准电子音乐格式(MIDI)。传统的乐谱识别通常使用扫描仪或打印机，采用扫描的方式将乐谱图像信息输入至计算机中，如果在摆放平整、强光对照、近距离、高精度、无背景噪声干扰的扫描条件下，能够通过扫描仪或打印机能得到非常理想的乐谱图像，但是，这里需要的光照环境等要求非常苛刻，在现实中几乎不能达到，因此，在现实中要想得到理想的乐谱图像，就需要解决在摄像头采集的图像质量不高的情况下对乐谱的识别问题，即解决摄像头采集的图像中出现光照不均匀、乐谱不平整和存在拍摄阴影等的问题。随着机器人技术的快速发展，目前机器人的发展方向从工业机器人，逐步开始转向家庭机器人和各种服务型、表演型机器人，在表演型机器人完成实时乐谱读谱并演奏的过程中，在实际的环境下拍摄的图片多受乐谱质量、摆放位置、光照阴影以及拍摄背景等因素的影响呈现不同程度的信息缺失。另外，实时演奏过程中，一首歌曲的长度通常不止简单的一张纸质乐谱图像，而是包含多张纸质乐谱，在这种情况下，解决表演型机器人实时演奏过程中的动态翻页过程的判断问题和复杂情况下乐谱识别编码的问题成为了一个难题。
技术实现思路
为了以上问题，本专利技术提供了一种基于实时视频流的五线谱图像识别与编码方法及系统。一种基于实时视频流的五线谱图像识别与编码方法及系统，一种基于实时视频流的五线谱图像识别与编码方法，用于演奏机器人,所述演奏机器人具有摄像头和乐谱存放支架,解决所述演奏机器人实时演奏过程中的动态翻页过程的判断问题和乐谱识别及编码的问题，包括了实时视频流循环采集步骤、视频流动态翻页判断步骤、五线谱图像处理与识别步骤、MIDI文件生成步骤；所述实时视频流循环采集步骤，用于对所述摄像头实时拍摄的所述乐谱存放支架上的乐谱视频流进行采集，得到多张乐谱图像；所述视频流动态翻页判断步骤，对所述实时视频流循环采集步骤得到的所述多张乐谱图像进行动态翻页判断，判断所述多张乐谱图像间是否为翻页过程，若是，则丢弃所述多张乐谱图像，回到所述实时视频流循环采集步骤，重新进行采集，得到新的多张乐谱图像；若否，则所述多张乐谱图像为稳定的乐谱图像，对所述稳定的乐谱图像进行时间序列上的平均滤波处理，并发布平均滤波处理过的所述稳定的乐谱图像；所述五线谱图像处理与识别步骤，对所述稳定的乐谱图像进行处理，识别出多种音乐符号；所述MIDI文件生成步骤，结合音乐先验知识，修正识别出的所述多种音乐符号的包括音高、时值和强度的信息，并按照标准电子音乐文件格式MIDI对修正过的所述多种音乐符号进行编码和保存。进一步地，所述实时视频流循环采集步骤中，利用摄像头，实时抓取乐谱视频流，将所述乐谱视频流以时间上连续的序列进行储存乐谱图像。进一步地，所述视频流动态翻页判断步骤中，动态翻页判断的过程为：采用背景差分法，得到所述多张乐谱图像间总动态变化率；通过比较所述总动态变化率与预设的标准阈值的大小，判断所述多张乐谱图像间是否为动态翻页过程，若所述总动态变化率小于所述预设的标准阈值，则所述多张乐谱图像间不是动态翻页过程，所述张乐谱图像为所述稳定的乐谱图像。进一步地，所述五线谱图像处理与识别步骤中，对所述稳定的乐谱图像进行处理与识别的过程为：首先根据最大类间方差的方法对所述稳定的乐谱图像进行二值化处理，根据水平投影，定位所述稳定的乐谱图像中的五线谱区域，进行谱线矫正处理；然后采用谱线修补法，对矫正后的所述稳定的乐谱图像进行谱线修补和多余谱线删除处理；再通过快速连通域标记法和垂直游程分析法对谱线删除后的所述稳定的乐谱图像做音符群识别，并在记录下所述音符群后，删除所述音符群，以提高剩余的独立的音乐符号的识别率；最后根据特征提取的方法提取音乐符号的特征并计算相似度，识别出剩余的独立的多种音乐符号。进一步地，所述MIDI文件生成步骤中，首先提取所述多种音乐符号的包括音高、时值和强度的信息，然后结合音乐先验知识，根据所述多张乐谱图像中包括谱号、调号和临时升降符号调整所述多种音乐符号的音高，根据附点、休止符调整所述多种音乐符号的时值，将所述多种音乐符号转化为音高、时值、强度三部分进行编码。一种基于实时视频流的五线谱图像识别与编码系统，集成于演奏机器人中,所述系统包括：实时视频流循环采集模块、视频流动态翻页判断模块、五线谱图像处理与识别模块、MIDI文件生成模块；所述实时视频流循环采集模块，用于对实时拍摄的乐谱视频流进行采集，得到多张乐谱图像；所述视频流动态翻页判断模块，接收由所述视频流循环采集模块得到的所述多张乐谱图像，并判断所述多张乐谱图像是否进行动态翻页,若是，则丢弃所述多张乐谱图像，回到所述实时视频流循环采集模块，重新进行采集，得到新的多张乐谱图像；若否，则所述多张乐谱图像为稳定的乐谱图像，对所述稳定的乐谱图像进行时间序列上的平均滤波处理，并发布平均滤波处理过的所述稳定的乐谱图像；所述五线谱图像处理与识别模块，接收由所述视频流动态判断模块得到的稳定的乐谱图像，并对所述稳定的乐谱图像进行处理，识别出多种音乐符号；所述MIDI文件生成模块，接收由所述五线谱图像处理与识别模块识别出的所述多种音乐符号，并按照标准电子音乐文件格式MIDI对所述多种音乐符号进行编码和保存。进一步地，所述实时视频流循环采集模块中，利用所述摄像头，实时抓取乐谱视频流，将所述乐谱视频流以时间上连续的序列进行储存乐谱图像。进一步地，所述视频流动态翻页判断模块中，动态翻页判断的过程为：采用背景差分法，得到所述多张乐谱图像间总动态变化率；通过比较所述总动态变化率与预设的标准阈值的大小，判断所述多张乐谱图像间是否为动态翻页过程，若所述总动态变化率小于所述预设的标准阈值，则所述多张乐谱图像间不是动态翻页过程，所述张乐谱图像为所述稳定的乐谱图像。进一步地，所述五线谱图像处理与识别模块中，对所述稳定的乐谱图像进行处理与识别的过程为：首先根据最大类间方差的方法对所述稳定的乐谱图像进行二值化处理，根据水平投影，定位所述稳定的乐谱图像中的五线谱区域，进行谱线矫正处理；然后采用谱线修补法，对矫正后的所述稳定的乐谱图像进行谱线修补和多余谱线删除处理；再通过快速连通域标记法和垂直游程分析法对谱线删除后的所述稳定的本文档来自技高网...

【技术保护点】
1.一种基于实时视频流的五线谱图像识别与编码方法,用于演奏机器人,所述演奏机器人具有摄像头和乐谱存放支架,其特征在于:所述方法包括实时视频流循环采集步骤、视频流动态翻页判断步骤、五线谱图像处理与识别步骤、MIDI文件生成步骤；所述实时视频流循环采集步骤，用于对所述摄像头实时拍摄的所述乐谱存放支架上的乐谱视频流进行采集，得到多张乐谱图像；所述视频流动态翻页判断步骤，对所述实时视频流循环采集步骤得到的所述多张乐谱图像进行动态翻页判断，判断所述多张乐谱图像间是否为翻页过程，若是，则丢弃所述多张乐谱图像，回到所述实时视频流循环采集步骤，重新进行采集，得到新的多张乐谱图像；若否，则所述多张乐谱图像为稳定的乐谱图像，对所述稳定的乐谱图像进行时间序列上的平均滤波处理，并发布平均滤波处理过的所述稳定的乐谱图像；所述五线谱图像处理与识别步骤，对所述稳定的乐谱图像进行处理，识别出多种音乐符号；所述MIDI文件生成步骤，结合音乐先验知识，修正识别出的所述多种音乐符号的包括音高、时值和强度的信息，并按照标准电子音乐文件格式MIDI对修正过的所述多种音乐符号进行编码和保存。

【技术特征摘要】
1.一种基于实时视频流的五线谱图像识别与编码方法,用于演奏机器人,所述演奏机器人具有摄像头和乐谱存放支架,其特征在于:所述方法包括实时视频流循环采集步骤、视频流动态翻页判断步骤、五线谱图像处理与识别步骤、MIDI文件生成步骤；所述实时视频流循环采集步骤，用于对所述摄像头实时拍摄的所述乐谱存放支架上的乐谱视频流进行采集，得到多张乐谱图像；所述视频流动态翻页判断步骤，对所述实时视频流循环采集步骤得到的所述多张乐谱图像进行动态翻页判断，判断所述多张乐谱图像间是否为翻页过程，若是，则丢弃所述多张乐谱图像，回到所述实时视频流循环采集步骤，重新进行采集，得到新的多张乐谱图像；若否，则所述多张乐谱图像为稳定的乐谱图像，对所述稳定的乐谱图像进行时间序列上的平均滤波处理，并发布平均滤波处理过的所述稳定的乐谱图像；所述五线谱图像处理与识别步骤，对所述稳定的乐谱图像进行处理，识别出多种音乐符号；所述MIDI文件生成步骤，结合音乐先验知识，修正识别出的所述多种音乐符号的包括音高、时值和强度的信息，并按照标准电子音乐文件格式MIDI对修正过的所述多种音乐符号进行编码和保存。2.如权利要求1所述的一种基于实时视频流的五线谱图像识别与编码方法，其特征在于：所述实时视频流循环采集步骤中，利用所述摄像头，实时抓取乐谱视频流，将所述乐谱视频流以时间上连续的序列进行储存乐谱图像。3.如权利要求1所述的一种基于实时视频流的五线谱图像识别与编码方法，其特征在于：所述视频流动态翻页判断步骤中，动态翻页判断的过程为：采用背景差分法，得到所述多张乐谱图像间总动态变化率；通过比较所述总动态变化率与预设的标准阈值的大小，判断所述多张乐谱图像间是否为动态翻页过程，若所述总动态变化率小于所述预设的标准阈值，则所述多张乐谱图像间不是动态翻页过程，所述张乐谱图像为所述稳定的乐谱图像。4.如权利要求1所述的一种基于实时视频流的五线谱图像识别与编码方法，其特征在于：所述五线谱图像处理与识别步骤中，对所述稳定的乐谱图像进行处理与识别的过程为：首先根据最大类间方差的方法对所述稳定的乐谱图像进行二值化处理，根据水平投影，定位所述稳定的乐谱图像中的五线谱区域，进行谱线矫正处理；然后采用谱线修补法，对矫正后的所述稳定的乐谱图像进行谱线修补和多余谱线删除处理；再通过快速连通域标记法和垂直游程分析法对谱线删除后的所述稳定的乐谱图像做音符群识别，并在记录下所述音符群后，删除所述音符群，以提高剩余的独立的音乐符号的识别率；最后根据特征提取的方法提取音乐符号的特征并计算相似度，识别出剩余的独立的多种音乐符号。5.如权利要求1所述的一种基于实时视频流的五线谱图像识别与编码方法，其特征在于：所述MIDI文件生成步骤中，首先提取所述多种音乐符号的包括音高、时值和强度的信息，然后结合音乐先验知识，根据所述多张乐谱图像中包括谱号、调号和临时升降符号调整所述多种音乐符号的音高，根据附点、休止符调整所述多种音乐符号的时值，将所述多种音乐符号转化为音高、时值、强...

【专利技术属性】
技术研发人员：陈鑫，周莉，肖哲，胡欣月，费婷，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42