一种智能琴谱翻阅方法技术

本发明专利技术公开了一种智能琴谱翻阅方法，它包括：步骤S1、建立演奏者专属ID，摄像头在所述专属ID下采集演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像各20张，并保存在数据库中；步骤S2、演奏前，演奏者登录专属ID，登录后，即可显示保存的20张眼部人脸特征图像及摆头动作特征图像；步骤S3、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的N张帧图像；步骤S4、将演奏者人脸图像在1秒内的N张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比。本发明专利技术提供一种智能琴谱翻阅方法，可以实现通过眼睛和头部的动作来自动翻谱。实现通过眼睛和头部的动作来自动翻谱。实现通过眼睛和头部的动作来自动翻谱。

【技术实现步骤摘要】
一种智能琴谱翻阅方法


[0001]本专利技术涉及一种智能琴谱翻阅方法。

技术介绍

[0002]目前，在现有技术中，演奏乐器(如：钢琴、管弦类乐器)时大多需要人工手动翻阅琴谱，较为麻烦，还容易打乱演奏者的节奏。随着自动翻阅装置的出现，很多演奏者都会采用自动翻页来辅助演奏，但传统的自动翻页方法一般需要演奏者借助自动翻阅装置上的按键、踏板等机构来控制翻谱，在演奏者快速且紧张的演奏过程中，难免会对演奏产生影响，进而导致现场演奏时出现突发状况，影响非常不好。

技术实现思路

[0003]本专利技术所要解决的技术问题是，克服现有技术的不足，提供一种智能琴谱翻阅方法，可以实现通过眼睛和头部的动作来自动翻谱。
[0004]为了解决上述技术问题，本专利技术的技术方案是：
[0005]一种智能琴谱翻阅方法，它包括：
[0006]步骤S1、建立演奏者专属ID，摄像头在所述专属ID下采集演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像，并保存在数据库中；
[0007]步骤S2、演奏前，演奏者登录专属ID，登录后，显示保存的眼部人脸特征图像及摆头动作特征图像；
[0008]步骤S3、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的N张帧图像；
[0009]步骤S4、将演奏者人脸图像在1秒内的N张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的N张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作；
[0010]步骤S5、根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作。
[0011]进一步，所述步骤S3中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的N张帧图像，具体包括：
[0012]步骤S31、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集；
[0013]步骤S32、对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域；
[0014]步骤S33、确定左右两只眼睛的眼部图像区域及头部图像区域后，对采集到的演奏者人脸图像进行图像区域采集提取，提取出演奏者人脸图像在1秒内的N张帧图像。
[0015]进一步，所述步骤S31中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，具体包括：
[0016]摄像头拍摄演奏者人脸图像，利用MeanShift算法对演奏者人脸图像采集提取，进
行人脸位置检测和关键点检测。
[0017]进一步，所述步骤S32中，对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域，具体包括：
[0018]输入演奏者人脸图像，判断图像中是否为演奏者人脸；
[0019]若为演奏者人脸，则基于瞳孔反光点的眼睛定位，判断是否定位准确；若定位准确，则输出眼睛坐标；若定位不准确，则基于Adaboost算法确定眼睛区域，然后基于图像灰度和几何特征进行眼睛定位；
[0020]若不是演奏者人脸，则过滤掉除演奏者之外的人脸。
[0021]进一步，所述步骤S4中将演奏者人脸图像在1秒内的N张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的N张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作，具体包括：
[0022]将演奏者人脸图像在1秒内的N张帧图像，将1秒内的N张帧图像，放置在N个流动窗口中，将每张帧图像与预存的演奏者的眼部人脸特征图像进行对比筛选；
[0023]在第一个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
[0024]在第二个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
[0025]在第三个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
[0026]在第四个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像；
[0027]在第N个流动窗口中，将所提取出的闭眼帧图像与数据库中闭眼特证人脸图像进行对比，当相似度达到阈值时，则进行下一步图像处理；若相似度未达到阈值时，则一进一出继续选取闭眼帧图像进行对比，直到选中相似度达到阈值的闭眼帧图像。
[0028]进一步，当多张闭眼帧图像均满足要求时，再进行演奏者的摆头动作特征图像的相似度对比。
[0029]进一步，所述演奏者的摆头动作特征图像的相似度对比，具体包括：
[0030]在闭眼帧图像中建立图像坐标系，判断演奏者在摆头过程中眼睛的坐标偏移量是否达到阈值；
[0031]若眼睛的坐标偏移量达到阈值，则判定演奏者做出了摆头动作；
[0032]若眼睛的坐标偏移量未达到阈值，则判定演奏者未做出摆头动作。
[0033]进一步，所述步骤S5中根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作，具体包括：
[0034]若演奏者做出了向左摆头及闭眼动作，则向前翻一页琴谱；
[0035]若演奏者做出了向右摆头及闭眼动作，则向后翻一页琴谱。
[0036]采用了上述技术方案，本专利技术通过跟踪识别演奏者人脸的特征图像，当若演奏者同时做出了向左摆头及闭眼动作，则向前翻一页琴谱；若演奏者同时做出了向右摆头及闭眼动作，则向后翻一页琴谱，无需演奏者在演奏过程中触碰其他装置来控制翻谱，实现了真正意义上的自动翻谱。本专利技术采用闭眼和摆头相结合的判定策略，演奏者闭眼的同时还要进行摆头来进行翻谱，可以防止演奏者的生理性眨眼引起翻谱误判。另外，通过本专利技术的技术方案还可以过滤掉除演奏者之外的人脸，防止摄像头画面中的其他人员引起的翻谱误判采集的演奏者人脸图像，使翻谱控制更加精确。
附图说明
[0037]图1为本专利技术的智能琴谱翻阅方法的流程图；
[0038]图2为本专利技术的智能琴谱翻阅装置的结构示意图；
[0039]图3为本专利技术的眼部图像坐标系。
具体实施方式
[0040]为了使本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能琴谱翻阅方法，其特征在于，它包括：步骤S1、建立演奏者专属ID，摄像头在所述专属ID下采集演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像，并保存在数据库中；步骤S2、演奏前，演奏者登录专属ID，登录后，显示保存的眼部人脸特征图像及摆头动作特征图像；步骤S3、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的N张帧图像；步骤S4、将演奏者人脸图像在1秒内的N张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像进行对比，若提取的1秒内的N张帧图像与预存的演奏者的眼部人脸特征图像以及演奏者的摆头动作特征图像的相似度均达到要求，则判定演奏者做出了摆头及闭眼动作；步骤S5、根据演奏者做出的摆头及闭眼动作，进行相应的翻谱动作。2.根据权利要求1所述的智能琴谱翻阅方法，其特征在于，所述步骤S3中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，根据采集到的演奏者人脸图像，提取出演奏者人脸图像在1秒内的N张帧图像，具体包括：步骤S31、摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集；步骤S32、对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域；步骤S33、确定左右两只眼睛的眼部图像区域及头部图像区域后，对采集到的演奏者人脸图像进行图像区域采集提取，提取出演奏者人脸图像在1秒内的N张帧图像。3.根据权利要求2所述的智能琴谱翻阅方法，其特征在于，所述步骤S31中，摄像头拍摄演奏者人脸，对演奏者人脸进行图像采集，具体包括：摄像头拍摄演奏者人脸图像，利用MeanShift算法对演奏者人脸图像采集提取，进行人脸位置检测和关键点检测。4.根据权利要求2所述的智能琴谱翻阅方法，其特征在于，所述步骤S32中，对演奏者人脸图像区域进行眼部图像区域识别及头部动作特征识别，得到左右两只眼睛的眼部图像区域及头部图像区域，具体包括：输入演奏者人脸图像，判断图像中是否为演奏者人脸；若为演奏者人脸，则基于瞳孔反光点的眼睛定位，判断是否定位准确；若定位准确，则输出眼睛坐标；若定位不准确，则基于Adaboost算法确定眼睛区域，然后基于图像灰度和几何特征进行眼睛定位；若不是演奏者人脸，则过滤掉除演奏者之外的人脸。5.根据权利要求2所述的智能琴谱翻阅方法，其特征在于，所述步骤S4中将演奏者人脸图像在1秒内的N张帧图像，与预存的演奏者的眼部人脸特征图像以及演奏者...

【专利技术属性】
技术研发人员：朱正阳，陶彬彬，陈田，宋明雨，李庚龙，
申请(专利权)人：皖江工学院，
类型：发明
国别省市：