一种基于AR增强现实与图形识别的教材交互系统技术方案

本发明专利技术公开了一种基于AR增强现实与图形识别的教材交互系统，混合现实模块显示虚拟图像和/或现实图像；图像采集模块采集目标手势、音乐简谱，目标手势包括第一手势和第二手势，处理模块识别匹配目标手势与第一手势，若匹配成功后则获取音乐简谱对应的音符编码序列表，并基于音符编码确定模拟实物钢琴的按键位置及按键时间；练习模式下，混合现实模块显示虚拟图像和现实图像，所述虚拟图像为模拟实物钢琴和当前按键时间的按键位置，现实图像为第二手势，音频输出模块输出对应的音频；演奏模式下，混合现实模块显示虚拟图像和现实图像，虚拟图像仅为模拟实物钢琴，现实图像为第二手势，音频采集模块采集对应的音频。实现递进式教学，提高学习效率。提高学习效率。提高学习效率。

【技术实现步骤摘要】
一种基于AR增强现实与图形识别的教材交互系统


[0001]本专利技术属于教材交互系统领域，具体来说涉及一种基于AR增强现实与图形识别的教材交互系统。

技术介绍

[0002]就一本书面教材而言，在没有老师的引导下需要学习者反复多次阅读理解，才能对知识有一个好的掌握，乐器初学者更是如此，在学习了音乐的基础知识后，需要经过反复多次的练习，才能对歌曲进行演奏，如钢琴初学者。
[0003]钢琴初学者的练习需要以钢琴为基础，并需要老师在旁进行指导，需要耗费的成本比较大，若自己进行练习无法指出不足并进行改正，学习效率不高。

技术实现思路

[0004]本专利技术的目的在于提供一种基于AR增强现实与图形识别的教材交互系统，以解决
技术介绍
提出的问题。
[0005]为实现上述目的，本专利技术提供技术方案如下：
[0006]一种基于AR增强现实与图形识别的教材交互系统，其特征在于，包括混合现实模块、图像采集模块、音频输出模块、音频采集模块、数据存储模块以及处理模块，
[0007]所述混合现实模块用于显示虚拟图像和/或现实图像，所述虚拟图像为模拟实物钢琴，所述现实图像为图像采集模块采集的图像；
[0008]所述图像采集模块采集的图像为目标手势、音乐简谱，所述目标手势包括第一手势和第二手势，第一手势用于扫描音乐简谱，第二手势作用于模拟实物钢琴的按键；
[0009]所述处理模块用于识别匹配目标手势与第一手势，并在匹配成功后对图像采集模块采集的音乐简谱进行深度学习识别，得到对应的音符编码序列表；以及，根据音符编码确定模拟实物钢琴的按键位置及按键时间；
[0010]所述音频输出模块用于通过音符编码序列表实现音乐简谱的音频播放；
[0011]所述音频采集模块用于获取目标音频；
[0012]所述数据存储模块用于存储音乐简谱和对应的音符编码序列表；
[0013]所述教材交互系统包括练习模式和演奏模式，练习模式下，混合现实模块显示虚拟图像和现实图像，所述虚拟图像为模拟实物钢琴和当前按键时间的按键位置，所述现实图像为第二手势，所述音频输出模块输出对应的音频；
[0014]演奏模式下，混合现实模块显示虚拟图像和现实图像，所述虚拟图像仅为模拟实物钢琴，所述现实图像为第二手势，所述音频采集模块采集对应的音频。
[0015]优选地，所述音符编码序列表包括若干音符编码，任一音符编码为一个8 位二进制编码{A7,A6,A5,
…
,A0}，A7用于表示高音记号，A6A5表示下划线数量， A4用于表示低音记号，A3A2A1A0用于表示音符基元。
[0016]优选地，所述练习模式下，对当前按键时间的按键位置进行第一标记，对下一按键
时间的按键位置进行第二标记。
[0017]优选地，所述系统还包括第一判别模块，用于判别练习模式下，当前按键时间的按键位置与第二手势是否一致，若不一致，则错误次数加1，否则不加1，计算对应音乐简谱的错误率为若错误率大于预设值，则无法进入演奏模式。
[0018]优选地，所述练习模式下，若当前按键时间的按键位置与第二手势不一致，停止对当前按键时间的计时、且不播放音频直至第二手势与当前按键时间的按键位置一致。
[0019]优选地，所述系统还包括音像结合模块和网络传输模块，演奏模式下，音像结合模块将音频采集模块的音频与混合现实模块的虚拟图像和显示图像，进行基于时间序列的合成，得到影像视频并通过网络传输模块发送给第三方。
[0020]优选地，所述目标手势还包括第三手势，第三手势用于选取简谱片段，简谱片段为音乐简谱中的至少一小节，通过目标检测算法对音乐简谱进行目标检测，获取音乐简谱的小节目标框，并对小节目标框进行编号，将简谱片段中的每一小节与音乐简谱进行匹配，确定简谱片段中任一小节的目标编号，通过目标编号和音符编码序列确定对应的若干个音符编码，得到音符编码分序列，通过音符编码分序列确定模拟实物钢琴的按键位置及按键时间，并实现音频播放。
[0021]如权利要求1所述的一种基于AR增强现实与图形识别的教材交互系统，其特征在于，所述系统还包括评分模块，用于计算演奏模式下的演奏评分，包括：判断第二手势与按键位置是否一致，若不一致，则按键错误次数加1，且时间错误次数加1，否则判断第二手势的持续时间与按键位置的按键时间是否一致，若是，时间错误次数加1，分别计算按键错误率和时间错误率，误率，演奏评分为按键错误率和时间错误率的加权和。
[0022]优选地，对演奏模式下发生按键错误的小节，在音符编码序列中提取音符编码子序列，并存储至高频练习数据库，在练习模式下进行单一、多频次练习。
[0023]与现有技术相比，本专利技术的有益效果为：
[0024]本专利技术中，通过获取的音乐简谱转化为对应的音符编码序列表，将音符编码序列表转化为按键动作，并与目标手势进行比对，实现钢琴学习的傻瓜式教学，无需老师从旁指导，对初学者较为友好，且节省成本，混合现实模块时间目标手势和模拟实物钢琴的画面融合现实，增强现实模拟效果，提供沉浸式体验；通过设置练习模式进行引导练习，待达到一定熟练度后可进入演奏模式进行自由演奏，实现递进式教学，提高学习效率。
附图说明
[0025]图1为本专利技术的模块图。
[0026]图2为音符基元编码图。
具体实施方式
[0027]下面将结合附图和具体实施例，对本专利技术的技术方案做进一步解释，本专利技术所要求保护的技术范围包括但不限于具体实施方式所记载的内容。
[0028]一种基于AR增强现实与图形识别的教材交互系统，包括混合现实模块、图像采集模块、音频输出模块、音频采集模块、数据存储模块以及处理模块。
[0029]所述混合现实模块用于显示虚拟图像和/或现实图像，所述虚拟图像为模拟实物钢琴，所述现实图像为图像采集模块采集的图像。
[0030]所述图像采集模块采集的图像为目标手势、音乐简谱，所述目标手势包括第一手势和第二手势，第一手势用于扫描音乐简谱，第二手势作用于模拟实物钢琴的按键。
[0031]这里的混合现实模块在屏幕上把虚拟世界套在现实世界并进行互动，也即将模拟实物钢琴套在现实图像中进行互动，真实的目标手势和模拟实物钢琴实时地叠加到了同一个画面或空间同时存在。
[0032]目标手势为三维的立体手势，这里的“第二手势作用与模拟实物钢琴的按键”具体为，当手指按下时，模拟实物钢琴对应的按键被下压，直至手指抬起后模拟实物钢琴对应的按键复位。
[0033]所述处理模块用于识别匹配目标手势与第一手势，并在匹配成功后对图像采集模块采集的音乐简谱进行深度学习识别，得到对应的音符编码序列表；以及，根据音符编码确定模拟实物钢琴的按键位置及按键时间。
[0034]本专利技术中，图像采集模块采集目标手势后同步至处理模块，处理模块将目标手势与第一手势进行比对，若比对成功，则认为目标手势为第一手势，需要对音乐简谱进行采集；本专利技术中，采集的音乐简谱需要经过预处理，形成预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR增强现实与图形识别的教材交互系统，其特征在于，包括混合现实模块、图像采集模块、音频输出模块、音频采集模块、数据存储模块以及处理模块，所述混合现实模块用于显示虚拟图像和/或现实图像，所述虚拟图像为模拟实物钢琴，所述现实图像为图像采集模块采集的图像；所述图像采集模块采集的图像为目标手势、音乐简谱，所述目标手势包括第一手势和第二手势，第一手势用于扫描音乐简谱，第二手势作用于模拟实物钢琴的按键；所述处理模块用于识别匹配目标手势与第一手势，并在匹配成功后对图像采集模块采集的音乐简谱进行深度学习识别，得到对应的音符编码序列表；以及，根据音符编码确定模拟实物钢琴的按键位置及按键时间；所述音频输出模块用于通过音符编码序列表实现音乐简谱的音频播放；所述音频采集模块用于获取目标音频；所述数据存储模块用于存储音乐简谱和对应的音符编码序列表；所述教材交互系统包括练习模式和演奏模式，练习模式下，混合现实模块显示虚拟图像和现实图像，所述虚拟图像为模拟实物钢琴和当前按键时间的按键位置，所述现实图像为第二手势，所述音频输出模块输出对应的音频；演奏模式下，混合现实模块显示虚拟图像和现实图像，所述虚拟图像仅为模拟实物钢琴，所述现实图像为第二手势，所述音频采集模块采集对应的音频。2.如权利要求1所述的一种基于AR增强现实与图形识别的教材交互系统，其特征在于，所述音符编码序列表包括若干音符编码，任一音符编码为一个8位二进制编码{A7,A6,A5,
…
,A0}，A7用于表示高音记号，A6A5表示下划线数量，A4用于表示低音记号，A3A2A1A0用于表示音符基元。3.如权利要求1所述的一种基于AR增强现实与图形识别的教材交互系统，其特征在于，所述练习模式下，对当前按键时间的按键位置进行第一标记，对下一按键时间的按键位置进行第二标记。4.如权利要求1所述的一种基于AR增强现实与图形识别的教材交互系统，其特征在于，所述系统还包括第一判别模块，用于判别练习模式下，当前按键时间的按键位置与...

【专利技术属性】
技术研发人员：吴水龙，纪尧华，张配雪，雷绍南，
申请(专利权)人：杭州杭钢炽橙智能科技有限公司，
类型：发明
国别省市：