一种单手残疾人用乐器辅助演奏方法技术

本发明专利技术提出了一种单手残疾人用乐器辅助演奏方法。通过视觉识别技术将乐谱输入至存储模块，通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型并在需要修改乐谱时进行修改，通过声音传感器实时监测弹奏进度，并根据弹奏进度控制机械手弹奏，机械手与残疾人手按照乐谱进度弹奏，或独自或同时配合弹奏，实现机械手与残疾人手的相互配合操作，完成乐器的演奏，该方法可辅助单手残疾人如正常人一般演奏乐器。

A Method of Assisted Performing with Musical Instruments for Handicapped Persons with One Hand

【技术实现步骤摘要】
一种单手残疾人用乐器辅助演奏方法
本专利技术涉及一种单手残疾人用乐器辅助演奏方法。
技术介绍
随着人们对残疾人的关注越来越多，残疾人的精神需求也越来越多，许多具有音乐梦想的残疾人对于音乐的追求越来越多，残疾人不再仅仅停留在歌唱、听音乐等简单需求，对于热爱乐器弹奏的单手残疾人来说，能够亲手弹奏乐器成为他们最大的梦想，但是由于大多数的乐器都是双手演奏的，如钢琴、吉他、古筝等等，虽然为了满足单手残疾人的需求，也存在一些专门设计的单手演奏乐器，但是，一方面，其演奏效果达不到双手演奏的配合效果，另一方面，单手残疾人往往都希望自己能够像正常人一样弹奏正常的乐器。
技术实现思路
基于以上需求，本专利技术提出一种可配合单手残疾人的残疾人手进行乐器演奏的单手残疾人用乐器辅助演奏方法。本专利技术的技术方案是这样实现的：一种单手残疾人用乐器辅助演奏方法，通过摄像头扫描乐谱，并将所扫描乐谱与系统中预存的乐符逐个比对，比对成功后依次存储至乐谱存储模块；通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型；主控系统将乐谱分为需要机械手独自弹奏的A部分、需要残疾人手独自弹奏的B部分以及需要机械手和残疾人手同时弹奏的AB部分；通过声音传感器实时监测乐器弹奏所发出的声音并与乐谱进行比对以监控弹奏进度，主控系统根据乐谱的进度以及声音传感器反馈的弹奏进度控制机械手进行弹奏；主控系统根据乐谱的A部分和AB部分通过单片机的延时模块和驱动模块控制机械手每次弹奏的持续时间和弹奏力度。在上述方案的基础上，进一步优化如下，通过键盘、鼠标和显示器对存储的乐谱进行修改。在上述方案的基础上，进一步优化如下，通过触摸屏对乐谱进行修改，触摸屏包括手写输入模式和键盘输入模式。在上述方案的基础上，进一步优化如下，机械手包括机械仿生手指。在上述方案的基础上，进一步优化如下，启动时，由残疾人手启动启动键以启动演奏过程。在上述方案的基础上，进一步优化如下，主控系统的芯片选用STM32F334CB。在上述方案的基础上，进一步优化如下，声音传感器选用MAX9814麦克风。在上述方案的基础上，进一步优化如下，摄像头选用OV7670摄像头。采用了上述技术方案，本专利技术的有益效果为：本专利技术为了帮助单手残疾人实现乐器演奏梦想，提供一种可帮助单手残疾人进行乐器演奏的方法，该方法的核心思想是通过设置一个机械手系统代替单手残疾人的残缺手，而机械手的弹奏则通过事先设定的乐谱以及根据弹奏进度弹奏，单手残疾人的正常手也根据乐谱弹奏，即乐谱中需要弹奏的部分分为左手部分和右手部分，以残疾人为左手残疾为例，则机械手系统替代人的左手，并与残疾人的正常右手配合依照乐谱弹奏，人手是根据大脑控制跟随乐谱弹奏右手的部分，机械手则根据主控系统控制跟随事先输入进入乐谱存储模块的乐谱弹奏左手的部分，两者按照相同的规则各自弹奏，组合而成完整的乐谱，同时，进一步提高机械手系统的智能化水平，通过声音传感器监控弹奏的声音以准确识别弹奏进度，残疾人手弹奏完对应的一段乐谱后，轮到机械手弹奏，或者轮到残疾人手和机械手同时弹奏，此时，主控系统根据声音传感器的反馈，控制机械手系统继续弹奏乐谱的下一段，弹奏过程不仅能够十分真实模拟和代替残疾人的残缺手，而且弹奏十分灵活，并非刻板的进行音乐的播放。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的单手残疾人用乐器辅助演奏方法中所使用的机械手系统的原理框图；图2为主控系统的控制逻辑框图；图中：视觉传感器模块包括摄像头，声音传感器模块包括麦克风，显示模块包括显示屏，主控单片机系统即为主控系统，键盘输入系统包括键盘、鼠标或者触摸屏，驱动模块指驱动机械手动作的机械机构。具体实施方式本专利技术的单手残疾人用乐器辅助演奏方法的具体实施例：单手残疾人用乐器辅助演奏方法整体构思：通过乐谱扫描识别技术将乐谱输入至乐谱存储模块，通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型，乐谱存储模块通过转换模块将乐谱转换为控制乐器弹奏机械手动作的程序代码，通过声音传感器实时监测残疾人手的弹奏所发出的声音，程序代码仅包含乐器弹奏机械手所需执行的部分，且程序代码被乐谱中残疾人手所需弹奏的部分分隔为n程序段，演奏启动后，主控系统控制乐器弹奏机械手按照第1程序段开始执行，执行结束后等待残疾人手弹奏，并且根据声音传感器的反馈控制第2程序段执行，如此依次执行至第n程序段，演奏结束，在此说明，其中某些程序段包含有机械手和残疾人手同时操作的程序段。乐器弹奏机械手包括驱动模块和执行机构，执行机构具有机械仿生手指。为了达到乐器弹奏机械手与人手无缝衔接的目的，将执行机构部分设置机械仿生手指，使得对于乐器的弹奏与人手的弹奏尽可能的减小区别，演奏效果更佳。主控系统控制执行上一程序段之后，计时器开始计时，计时至设定时间后，开始执行下一程序段。这是为了确保乐曲的弹奏松弛有序，而且确保不会打乱乐曲的节奏。启动时，由残疾人手启动启动键以启动演奏过程。为了确保演奏的主动权落在单手残疾人的手上，统一由单手残疾人控制演奏的开始时间，以便于根据突发情况随时调整，可以随时开始。乐谱扫描识别技术通过摄像头扫描乐谱图像，并通过与数据库内数据对比以识别乐谱中的符号。乐谱扫描识别技术还包括编辑模块，编辑模块包括用于修改乐谱的触摸屏，触摸屏支持按键输入和手写输入。由于乐谱扫描识别技术并不能保证百分百毫无错误的识别乐谱符号，因此增加编辑功能十分关键，而且，有时候需要在现有乐谱的基础上进行修改，编辑功能也是十分的必要的，而触摸屏则具有编辑十分方便的特点。演奏钢琴时，程序代码包括控制乐器弹奏机械手的按键顺序、按键力度以及按键停留时间的子代码。如图1所示，主控系统（主控单片机系统）分别与视觉传感器模块、声音传感器模块、显示模块、键盘输入系统以及机械手系统的驱动模块控制连接，驱动模块驱动机械手动作。如图2所示，控制逻辑为：启动后，系统初始化以将数据归于初始状态，通过键盘输入系统事先将待演奏乐谱输入至主控系统的对应存储模块中，当需要修改时，通过键盘输入系统对乐谱进行修改，修改完成后存档，演奏之前通过键盘输入系统设定基本数据，如所需要演奏的乐器的类型以及残疾人的正常手类型（如左手或右手），设定完成后，控制机械手回复至初始位置（相当于坐标原点），通过残疾人手启动演奏开始按键，系统开始按照所选择的乐谱演奏，主控系统和残疾人同时依照乐谱演奏，当需要残疾人先弹奏时，残疾人自己把控进度开始弹奏，或者当需要机械手弹奏时，主控系统的计时器倒计时后开始弹奏，弹奏时产生声音，声音传感器识别后反馈给主控系统，主控系统根据与乐谱的比对识别弹奏进度，指导机械手在需要机械手弹奏时进行弹奏，而且弹奏时按照程序设定可以进行设定时长和设定力度的弹奏，完全模仿人手的操作。工作原理：本专利技术为了帮助单手残疾人实现乐器演奏梦想，提供一种可帮助单手残疾人进行乐器演奏的方法，该方法的核心思想是通过设置一个机械手系统代替单手残疾人的残缺手，而机械手的弹本文档来自技高网...

【技术保护点】
1.一种单手残疾人用乐器辅助演奏方法，其特征在于，通过摄像头扫描乐谱，并将所扫描乐谱与系统中预存的乐符逐个比对，比对成功后依次存储至乐谱存储模块；通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型；主控系统将乐谱分为需要机械手独自弹奏的A部分、需要残疾人手独自弹奏的B部分以及需要机械手和残疾人手同时弹奏的AB部分；通过声音传感器实时监测乐器弹奏所发出的声音并与乐谱进行比对以监控弹奏进度，主控系统根据乐谱的进度以及声音传感器反馈的弹奏进度控制机械手进行弹奏；主控系统根据乐谱的A部分和AB部分通过单片机的延时模块和驱动模块控制机械手每次弹奏的持续时间和弹奏力度。

【技术特征摘要】
1.一种单手残疾人用乐器辅助演奏方法，其特征在于，通过摄像头扫描乐谱，并将所扫描乐谱与系统中预存的乐符逐个比对，比对成功后依次存储至乐谱存储模块；通过键盘、鼠标和显示器设置所需演奏的乐器类型和单手残疾人所需要辅助的残疾人手类型；主控系统将乐谱分为需要机械手独自弹奏的A部分、需要残疾人手独自弹奏的B部分以及需要机械手和残疾人手同时弹奏的AB部分；通过声音传感器实时监测乐器弹奏所发出的声音并与乐谱进行比对以监控弹奏进度，主控系统根据乐谱的进度以及声音传感器反馈的弹奏进度控制机械手进行弹奏；主控系统根据乐谱的A部分和AB部分通过单片机的延时模块和驱动模块控制机械手每次弹奏的持续时间和弹奏力度。2.根据权利要求1所述的单手残疾人用乐器辅助演奏方法，其特征在于，通过键盘、鼠标和显示器对...

【专利技术属性】
技术研发人员：史红燕，柳建辉，周进军，刘明佼，高岩，王东凯，郭晋昌，
申请(专利权)人：陇东学院，
类型：发明
国别省市：甘肃,62