一种可穿戴式虚拟音乐交互设备制造技术

一种可穿戴式虚拟音乐交互设备，包含主手部本体、运动定位反馈模块、人机交互模块、电池模块；所述运动定位反馈模块设置于所述主手部本体上，用于获取使用者的手部动作；将所述动作转换为数据信号并传送至内部处理器，内部处理器将生成的数据通过数据传输子模块发送至人机交互模块；所述人机交互模块对所述数据进行解析，得出使用者输入的音符参数的实际值，并将所述音符参数的实际值通过发声部件进行播放，对使用者的演奏进行视觉、听觉、触觉反馈；主手部本体和/或人机交互模块上还可以包括MIDI等接口；所述电池模块用于为运动定位反馈模块供电。该设备是一款只要穿戴在手上就能正常演奏的虚拟乐器，穿戴舒适、便于携带，支持在任何地方使用，在保证使用者双手自由的同时，能够并行实现多项任务。能够并行实现多项任务。能够并行实现多项任务。

【技术实现步骤摘要】
一种可穿戴式虚拟音乐交互设备


[0001]本技术属于可穿戴式智能设备
，具体是涉及一种通过在空中活动手臂和/或手部模拟乐器演奏的可穿戴式虚拟音乐交互设备。

技术介绍

[0002]音乐的重要性毋庸置疑，而通过乐器演奏音乐的方式，更是演奏者与音乐本身产生共鸣的意义，然而并不是每样乐器都易于随身携带、随处演奏。
[0003]然而，乐器的使用成本相对是高昂的。例如家用入门级钢琴的价格动辄几千至几万元不等，木管类乐器中常见的单簧管从学生级的上千到专家级的十余万不等，就算是相对普及的吉他或小提琴也并不廉价。与此同时，乐器的占用空间也相对较大，重量大多也不轻，不便于携带。一架立式钢琴高约130厘米，长155厘米，宽60厘米，重量可高达450千克，占地面积约一平方米，同时演奏配备的长凳也会占用一定面积，搬运困难。乐器家族中的其他大块头，例如大号、低音提琴、定音鼓、竖琴等也具有相同的体积庞大搬运不便的问题。最后，乐器的维护成本较高，例如弦乐器中琴弦的张力会降低并对音高产生影响，这必然会影响到演奏音质。萨克斯或双簧管等也在基本的乐器保养之外还要经常更换发声哨片。乐器保养维护和耗材的使用成本也增加了演奏者在购买乐器后的额外支出。
[0004]可穿戴设备是科技发展史上的重大突破，例如智能手环，全息投影等设备可以给用户带来更好的操作体验。因而，有必要将提供一种将实体乐器进行虚拟化的设备，在提供音乐使用便捷性的同时，显著降低演奏者购买和维护乐器的开销。
[0005]在现有技术中，专利CN103235641A和CN101388149A均通过视觉信号采集使用者的动作输入信息，并将视觉信号经过转换计算后得出对应的演奏音乐。该种通过视觉影像进行的动作采集方式适用范围较窄，例如在光线昏暗或变化频繁的环境下将难以工作。另外这种进行图象识别的方式准确率较低且处理速度较慢，难以跟上演奏者的节奏。图像采集设备也需要进行摆放调整和固定，在占用较大面积的同时不便于携带。专利CN106445168A给出了一种智能手套的设计，然而该设计仅是一种泛泛的框架模块且缺乏具体的应用领域。专利CN112318531A和CN111667737A给出了具体的音乐教学平台，然而前者是固定式的缺乏灵活性，后者也仅局限于教学目的。

技术实现思路

[0006]本技术提供一种可穿戴式虚拟音乐交互设备，该设备是一款只要穿戴在手上就能正常演奏的虚拟乐器，穿戴舒适、便于携带，支持在任何地方使用，在保证使用者双手自由的同时，能够并行实现多项任务。
[0007]本技术的运转无需与物体实际接触，即使是在空中活动手指，也可以达到模拟乐器演奏的效果。当使用者正确穿戴该设备并初始化定位后，他们仅需通过简单移动手指的动作，即可达到演奏乐器的效果，设备能够播放出对应位置的乐器音符。
[0008]本技术采用软硬件相结合的方式，采集使用者手指移动数据，通过硬件传感
器对生成的数据进行传输，并由软件进行接收和处理，可以支持精度高、响应时间短的手指运动识别。进一步地，本技术也可以根据需要，通过界面形式同步展现弹奏过程。
[0009]为达到上述技术要求，本技术包含硬件部分及软件部分，其中硬件部分具有4个模块，分别为：主手部本体、运动定位反馈模块、人机交互模块、电池模块。
[0010]所述主手部本体背面带有处理器和其他组件，可以获取使用者手部位移运动状况、手指敲击等动作。
[0011]所述惯性导航系统模块根据获取的动作生成位置数据和数据信号，然后通过数据传输子模块将上述信息发送至主机。
[0012]作为本技术的优选方式之一，可以在使用者手臂上增加惯性导航模块以提高移动跟踪的精度，并且可以在使用者手臂上安装电池模块。
[0013]所述软件部分在接收上述信息后，会将使用者手指运动映射到乐器音符上。当软件初始化时，使用者每个手指会先被初始化为一个静态音符；当使用者移动了佩戴的本技术时，手指位置映射的音符将根据手指位移运动而变化。软件部分将会显示出一张虚拟乐器图片，与此同时，手指位置也会同步显示在图片上形成动画或AR/VR场景，这样使用者就可以看到手在虚拟空间中对应位置以及正在演奏的音符。
[0014]具体来说，通过惯性导航模块获取的偏转角度、加速度以及时间，进而计算出使用者手部在身体坐标系中的移动位置。结合初始化的虚拟乐器的音符参数设置，计算出使用者要演奏的音符参数实际值。
[0015]本技术提供的可穿戴式虚拟音乐交互设备，给使用者提供了乐器演奏的便利性且显著降低了开销。通过分别在运动定位反馈模块中分别设置一个或多个惯性导航模块的方式，本领域技术人员可以兼顾定位逻辑的准确性和生产制造成本，并综合考虑乐器种类的适应度和对应的可扩展的算法，灵活选择具体的实现方式。此外，本技术还可以避免实体乐器对使用者手部的伤害。由于本技术穿戴轻便，且不与乐器的实体按键或音弦接触，避免了肌腱炎、手指起茧、指纹磨灭、手指变形等无法复原的伤害。
附图说明
[0016]图1为本技术的总体系统架构图。
[0017]图2为本技术的穿戴示意图。
[0018]图3为本技术具体实施方式之一的系统框图。
[0019]图4为本技术具体实施方式之一中惯性导航模块选用的MPU6050或MPU6000传感器。
[0020]图5为本技术具体实施方式之一选用的stm32程序流程图。
[0021]图6为本技术具体实施方式之一的软件状态图。
[0022]图7为本技术具体实施方式之一的界面初始化效果。
[0023]图8a、图8b为本技术具体实施方式之一的界面演奏时效果(键盘类乐器示意)。
[0024]图9为本技术具体实施方式之一的界面演奏时效果(管乐器示意)。
[0025]图10为本技术具体实施方式之一的键盘类乐器黑白键音符及对应输入值。
[0026]图11为本技术具体实施方式之一的控制板(处理器、惯性导航系统模块、DC
‑
DC部分)。
[0027]图12为本技术具体实施方式之一的加速器计算模型。
[0028]图13为本技术具体实施方式之一的重力扰动补偿模型。
[0029]图14为本技术具体实施方式之一运动过程中的加速度模型。
[0030]图15为本技术具体实施方式之一运动过程中的速度模型。
[0031]图16为本技术具体实施方式之一运动过程中的位移模型。
[0032]图17为本技术具体实施方式之一的手臂偏航示意图。
[0033]图18为在每个手指均设置子惯性导航模块或按键，以精细化得出每个手指演奏的实际音高的方式。
具体实施方式
[0034]为了使本技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本技术作具体阐述，本技术的实施方式包括但不限于下列实施例。本实用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可穿戴式虚拟音乐交互设备，包含主手部本体、运动定位反馈模块、人机交互模块、电池模块；所述运动定位反馈模块设置于所述主手部本体上，用于获取使用者的手部动作；所述运动定位反馈模块上还包括第一惯性导航模块，将所述动作转换为数据信号并传送至内部处理器，内部处理器将生成的数据通过数据传输子模块发送至人机交互模块；所述人机交互模块对所述数据进行解析，得出使用者输入的音符参数的实际值，并将所述音符参数的实际值通过发声部件进行播放，对使用者的演奏进行反馈；主手部本体和/或人机交互模块上还包括MIDI、HDMI、USB、SPI、耳机口、蓝牙接口中的一种或多种；所述电池模块用于为运动定位反馈模块供电；所述音符参数的实际值包括但不限于：音高、音长和音强。2.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，所述主手部本体可以实现为手套、手环、戒指、指套中的一种或多种组合。3.根据权利要求1或2所述的可穿戴式虚拟音乐交互设备，其特征在于，所述运动定位反馈模块包括的惯性导航模块具体包括陀螺仪和加速度计。4.根据权利要求1或2所述的可穿戴式虚拟音乐交互设备，其特征在于，所述运动定位反馈模块采用MPU6050或MPU6000传感器。5.根据权利要求1所述的可穿戴式虚拟音乐交互设备，其特征在于，所述人机交互模块还包括显示部件，通过所述显示部件对使用者演奏的虚拟乐器位置进行视觉反馈；所述视觉反馈的方式包括：将通过所述运动定位反馈模块获得的动作数据，与在...

【专利技术属性】
技术研发人员：王小兴，张晶晶，邓尧恺，
申请(专利权)人：王小兴，
类型：新型
国别省市：