基于虚拟现实的音乐输入的方法、系统及虚拟现实设备技术方案

本发明专利技术涉及虚拟现实技术领域，尤其涉及基于虚拟现实的音乐输入的方法、系统及虚拟现实设备，所述方法包括：a.根据用户的选择生成对应的虚拟乐器；b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；c.捕捉用户的手势数据；d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。与现有技术相比，本发明专利技术通过在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键，可以更精确的弹奏乐器，用户无需再专注于手与乐器键的位置。

The method, system and virtual reality device of music input based on virtual reality

The present invention relates to the field of virtual reality technology, particularly relates to a method of virtual reality, the music input system and virtual reality equipment based on A., the method comprises the following steps: according to the user's choice of virtual instruments to generate the corresponding B.; in the virtual instrument instrument keys at the top of preset distance set parallel to the instrument key parallel key gestures; C. data capture users; D. key instruments according to the gesture data acquisition virtual instrument by the finger or parallel keys, and play the corresponding key or key instruments parallel acoustic instruments. Compared with the existing technology, the invention can set the Parallel Keys parallel to the musical instrument keys by presetting the distance above the musical instrument keys of the virtual musical instruments, and can play the musical instruments more accurately. Users need not concentrate on the position of the hand and musical instrument keys again.

【技术实现步骤摘要】
基于虚拟现实的音乐输入的方法、系统及虚拟现实设备
本专利技术涉及虚拟现实
，尤其涉及基于虚拟现实的音乐输入的方法、系统及虚拟现实设备。
技术介绍
LeapMotion是面向PC以及Mac的体感控制器，提供更高的软硬件结合能力。LeapMotion控制器可追踪全部10只手指，150度超宽幅的空间视场，可以像在真实世界一样随意在3D的空间移动您的双手，LeapMotion控制器以超过每秒200帧的速度追踪手部移动。目前，已经有将LeapMotion应用于空中弹钢琴，但是LeapMotion设备视野范围内的手势方向是6自由度，对于空中钢琴多琴键(超过10个琴键)演奏需要虚拟场景中手与琴键保持相对应的距离，而6自由度的手势活动范围要准确的找到与琴键相对应的距离存在较大误差，体验效果欠佳。
技术实现思路
本专利技术实施例的目的在于提供虚拟现实的音乐输入的方法、系统及虚拟现实设备，以解决现有手势活动范围与乐器键的距离存在较大误差，体验效果欠佳的问题。为了解决上述问题，本专利技术实施例提供了一种基于虚拟现实的音乐输入的方法，所述方法包括：a.根据用户的选择生成对应的虚拟乐器；b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；c.捕捉用户的手势数据；d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。本专利技术实施例还提供了一种基于虚拟现实的音乐输入的系统，所述系统包括：虚拟乐器生成单元，用于根据用户的选择生成对应的虚拟乐器；平行键设置单元，用于在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；手势捕捉单元，用于捕捉用户的手势数据；播放单元，用于根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。本专利技术实施例还提供了一种虚拟现实设备，包括基于虚拟现实的音乐输入的系统。与现有技术相比，本专利技术通过在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键，可以更精确的弹奏乐器，用户无需再专注于手与乐器键的位置。附图说明图1为本专利技术实施例提供的基于虚拟现实的音乐输入的方法流程图一。图2为本专利技术实施例提供的基于虚拟现实的音乐输入的方法流程图二。图3为本专利技术实施例提供的基于虚拟现实的音乐输入的系统示意图一。图4为本专利技术实施例提供的基于虚拟现实的音乐输入的系统示意图二。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用来限定本专利技术。图1示出了本专利技术实施例提供的基于虚拟现实的音乐输入的方法流程图一，详述如下：步骤S101，根据用户的选择生成对应的虚拟乐器；在本专利技术实施例中，虚拟乐器有很多种，包括钢琴、吉他、手风琴、电子鼓等等，可以根据用户的选择生成对应的虚拟乐器。步骤S102，在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；在本专利技术实施例中，在虚拟乐器的乐器键上方预设距离，例如3厘米，设置一根平行于乐器键的平行键，平行键在渲染界面不可见，平行键可以是柱体，场景中的手可以左右移动弹奏，能精准的摆放手的位置，如果没有柱体，手在乐器键上弹奏时，由于不好把握手与乐器键的距离，一般弹奏时离乐器键的距离会偏近，容易将手嵌入到乐器键内，体验效果欠佳。而柱体由于增加了乐器键的高度，只要碰触到柱体即可发出对应的乐器键声音。步骤S103,捕捉用户的手势数据；在本专利技术实施例中，采集用户手的3D数据，包括手掌与手指的位置及移动量。步骤S104，根据手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放乐器键或平行键对应的乐器声。在本专利技术实施例中，根据手势数据分析手指按下的虚拟乐器的乐器键或者平行键，平行键与与之平行的乐器键为同一个乐器声。图2示出了本专利技术实施例提供的基于虚拟现实的音乐输入的方法流程图二，详述如下：步骤S201，根据用户的选择生成对应的虚拟乐器；步骤S202，在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；步骤S203，捕捉用户的手势数据；步骤S204，将手势数据生成模拟手指动画，并播放；在本专利技术实施例中，根据手势数据生成模拟手指动画播放，可以实时观看手部动作，也便于找准乐器键弹奏。步骤S205，根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行步骤S206，否则返回执行步骤S203；在本专利技术实施例中，在捕捉到用户的手势数据后，判断用户的手是否在虚拟乐器的乐器键上，只有手在乐器键上，弹奏时才会发出声音。步骤S206，根据手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键，继续执行步骤S207；步骤S207，播放乐器键或平行键对应的乐器声。在本专利技术实施例中，根据手势数据计算每根手指的移动量，若移动量大于预设阈值则，视为用户按下虚拟乐器的乐器键或平行键或平行键，播放乐器键或平行键对应的乐器声。图3示出了本专利技术实施例提供的基于虚拟现实的音乐输入的系统示意图一，详述如下：虚拟乐器生成单元31根据用户的选择生成对应的虚拟乐器；在本专利技术实施例中，虚拟乐器有很多种，包括钢琴、吉他、手风琴、电子鼓等等，可以根据用户的选择生成对应的虚拟乐器。平行键设置单元32在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；在本专利技术实施例中，在虚拟乐器的乐器键上方预设距离，例如3厘米，设置一根平行于乐器键的平行键，平行键在渲染界面不可见，平行键可以是柱体，场景中的手可以左右移动弹奏，能精准的摆放手的位置，如果没有柱体，手在乐器键上弹奏时，由于不好把握手与乐器键的距离，一般弹奏时离乐器键的距离会偏近，容易将手嵌入到乐器键内，体验效果欠佳。而柱体由于增加了乐器键的高度，只要碰触到柱体即可发出对应的乐器键声音。手势捕捉单元33捕捉用户的手势数据；在本专利技术实施例中，采集用户手的3D数据，包括手掌与手指的位置及移动量。播放单元34根据手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放乐器键或平行键对应的乐器声。在本专利技术实施例中，根据手势数据分析手指按下的虚拟乐器的乐器键或者平行键，平行键与与之平行的乐器键为同一个乐器声。图4示出了本专利技术实施例提供的基于虚拟现实的音乐输入的系统示意图二，详述如下：虚拟乐器生成单元41根据用户的选择生成对应的虚拟乐器；平行键设置单元42在虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；手势捕捉单元43捕捉用户的手势数据；动画模拟单元44将手势数据生成模拟手指动画，并播放；在本专利技术实施例中，根据手势数据生成模拟手指动画播放，可以实时观看手部动作，也便于找准乐器键弹奏。位置判断单元45根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行乐器播放单元，否则返回执行手势数据捕捉单元。在本专利技术实施例中，在捕捉到用户的手势数据后，判断用户的手是否在虚拟乐器的乐器键上，只有手在乐器键上，弹奏时才会发出声音。播放单元46根据手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放乐器键或平行键对应的乐器声；播放单元46包括弹奏判断模块461根据手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键。本专利技术实施例还提供一种虚拟现实设备，本文档来自技高网...

【技术保护点】
一种基于虚拟现实的音乐输入的方法，其特征在于，所述方法包括：a.根据用户的选择生成对应的虚拟乐器；b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；c.捕捉用户的手势数据；d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。

【技术特征摘要】
1.一种基于虚拟现实的音乐输入的方法，其特征在于，所述方法包括：a.根据用户的选择生成对应的虚拟乐器；b.在所述虚拟乐器的乐器键上方预设距离设置平行于乐器键的平行键；c.捕捉用户的手势数据；d.根据所述手势数据获取手指按下的虚拟乐器的乐器键或平行键，并播放所述乐器键或平行键对应的乐器声。2.如权利要求1所述的方法，其特征在于，在所述步骤d之前还包括：e.根据手势数据判断手是否在虚拟乐器的乐器键上，是则执行步骤d，否则返回步骤c。3.如权利要求1所述的方法，其特征在于，所述根据所述手势数据获取手指按下的虚拟乐器的乐器键包括：根据所述手势数据分析每根手指的移动量，若移动量大于预设移动阈值，则视为用户按下虚拟乐器的乐器键或平行键。4.如权利要求1所述的方法，其特征在于，所述步骤C之后还包括：f.将所述手势数据生成模拟手指动画，并播放。5.一种基于虚拟现实的音乐输入的系统，其特征在于，所述系统包括：虚拟乐器生成单...

【专利技术属性】
技术研发人员：郑宇翔，
申请(专利权)人：深圳市明德智慧教育科技有限公司，
类型：发明
国别省市：广东,44