本申请公开一种手势交互方法和电子设备，涉及终端领域，该方法包括：显示虚拟乐器的第一弹奏界面，根据识别到用户佩戴可穿戴设备的手做出弹奏虚拟乐器的第一手指动作，根据第一手指动作对应的虚拟乐器的第一弹奏单元，播放第一弹奏单元对应的声音，显示第一弹奏单元被弹奏的第一效果。还可以通过对比用户弹奏的音调和节拍与标准的音调和节拍，识别用户的弹奏错误，并进行提示，进而帮助用户纠错。还可以通过多设备连接，将弹奏过程显示在屏幕尺寸更大的设备上，便于用户查看。实现与虚拟乐器的弹奏交互，模拟真实的音乐的弹奏场景，提升用户的交互体验。
【技术实现步骤摘要】
本申请涉及终端领域，尤其涉及一种手势交互方法和电子设备。
技术介绍
1、手势交互是一种常见的人机交互方式，相比于触摸、语音交互，手势交互具有更好的互动性。
2、目前，在一些手势交互的应用场景中，设备通过识别用户的拍手动作来确定用户的拍手频率是否与音乐的节拍匹配，这种交互方式过于简单和基础，仅实现与音乐的节拍交互，不能模拟真实的音乐的场景，用户的体验感较差。
技术实现思路
1、本申请实施例提供一种手势交互方法和电子设备，通过识别用户佩戴可穿戴设备的手做出弹奏虚拟乐器的第一手指动作，播放弹奏虚拟乐器的声音，显示弹奏虚拟乐器的特效，实现弹奏虚拟乐器的交互。
2、为达到上述目的，本申请的实施例采用如下技术方案：
3、第一方面，提供了一种手势交互方法，该方法包括：
4、显示虚拟乐器的第一弹奏界面，根据识别到用户佩戴可穿戴设备的手做出弹奏虚拟乐器的第一手指动作，根据第一手指动作对应的虚拟乐器的第一弹奏单元，播放第一弹奏单元对应的声音，显示第一弹奏单元被弹奏的第一效果。
5、在该实施方式中，通过识别用户弹奏虚拟乐器的第一手指动作，实现与虚拟乐器的弹奏交互，可以模拟真实的音乐的弹奏场景，提升用户的交互体验。
6、一种可能的实施方式中，可穿戴设备部署有肌电传感器，可以通过表面肌电信号检测用户做出的第一手指动作。
7、在该实施方式中，利用肌电传感器可以实现对用户的手指动作的检测，进而能够识别用户是否做出第一手指动作。</p>8、一种可能的实施方式中，根据第一手指动作对应的手指、手指与第一弹奏界面中弹奏单元的对应关系，确定第一弹奏单元。
9、在该实施方式中，通过手指与弹奏单元的对应关系，确定与用户做出第一手指动作的手指对应的第一弹奏单元，进而实现播放第一弹奏单元的声音，显示第一弹奏单元被弹奏的特效。
10、一种可能的实施方式中，响应于用户佩戴可穿戴设备做出的第一手腕动作，显示第二弹奏界面；第二弹奏界面包括有未在第一弹奏界面显示的第二弹奏单元。
11、在该实施方式中，第一弹奏界面包括响应于用户佩戴可穿戴设备做出第一手腕动作前显示的弹奏界面，在第一弹奏界面中，包括虚拟乐器的第一弹奏单元；第二弹奏界面包括响应于用户佩戴可穿戴设备做出第一手腕动作后显示的弹奏界面，在第二弹奏界面中，包括未在第一弹奏界面显示的第二弹奏单元，通过识别用户做出的第一手腕动作，改变显示出的虚拟乐器的弹奏单元，实现模拟在弹奏真实乐器时手腕在乐器的不同弹奏单元的移动。
12、一种可能的实施方式中，可穿戴设备部署有惯性测量单元，可以通过惯性测量单元检测用户做出的第一手腕动作。
13、在该实施方式中，利用惯性测量单元可以实现对用户的手腕动作的检测，进而能够识别用户是否做出第一手腕动作。
14、一种可能的实施方式中，根据第一手腕动作的移动距离和旋转角度确定虚拟乐器的弹奏单元的移动距离和旋转角度，在得到虚拟乐器的弹奏单元的移动距离和旋转角度后，根据第一弹奏界面中弹奏单元对应的位姿，以及虚拟乐器的弹奏单元的移动距离和旋转角度，确定第二弹奏界面。
15、在该实施方式中，可以实现根据用户的手腕动作改变显示的虚拟乐器的弹奏单元。
16、一种可能的实施方式中，显示包括用户弹奏第一乐曲过程中生成的音调和节拍的第一乐谱，和包括第一乐曲的标准音调和标准节拍的第二乐谱。
17、在该实施方式中，用户可以通过显示的第一乐谱和第二乐谱发现自身的弹奏错误。
18、一种可能的实施方式中，识别第一乐谱和第二乐谱，如果第一乐谱中第一音调与第二乐谱中第二音调不同，或者，第一乐谱中第一节拍与第二乐谱中第二节拍不同，发出第一弹奏错误信息。
19、在该实施方式中，第一乐谱中第一音调与第二乐谱中第二音调不同可以表征为弹奏指法错误，第一乐谱中第一节拍与第二乐谱中第二节拍不同可以表征为弹奏节拍错误，可以通过识别第一乐谱和第二乐谱，发现用户弹奏错误，并发出第一弹奏错误信息提示用户出现弹奏错误，帮助用户纠正弹奏错误，实现弹奏虚拟乐器的教学。
20、一种可能的实施方式中，第一弹奏错误提示信息包括：显示第一弹奏错误提示信息，播放第一弹奏错误提示信息，或震动。
21、在该实施方式中，通过显示第一弹奏错误提示信息，播放第一弹奏错误提示信息，或震动，多维度的提示用户弹奏错误，可以强化用户对弹奏错误的感知。
22、一种可能的实施方式中，从可穿戴设备接收第一数据，根据第一数据确定用户佩戴可穿戴设备做出第一手指动作。
23、在该实施方式中，第一数据包括惯性测量单元和肌电传感器检测到的信号，从可穿戴设备接收第一数据，可穿戴设备可以仅作为输入设备使用，无需占用可穿戴设备的运算资源。
24、一种可能的实施方式中，从可穿戴设备接收第二数据，根据第二数据，播放虚拟乐器被弹奏的视频。
25、在该实施方式中，第二数据包括视频流数据，从可穿戴设备接收第二数据，播放虚拟乐器被弹奏的视频，用户无需在可穿戴设备较小尺寸的显示屏上观看虚拟乐器被弹奏的视频。
26、第二方面，提供了一种电子设备，包括：处理器和存储器；该存储器用于存储计算机执行指令，当该电子设备运行时，该处理器执行该存储器存储的该计算机执行指令，以使该电子设备执行如上述第一方面中任一项所述的方法。
27、第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的方法。
28、第四方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的方法。
29、其中，第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。
30、其中，第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。
本文档来自技高网...
【技术保护点】
1.一种手势交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述可穿戴设备包括肌电传感器，所述第一手指动作是通过所述肌电传感器检测到的。
3.根据权利要求2所述的方法，其特征在于，在播放所述第一弹奏界面中第一弹奏单元的声音，在所述第一弹奏界面显示第一效果之前，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述显示虚拟乐器的第一弹奏界面之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述可穿戴设备包括惯性测量单元，所述第一手腕动作是通过所述惯性测量单元检测到的。
6.根据权利要求5所述的方法，其特征在于，所述显示第二弹奏界面之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述第一乐曲包括第一音符，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述发出第一弹奏错误提示信息包括：显示第一弹奏错误提示信息，播放第一弹奏错误提示信息，或震动。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
12.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器，所述处理器与所述存储器耦合；所述存储器用于存储计算机程序代码；所述计算机程序代码包括计算机指令，当所述处理器执行上述计算机指令时，使得所述电子设备执行如权利要求1-11中任意一项所述的方法。
13.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11中任意一项所述的方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上所述权利要求1-11中任意一项所述的方法。
...
【技术特征摘要】
1.一种手势交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述可穿戴设备包括肌电传感器，所述第一手指动作是通过所述肌电传感器检测到的。
3.根据权利要求2所述的方法，其特征在于，在播放所述第一弹奏界面中第一弹奏单元的声音，在所述第一弹奏界面显示第一效果之前，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述显示虚拟乐器的第一弹奏界面之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述可穿戴设备包括惯性测量单元，所述第一手腕动作是通过所述惯性测量单元检测到的。
6.根据权利要求5所述的方法，其特征在于，所述显示第二弹奏界面之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述第一乐曲包括第一音符，所述方法还包括：
9.根...
【专利技术属性】
技术研发人员：高祖昱，王敬川，肖宇翔，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。