虚拟乐器处理方法、装置、虚拟乐器设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种虚拟乐器处理方法、装置、虚拟乐器设备及存储介质。本发明专利技术实施例的方法，通过在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识；根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音，无需携带实体钢琴等键盘乐器，通过终端设备和虚拟乐器键盘随时随地均可实现虚拟乐器的演奏，便于携带，且降低了购买实体乐器的成本。

【技术实现步骤摘要】
虚拟乐器处理方法、装置、虚拟乐器设备及存储介质
本专利技术实施例涉及增强现实
，尤其涉及一种虚拟乐器处理方法、装置、虚拟乐器设备及存储介质。
技术介绍
音乐是人类灵魂的一部分，钢琴作为常见的乐器，被誉为“乐器之王”，受广大音乐爱好者的欢迎。随着社会的进步和时代的发展，人们开始注重精神上的追求和个人的修养，各个年龄阶层的人中都涌现出大量的钢琴学习者。爱好钢琴的用户经常想要弹奏钢琴，但是，实体钢琴的体积较大，重量较重，一般在200～500公斤之间，甚至更重，不便于移动，更无法便捷地携带，给众多钢琴用户造成很大的困扰。
技术实现思路
本专利技术实施例提供一种虚拟乐器处理方法、装置、虚拟乐器设备及存储介质，用以解决实体钢琴等体积较大的乐器，重量较重，不便于移动，更无法便捷地携带的问题。本专利技术实施例的一个方面是提供一种虚拟乐器处理方法，包括：在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识；根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音。本专利技术实施例的另一个方面是提供一种虚拟乐器处理装置，包括：手势识别模块，用于在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；处理模块，用于根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识；播放模块，用于根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音。本专利技术实施例的另一个方面是提供一种虚拟乐器设备，包括：存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述所述的虚拟乐器处理方法。本专利技术实施例的另一个方面是提供一种虚拟乐器设备，包括：摄像装置，用于实时采集用户的各个手指弹奏所述虚拟乐器键盘的图像信息，所述摄像装置设置于所述虚拟乐器键盘的上方，所述摄像装置的拍摄范围覆盖所述虚拟乐器键盘；存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述所述的虚拟乐器处理方法。本专利技术实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的虚拟乐器处理方法。本专利技术实施例提供的虚拟乐器处理方法、装置、虚拟乐器设备及存储介质，通过在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识；根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音，无需携带实体钢琴等键盘乐器，通过终端设备和虚拟乐器键盘随时随地均可实现虚拟乐器的演奏，便于携带，且降低了购买实体乐器的成本。附图说明图1为本专利技术实施例一提供的虚拟乐器处理方法流程图；图2为本专利技术实施例二提供的虚拟乐器处理方法流程图；图3为本专利技术实施例三提供的虚拟乐器处理装置的结构示意图；图4为本专利技术实施例四提供的虚拟乐器处理装置的结构示意图；图5为本专利技术实施例五提供的虚拟乐器设备的结构示意图；图6为本专利技术实施例六提供的虚拟乐器设备的结构示意图。通过上述附图，已示出本专利技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本专利技术实施例构思的范围，而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术实施例的一些方面相一致的装置和方法的例子。本专利技术实施例所涉及的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本专利技术的实施例进行描述。实施例一图1为本专利技术实施例一提供的虚拟乐器处理方法流程图。本专利技术实施例针对实体钢琴等体积较大的乐器，重量较重，不便于移动，更无法便捷地携带的问题，提供了虚拟乐器处理方法。本实施例中的方法应用于终端设备，该终端设备可以是智能手机、平板、AR设备等移动终端，也可以是个人电脑等，在其他实施例中，该方法还可应用于其他设备，本实施例以终端设备为例进行示意性说明。本专利技术实施例中，虚拟乐器可以是虚拟钢琴、虚拟电子琴等键盘乐器，包括虚拟乐器键盘，每个虚拟琴键对应于固定的音高，可以用以演奏任何符合其音域范围内的乐曲。如图1所示，该方法具体步骤如下：步骤S101、在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于虚拟乐器键盘的手势信息。本实施例中，虚拟乐器包括设置于水平的平台上的虚拟乐器键盘。虚拟乐器键盘可以是在平台表面绘制的乐器键盘、或者是放置在平台纸板上所绘制的乐器键盘、或者是在平台表面粘贴的带有乐器键盘绘画的贴膜、或者还可以是投影到平台表面的虚拟乐器键盘等等，本实施例此处对于虚拟乐器键盘的实现方式不做具体限定。在用户弹奏虚拟乐器键盘的过程中，终端设备可以实时地采集用户的各个手指相对于虚拟乐器键盘的手势信息。其中，各个手指相对于虚拟乐器键盘的手势信息包括各个手指的手势信息，以及各个手指做出的手势与虚拟琴键的相对位置信息。可选的，终端设备还可以接收其他数据采集装置在用户弹奏虚拟乐器键盘的过程中实时采集和发送的各个手指相对于虚拟乐器键盘的手势信息。步骤S102、根据各个手指相对于虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识。本实施例中，根据各个手指相对于虚拟乐器键盘的手势信息，在确定至少一个手指做出按下琴键的手势时，根据做出按下琴键手势的手指与各个虚拟琴键的位置关系，确定被按下的至少一个虚拟琴键的标识。步骤S103、根据手指按下的至少一个虚拟琴键的标识，播放至少一个虚拟琴键的标识对应的乐器模拟声音。在识别出手指按下的至少一个虚拟琴键的标识之后，播放这些虚拟琴键的标识对应的声音，从而可以实现虚拟乐器的弹奏声音。可选的，可以预先存储每一个虚拟琴键的标识对应的音频，在确定用户手指按下的虚拟琴键的标识后，播放手指按下的虚拟琴键的标识对应的预先存储的音频。可选的，可以预先存储一个该乐器的基础音频，以及每个虚拟琴键的标识对应的音乐参数，在确定用户手指按下的虚拟琴键的标识后，根据用户手指按下的虚拟琴键的标识对应的音乐参数，对预先存储的基础音频进行处理，得到该音乐参数对应的音频，并播放处理后的音频。本实施例中，在用户弹奏虚拟乐器键盘的过程中，用户每次切换弹奏手势时，终端设备能够实时地采集到用户的各个手指相对于虚拟乐器键盘的手势信息，并确定手指按下的虚拟琴键的标识，播放所按下的虚拟琴键的标识对应的本文档来自技高网...

【技术保护点】
1.一种虚拟乐器处理方法，其特征在于，包括：在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识；根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音。

【技术特征摘要】
1.一种虚拟乐器处理方法，其特征在于，包括：在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识；根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音。2.根据权利要求1所述的方法，其特征在于，所述在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息，包括：接收摄像装置实时采集并发送的用户的各个手指弹奏所述虚拟乐器键盘的图像信息，所述摄像装置设置于所述虚拟乐器键盘的上方，所述摄像装置的拍摄范围覆盖所述虚拟乐器键盘；对所述各个手指弹奏所述虚拟乐器键盘的图像信息进行图像处理，识别出每个手指相对于所述虚拟乐器键盘的手势。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将所述虚拟乐器键盘投影到水平设置的平台上的预设区域内，所述摄像装置设置于所述虚拟乐器键盘的上方，所述摄像装置的拍摄范围覆盖所述平台上的预设区域。4.根据权利要求2所述的方法，其特征在于，所述虚拟乐器键盘的每一个虚拟琴键上设置有唯一的标识，所述根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定手指按下的至少一个虚拟琴键的标识，包括：根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定做出按下琴键手势的手指按下的位置；根据所述做出按下琴键手势的手指按下的位置，确定所述做出按下琴键手势的手指按下的虚拟琴键的标识。5.根据权利要求1所述的方法，其特征在于，所述根据所述手指按下的至少一个虚拟琴键的标识，播放所述至少一个虚拟琴键的标识对应的乐器模拟声音，包括：根据所述手指按下的至少一个虚拟琴键的标识，获取所述至少一个虚拟琴键的标识对应的音乐参数；根据所述至少一个虚拟琴键的标识对应的音乐参数，播放乐器模拟声音。6.根据权利要求5所述的方法，其特征在于，所述虚拟琴键的标识为二维码信息，所述二维码信息包括所述虚拟琴键对应的音乐参数。7.根据权利要求5所述的方法，其特征在于，所述根据所述手指按下的至少一个虚拟琴键的标识，获取所述至少一个虚拟琴键的标识对应的音乐参数之后，还包括：向播放终端发送播放指令，所述播放指令包括所述至少一个虚拟琴键的标识对应的音乐参数，以使所述播放终端根据所述至少一个虚拟琴键的标识对应的音乐参数播放乐器模拟声音。8.一种虚拟乐器处理装置，其特征在于，包括：手势识别模块，用于在用户弹奏虚拟乐器键盘的过程中，实时地获取用户的各个手指相对于所述虚拟乐器键盘的手势信息；处理模块，用于根据所述各个手指相对于所述虚拟乐器键盘的手势信息，确定...

【专利技术属性】
技术研发人员：杜雅洁，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11