音效控制方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种音效控制方法、装置、电子设备及存储介质，其中，该方法包括：基于现实场景图像中呈现的实体乐器，在AR设备中展示与所述实体乐器对应的虚拟乐器模型；在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。

【技术实现步骤摘要】
音效控制方法、装置、电子设备及存储介质
本公开涉及计算机视觉
，具体而言，涉及一种音效控制方法、装置、电子设备及存储介质。
技术介绍
近年来，随着文化旅游行业的快速发展，越来越多的用户群体参观各类展会或者博物馆等。对于展会中的一些展示项目，比如展示的乐器等，出于保护展示的乐器的目的，通常是陈列在特定的展示区域供用户来观赏，不允许用户实际操作乐器。但是这种观赏方式很难感受展示的乐器带来的音乐效果，缺乏一定的互动性，导致展示效果较为枯燥。
技术实现思路
本公开实施例至少提供一种音效控制方法、装置、电子设备及存储介质。第一方面，本公开实施例提供一种增强现实音效控制方法，包括：基于现实场景图像中呈现的实体乐器，在增强现实AR设备中展示与所述实体乐器对应的虚拟乐器模型；在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。本公开实施例中，可以基于现实场景图像中呈现的实体乐器，在AR设备中展示实体乐器对应的虚拟乐器模型，还可以响应对虚拟乐器模型的敲击操作，并基于敲击操作的敲击力度来控制敲击操作对应的音效的播放音量，从而实现对虚拟乐器的模拟演奏。在应用于文化旅游行业时，对于一些乐器类的展示项目，可以在AR设备中展示虚拟乐器模型并基于敲击操作的敲击力度来控制虚拟乐器模型所播放的音效的音量，实现对虚拟乐器的模拟演奏，在保护展示项目的同时又使用户能够更加直观、清晰地了解实体乐器的演奏效果等，提升了参观展示项目过程中的用户体验，使参展过程更加富有互动性和趣味性。本公开的一些实施例中，所述检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作，包括：基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，将所述目标肢体动作确定为对所述虚拟乐器模型的所述敲击操作。该实施方式中，可以基于用户做出的肢体动作来实现对虚拟乐器的敲击，加强了用户与展示项目之间的互动性，提升了参观展示项目过程中的用户体验。本公开的一些实施例中，所述基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，包括：对所述现实场景图像中出现的肢体动作进行关键点识别，得到关键点识别结果；基于关键点识别结果对所述肢体动作进行分类，得到所述肢体动作的类型；若所述肢体动作的类型为预设的目标肢体动作类型，则确定所述现实场景图像呈现的现实场景中出现所述目标肢体动作。该实施方式中，可以通过关键点识别技术以及肢体动作的分类技术，来准确地识别用户做出的肢体动作，以便在应用于虚拟乐器的模拟演奏时，能够准确地识别并响应敲击操作，提升用户体验度。本公开的一些实施例中，所述识别所述敲击操作的敲击力度，包括：检测所述目标肢体动作被执行过程中的加速度信息；基于所述加速度信息，确定所述敲击操作的敲击力度。该实施方式中，可以基于用户做出目标肢体动作过程中的加速度信息来智能识别敲击力度，提升用户体验度。本公开的一些实施例中，所述方法还包括：根据所述目标肢体动作所属的目标肢体动作类型，确定与所述目标肢体动作类型匹配的音效类型；控制所述AR设备播放与所述音效类型对应的音效。该实施方式中，还可以基于用户做出目标肢体动作的类型来触发播放对应的音效类型的音效，增加了模拟演奏过程中的互动性及趣味性，提升用户体验度。本公开的一些实施例中，所述检测到对所述AR设备中展示的虚拟乐器模型的敲击操作，包括：检测所述AR设备的触摸屏上的触摸操作；在检测到所述触摸操作的触摸位置在所述触摸屏展示的虚拟乐器模型的触发位置范围内时，将所述触摸操作确定为对所述虚拟乐器模型的所述敲击操作。该实施方式中，可以基于用户在AR设备的触摸屏上的触摸操作来实现对虚拟乐器的敲击，加强了用户与展示项目之间的互动性，提升了参观展示项目过程中的用户体验。本公开的一些实施例中，所述识别所述敲击操作的敲击力度，包括：识别所述触摸操作在所述触摸屏上的触摸压力值，和/或，所述触摸操作在所述触摸屏展示的虚拟乐器模型所在的触发位置范围内的触摸时长；基于所述触摸压力值和/或所述触摸时长，确定所述敲击操作的敲击力度。该实施方式中，可以基于用户在触摸屏上的触摸操作的各类触摸信息来智能识别敲击力度，提升用户体验度。第二方面，本公开实施例还提供一种音效控制装置，包括：呈现模块，用于基于现实场景图像中呈现的实体乐器，在增强现实AR设备中展示与所述实体乐器对应的虚拟乐器模型；识别模块，用于在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；确定模块，用于基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；控制模块，用于控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。本公开的一些实施例中，所述识别模块，在检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作时，具体用于：基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，将所述目标肢体动作确定为对所述虚拟乐器模型的所述敲击操作。本公开的一些实施例中，所述识别模块，在基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作时，具体用于：对所述现实场景图像中出现的肢体动作进行关键点识别，得到关键点识别结果；基于关键点识别结果，对所述肢体动作执行的肢体动作进行分类，得到所述肢体动作的类型；若所述肢体动作的类型为预设的目标肢体动作类型，则确定所述现实场景图像呈现的现实场景中出现所述目标肢体动作。本公开的一些实施例中，所述识别模块，在识别所述敲击操作的敲击力度时，具体用于：检测所述目标肢体动作被执行过程中的加速度信息；基于所述加速度信息，确定所述敲击操作的敲击力度。本公开的一些实施例中，所述确定模块，还用于：根据所述目标肢体动作所属的目标肢体动作类型，确定与所述目标肢体动作类型匹配的音效类型；所述控制模块，还用于控制所述AR设备播放与所述音效类型对应的音效。本公开的一些实施例中，所述识别模块，在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作时，具体用于：检测所述AR设备的触摸屏上的触摸操作；在检测到所述触摸操作的触摸位置在所述触摸屏展示的虚拟乐器模型的触发位置范围内时，将所述触摸操作确定为对所述虚拟乐器模型的所述敲击操作。本公开的一些实施例中，所述识别模块，在识别所述敲击操作的敲击力度时，具体用于：识别所述触摸操作在所述触摸屏上的触摸压力值，和/或，所述触摸操作在所述触摸屏展示的虚拟乐器模型所在的触发位置范围内的触摸时长；基于所述触摸压力值和/或所述触摸时本文档来自技高网...

【技术保护点】
1.一种音效控制方法，其特征在于，包括：/n基于现实场景图像中呈现的实体乐器，在增强现实AR设备中展示与所述实体乐器对应的虚拟乐器模型；/n在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；/n基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；/n控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。/n

【技术特征摘要】
1.一种音效控制方法，其特征在于，包括：
基于现实场景图像中呈现的实体乐器，在增强现实AR设备中展示与所述实体乐器对应的虚拟乐器模型；
在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；
基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；
控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。


2.根据权利要求1所述的方法，其特征在于，所述检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作，包括：
基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，将所述目标肢体动作确定为对所述虚拟乐器模型的所述敲击操作。


3.根据权利要求2所述的方法，其特征在于，所述基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，包括：
对所述现实场景图像中出现的肢体动作进行关键点识别，得到关键点识别结果；
基于关键点识别结果对所述肢体动作进行分类，得到所述肢体动作的类型；
若所述肢体动作的类型为预设的目标肢体动作类型，则确定所述现实场景图像呈现的现实场景中出现所述目标肢体动作。


4.根据权利要求2或3所述的方法，其特征在于，所述识别所述敲击操作的敲击力度，包括：
检测所述目标肢体动作被执行过程中的加速度信息；
基于所述加速度信息，确定所述敲击操作的敲击力度。


5.根据权利要求2至4任一所述的方法，其特征在于，所述方法还包括：
根据所述目标肢体动作所属的目标肢体动作类型，确定与所述目标肢体动作类型匹配的音效类型；
控制所述AR设备播放与所述音效类型对应的音效。

<...

【专利技术属性】
技术研发人员：潘思霁，揭志伟，张一，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33