基于可穿戴设备的音频处理方法、装置、设备及存储介质制造方法及图纸

技术编号:42872648 阅读:33 留言:0更新日期:2024-09-27 17:32
本申请公开了一种基于可穿戴设备的音频处理方法、装置、设备及存储介质,涉及可穿戴设备技术领域,公开了基于可穿戴设备的音频处理方法,包括:根据设备参考信号和佩戴者参考音频信号,对音频采集阵列采集的用户交流音频进行回声消除,得到目标交流信号,并进行方向预测,确定音频方向角;根据音频方向角和目标头部传输函数对目标交流信号进行信号增强,得到立体交流信号;对设备参考信号和立体交流信号进行混音处理并播放。通过上述方式,使用户在佩戴可穿戴设备进行虚拟世界体验的同时,能够清晰获知现实环境的周围用户的说话内容,并明确周围用户的所在方位,不仅降低了用户对虚拟世界体验影响,还增强用户与现实环境的周围用户的语言交流。

【技术实现步骤摘要】

本申请涉及可穿戴设备,尤其涉及基于可穿戴设备的音频处理方法、装置、设备及存储介质


技术介绍

1、当用户在非私密空间内佩戴可穿戴设备,例如vr(virtual reality device,虚拟现实设备)体验虚拟世界时,有时仍然有与现实环境中周围的人进行语言交流的需求,但此时,与现实环境中的人进行语言交流,将是一件体验极差的事情。原因主要是:第一,vr中的显示屏正显示虚拟世界画面,无法看到现实环境,无法通过视觉查看周围的人,如果通过环境摄像头拍摄周围环境画面并实时显示在vr屏幕中,又无法同时体验虚拟世界的画面(或影响虚拟世界的体验)。第二,在佩戴使用vr设备时,vr设备播放出的声音环绕在耳边,且声音可能较大,足以影响聆听对现实环境中周围人的说话声音。可能听不清周围人的说话内容,也可能听不出说话人在哪个方向。第三,因现实世界的人发出的语音声音与vr设备播放出的语言声音的物理传播路径和音色等不同,声音会有明显差异,所以在佩戴vr设备聆听虚拟世界声音的同时去识别现实世界人的说话声,会造成虚拟世界与现实世界的巨大割裂感,降低了虚拟世界的真实感,影响到对虚拟世界的体本文档来自技高网...

【技术保护点】

1.一种基于可穿戴设备的音频处理方法,其特征在于,所述基于可穿戴设备的音频处理方法,包括:

2.如权利要求1所述的方法,其特征在于,所述根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理,得到目标交流信号,包括:

3.如权利要求1所述的方法,其特征在于,所述根据所述音频方向角和目标头部传输函数对所述目标交流信号进行信号增强,得到立体交流信号,包括:

4.如权利要求3所述的方法,其特征在于,所述根据目标头部传输函数和所述音频方向角对所述增强音频信号进行音频处理,得到立体交流信号,包括:

5.如权利要求1所述的方法,其特征在...

【技术特征摘要】

1.一种基于可穿戴设备的音频处理方法,其特征在于,所述基于可穿戴设备的音频处理方法,包括:

2.如权利要求1所述的方法,其特征在于,所述根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理,得到目标交流信号,包括:

3.如权利要求1所述的方法,其特征在于,所述根据所述音频方向角和目标头部传输函数对所述目标交流信号进行信号增强,得到立体交流信号,包括:

4.如权利要求3所述的方法,其特征在于,所述根据目标头部传输函数和所述音频方向角对所述增强音频信号进行音频处理,得到立体交流信号,包括:

5.如权利要求1所述的方法,其特征在于,所述根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理,得到目标交流信号之前,还包括:

6.如权利要求5所述的方法,其特征...

【专利技术属性】
技术研发人员:吕和强
申请(专利权)人:歌尔股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1