一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法技术方案

本发明专利技术公开了一个动态跟随听者听觉视角的虚拟现实音频双耳再现系统与方法，系统包括负责姿态解析和生成VR音频数据的上位机模块，姿态角传感器模块，负责姿态信息提取的核心处理器模块，辅助传输模块以及双耳耳机。在该系统中应用本发明专利技术公开的动态跟随听者听觉视角的虚拟现实音频双耳再现方法，该方法解析头部姿态数据得到声源相对于听者实时主视角的方位信息，基于HRTF双耳音频对音频数据流添加方位信息。本系统在完成虚拟听觉环境创造的同时，实时地根据听者头部姿态调整声源与听者主视角的相对方位，保证声源的绝对空间极坐标方位不变，满足听者在虚拟听觉空间全方位听取声源信息的需求。

【技术实现步骤摘要】
一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法
本专利技术涉及音频的数字处理
，具体涉及一个动态跟随听觉视角的虚拟现实(Virtualreality，VR)音频双耳再现系统与方法。
技术介绍
近年来，VR技术在市场上应用越来越广泛，但是VR音频相关的技术应用以及系统却极为少见。目前，部分影院能够基于扬声器矩阵进行高度的声场还原，但是这种大型麦克风矩阵并不容易在普通用户之间进行推广，同时常用的耳机系统中关于声场的还原大都停留在立体声和环绕声水平，远达不到VR音频实时根据听者的头部姿态信息进行声场信息实时调整的要求。基于耳机进行VR音频的重放目前主要是使用基于头相关传输函数(head-relatedtransferfunction，HRTF)的双耳声学技术进行音频的三维空间信息的重建。该技术是对人耳的空间声源的定位过程进行重现从而影响人脑对声源方位的判断，HRTF函数就是实际测量得到声音从声源传到到人耳的整个过程的系统函数，经过HRTF处理的音频数据通过耳机重放可以反映对应HRTF的声源方向。目前对于HRTF的理论研究已经十分丰本文档来自技高网...

【技术保护点】
1.一个动态跟随听觉视角的虚拟现实音频双耳再现系统，主要由负责姿态解析和生成VR音频数据的上位机模块，负责采集听者头部姿态信息的JY61姿态角传感器模块，负责姿态信息提取和VR音频数据DA转换的STM32F103VET6核心处理器模块，负责上位机模块和核心处理器模块通信的HC-05无线蓝牙传输模块以及最终用于VR音频播放的双耳耳机模块组成，系统框架图如说明书附图1所示。其特征在于，音频处理集成电路使用JY61姿态角传感器采集得到听者头部的实时姿态原始信息，将该信息传输至STM32F103VET6核心处理器模块进行头部姿态信息提取；并经由HC-05蓝牙收发模块发送给上位机模块，上位机模块进行姿态...

【技术特征摘要】
1.一个动态跟随听觉视角的虚拟现实音频双耳再现系统，主要由负责姿态解析和生成VR音频数据的上位机模块，负责采集听者头部姿态信息的JY61姿态角传感器模块，负责姿态信息提取和VR音频数据DA转换的STM32F103VET6核心处理器模块，负责上位机模块和核心处理器模块通信的HC-05无线蓝牙传输模块以及最终用于VR音频播放的双耳耳机模块组成，系统框架图如说明书附图1所示。其特征在于，音频处理集成电路使用JY61姿态角传感器采集得到听者头部的实时姿态原始信息，将该信息传输至STM32F103VET6核心处理器模块进行头部姿态信息提取；并经由HC-05蓝牙收发模块发送给上位机模块，上位机模块进行姿态角信息解析得到当前VR空间方位信息，对音频数据流进行空间方位信息的添加得到VR音频数据流；最后将该音频数据流经由HC-05蓝牙收发模块发送至STM32F103VET6核心处理器模块进行DA转换并送至双耳耳机播放；其中STM32F103VET6核心处理器模块包括但不仅限于5V_USB电源模块，启动电路模块、USB转串口模块以及时钟振荡电路模块。


2.一种动态跟随听觉视角的虚拟现实音频双耳再现方法，采用根据权利要求1所述的动态跟随听觉视角虚拟现实音频双耳再现系统进行VR音频的制作和播放，其特征在于在声源的绝对方位既定的基础上，基于听者头部姿态信息进行姿态解析得到听者应该得到的声源当前的相对方位，基于该相对方位对音频数据流进行空间方位信息的添加得到VR音频。其操作步骤如下：
1)在音频处理集成电路，由JY61姿态角传感器采集得到听者头部当前的姿态信息；使用STM32...

【专利技术属性】
技术研发人员：方勇，夏志立，杨楠，史梦杰，陶浩，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31