一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法技术方案

本发明专利技术公开了一个动态跟随听者听觉视角的虚拟现实音频双耳再现系统与方法，系统包括负责姿态解析和生成VR音频数据的上位机模块，姿态角传感器模块，负责姿态信息提取的核心处理器模块，辅助传输模块以及双耳耳机。在该系统中应用本发明专利技术公开的动态跟随听者听觉视角的虚拟现实音频双耳再现方法，该方法解析头部姿态数据得到声源相对于听者实时主视角的方位信息，基于HRTF双耳音频对音频数据流添加方位信息。本系统在完成虚拟听觉环境创造的同时，实时地根据听者头部姿态调整声源与听者主视角的相对方位，保证声源的绝对空间极坐标方位不变，满足听者在虚拟听觉空间全方位听取声源信息的需求。

【技术实现步骤摘要】
一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法
本专利技术涉及音频的数字处理
，具体涉及一个动态跟随听觉视角的虚拟现实(Virtualreality，VR)音频双耳再现系统与方法。
技术介绍
近年来，VR技术在市场上应用越来越广泛，但是VR音频相关的技术应用以及系统却极为少见。目前，部分影院能够基于扬声器矩阵进行高度的声场还原，但是这种大型麦克风矩阵并不容易在普通用户之间进行推广，同时常用的耳机系统中关于声场的还原大都停留在立体声和环绕声水平，远达不到VR音频实时根据听者的头部姿态信息进行声场信息实时调整的要求。基于耳机进行VR音频的重放目前主要是使用基于头相关传输函数(head-relatedtransferfunction，HRTF)的双耳声学技术进行音频的三维空间信息的重建。该技术是对人耳的空间声源的定位过程进行重现从而影响人脑对声源方位的判断，HRTF函数就是实际测量得到声音从声源传到到人耳的整个过程的系统函数，经过HRTF处理的音频数据通过耳机重放可以反映对应HRTF的声源方向。目前对于HRTF的理论研究已经十分丰富，HRTF的插值、建模和个性化问题都已经得到了充分的研究，HRTF也被应用到电子游戏等平台进行静态声源方位的再现。然而，由于HRTF是针对人头进行测量的，其包含的空间的方位信息的都是以人头为空间坐标原点的，如果单纯使用HRTF进行空间方位再现，对于听者而言，如果人头发生偏转，针对人头添加的声源的方位信息也会随之偏转，从而导致客观上的声源本身方位发生变化，这显然不符合客观物理世界的规律。因此，本专利技术提出了一个能够动态跟随听觉视角的VR耳机系统与方法，设计实现了一个动态跟随听觉视角的虚拟现实音频双耳再现系统实时采集听者头部信息传递给上位机基于虚拟现实音频双耳再现方法进行实时VR音频的合成。经由该系统再现的声场中的声源都有着自己的绝对世界坐标，在该声场中，声源的方位保持不变，随着人头姿势的变化，听者接收到的声源方位会发生一个相对的反向转动，从而保证声源本身方位不发生改变，能够真实的再现一个客观的听觉世界。
技术实现思路
本专利技术的目的是针对已有技术的不足，提供一种动态跟踪听觉视角的虚拟现实音频双耳再现系统与方法。该系统可以营造一个客观的声场，不论听者在其中如何改变头部姿态，都能够得到一个客观一致的听觉方位感受，这样听者就可以像VR视频一样对VR音频中的声源进行全方位的聆听。为了达到上述目的，本专利技术采用了下述技术方案：1、一个动态跟随听觉视角的虚拟现实音频双耳再现系统主要由如附图1所示的5个主要模块组成，其中包括1)上位机模块，2)JY61姿态角传感器模块，3)STM32F103VET6核心处理器模块，4)HC-05无线蓝牙传输模块以及最终用于VR音频播放的5)双耳耳机模块。各模块组成的系统框架如说明书附图1所示。其中系统各模块执行功能如下：(1)上位机模块1负责当前姿态信息的解析，基于HRTF双耳声学技术对音频数据流进行处理得到针对当前姿态信息的VR音频数据流；(2)JY61姿态角传感器模块2负责采集听者当前头部姿态信息的采集；(3)STM32F103VET6核心处理器模块3负责提取JY61姿态角传感器数据中的姿态角信息以及将由上位机模块1处理好的VR音频数据流D/A转换送给双耳耳机模块5进行播放；(4)HC-05无线蓝牙传输模块4负责上位机模块1以及STM32F103VET6核心处理器模块3之间的数据传输，主要包括将姿态信息从模块3送入模块1，以及将VR音频数据流从模块1送入模块3；(5)双耳耳机模块5则负责VR音频数据流模拟信息的播放。2、一个动态跟随听觉视角的虚拟现实音频双耳再现方法，是在设定声源的初始绝对空间极坐标方位的基础上，根据头部的姿态信息解析得到声源实时相对于听者听觉主视角的方位角；对MITHRTF库进行双线性插值得到该方位角的HRTF数据，对左右声道音频数据流分别进行卷积后得到包含声源空间方位信息的VR音频。该系统对于音频数据以及姿态角信息的具体处理步骤如附图2所示：(1)经过系统处理得到当前听着头部的姿态信息数据；(2)经过姿态解析算法处理后，得到在听者头部当前状态下声源相对于听者的听觉视角的方位信息；(3)在MITHRTF数据库中，提取HRTF球面上临近目标方位角的四个离散测量方位角的HRTF数据；(4)基于双线性插值算法计算得到目标方位角的HRTF数据；(5)从目标音频数据流中提取当前时刻的音频数据帧；(6)将步骤(4)中的HRTF数据与步骤(5)中的音频数据帧进行卷积计算，得到当前时刻的包含声源空间方位角信息的VR音频数据帧。本专利技术的一个动态跟随听觉视角的VR音频耳机系统及方法与现有技术相比较，具有如下优势：本专利技术实时采集听者头部的姿态角信息，对应计算声源相对听觉主视角的方位，并对音频数据流添加该方位的声源空间方位信息，营造了一个听者可以自由选择听觉视角而不会使得声场信息发生改变的虚拟现实听觉环境。附图说明图1为优先实施例动态跟随听觉视角的VR音频双耳再现系统结构框图。图2为优先实施例动态跟随听觉视角的VR音频再现方法主程序框图。图3为优先实施例音频处理集成电路中电源模块设计图。图4为优先实施例音频处理集成电路中芯片电源接入模块设计图。图5为优先实施例音频处理集成电路中启动选择电路模块设计图。图6为优先实施例音频处理集成电路USB转串口模块设计图。图7为优先实施例音频处理集成电路时钟振荡电路模块设计图。具体实施方式下面结合实施例及附图对本专利技术作进一步的详细描述，但本专利技术的实施方式不限于此。虚拟现实音频双耳再现系统中STM32F103VET6核心处理器模块的具体方案包括：(1)电源模块：其原理图如说明书附图3所示。在电源模块中，因为是USB供电，所以电源接入是5V_USB。电源要两个电容进行退藕，然后经过稳压芯片AMS1117-3.3，输入稳压3.3V。同理，3.3V接出也需要电容退藕，与电容的并联发光二极管作为电源指示灯；稳压3.3V输出之后，为芯片供电时，在每个芯片电源引脚的附近都要放置小电容进行退藕，可以达到滤波和稳压的作用。电源VDD_5附近的磁珠L1可以用电阻30欧代替，实现同样的效果。该部分的原理图如说明书附图4所示；(2)启动选择电路模块，即BOOT电路：通过将BOOT0和BOOT1置高低电平以选择不同的启动模式。在BOOT0和BOOT1都置为0时，程序存储器启动；如果BOOT0为0，BOOT1为1时，单片机由系统启动。正常情况下，都会将BOOT键都置为0，由FLASH启动。BOOT电路的原理图如说明书附图5所示；(3)USB转串口模块：进行电脑与单片机之间的通信，使用芯片CH340G主导完成USB转串口的功能。同时，也可以配合BOOT键完成下载程序的功能。该模块的原理图如说明书附图6所示；...

【技术保护点】
1.一个动态跟随听觉视角的虚拟现实音频双耳再现系统，主要由负责姿态解析和生成VR音频数据的上位机模块，负责采集听者头部姿态信息的JY61姿态角传感器模块，负责姿态信息提取和VR音频数据DA转换的STM32F103VET6核心处理器模块，负责上位机模块和核心处理器模块通信的HC-05无线蓝牙传输模块以及最终用于VR音频播放的双耳耳机模块组成，系统框架图如说明书附图1所示。其特征在于，音频处理集成电路使用JY61姿态角传感器采集得到听者头部的实时姿态原始信息，将该信息传输至STM32F103VET6核心处理器模块进行头部姿态信息提取；并经由HC-05蓝牙收发模块发送给上位机模块，上位机模块进行姿态角信息解析得到当前VR空间方位信息，对音频数据流进行空间方位信息的添加得到VR音频数据流；最后将该音频数据流经由HC-05蓝牙收发模块发送至STM32F103VET6核心处理器模块进行DA转换并送至双耳耳机播放；其中STM32F103VET6核心处理器模块包括但不仅限于5V_USB电源模块，启动电路模块、USB转串口模块以及时钟振荡电路模块。/n

【技术特征摘要】
1.一个动态跟随听觉视角的虚拟现实音频双耳再现系统，主要由负责姿态解析和生成VR音频数据的上位机模块，负责采集听者头部姿态信息的JY61姿态角传感器模块，负责姿态信息提取和VR音频数据DA转换的STM32F103VET6核心处理器模块，负责上位机模块和核心处理器模块通信的HC-05无线蓝牙传输模块以及最终用于VR音频播放的双耳耳机模块组成，系统框架图如说明书附图1所示。其特征在于，音频处理集成电路使用JY61姿态角传感器采集得到听者头部的实时姿态原始信息，将该信息传输至STM32F103VET6核心处理器模块进行头部姿态信息提取；并经由HC-05蓝牙收发模块发送给上位机模块，上位机模块进行姿态角信息解析得到当前VR空间方位信息，对音频数据流进行空间方位信息的添加得到VR音频数据流；最后将该音频数据流经由HC-05蓝牙收发模块发送至STM32F103VET6核心处理器模块进行DA转换并送至双耳耳机播放；其中STM32F103VET6核心处理器模块包括但不仅限于5V_USB电源模块，启动电路模块、USB转串口模块以及时钟振荡电路模块。


2.一种动态跟随听觉视角的虚拟现实音频双耳再现方法，采用根据权利要求1所述的动态跟随听觉视角虚拟现实音频双耳再现系统进行VR音频的制作和播放，其特征在于在声源的绝对方位既定的基础上，基于听者头部姿态信息进行姿态解析得到听者应该得到的声源当前的相对方位，基于该相对方位对音频数据流进行空间方位信息的添加得到VR音频。其操作步骤如下：
1)在音频处理集成电路，由JY61姿态角传感器采集得到听者头部当前的姿态信息；使用STM32...

【专利技术属性】
技术研发人员：方勇，夏志立，杨楠，史梦杰，陶浩，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31