一种音频处理方法和系统技术方案

本发明专利技术涉及一种云端音频处理方法，服务器和系统，针对不同格式的音频信号，根据客户端的头部旋转角度，分别对所述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号；对所述相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。本发明专利技术的音频处理是在云端服务器上进行的，很好的适应了现有的基于云架构音频处理和存储，从而减少了移动终端生成虚拟环绕声质量不高、运算量大的问题。另外，针对上述在服务器上执行可能带来的延迟，本发明专利技术还包括对于角度进行平滑处理，以消除延迟。

【技术实现步骤摘要】

本专利技术涉及信号处理
，特别涉及一种音频处理的方法,服务器以及系统。
技术介绍
在利用虚拟现实头戴设备(head-mounteddisplay，HMD)向用户呈现内容时，采用虚拟3D音频技术，通过立体声耳机向用户播放音频内容，一种提高临场感的方法是跟踪用户头部动作(headtracking)，对声音进行相应的处理。比如，如果原始声音被用户感知为来自正前方，当用户向左转头90度后，声音应被处理使得用户感知声音来自正右方90度。在这里虚拟现实设备可以有很多种类，比如带头部跟踪的显示设备，或者只是一部带头部跟踪传感器的立体声耳机。实现头部跟踪也有多种方法。比较常见的是使用多种运动传感器。运动传感器套件通常包括加速度计、陀螺仪和磁力传感器。在运动跟踪和绝对方向方面每种传感器都有自己固有的强项和弱点。因此常用做法是采用传感器“融合”(sensorfusion)将来自各传感器的信号组合在一起，产生一个更加精确的运动检测结果。在得到头部旋转角度后，需要对声音进行相应的变化。一种方式是将声音转到Ambisonic域，然后再通过使用旋转矩阵对信号做变换。Ambisonic信号通常是多于两个声道，而常见的媒体播放器只支持立体声两声道，这对直接播放Ambisonic或其他多声道的音频信号带来困难。有鉴于此，在本领域需要一种有效且高质量的虚拟环绕声生成和播放的解决方案。
技术实现思路
为了克服现有技术的上述缺陷，本专利技术的目的在于提供一种云端音频处理方法，服务器和系统，其能有效且高质量地生成虚拟环绕声，主要用于配合虚拟现实头戴设备进行音频的立体声耳机播放，并且所述虚拟环绕声的生成是在云端服务器上进行的，很好的适应了现有的基于云架构的网络类型，由服务器执行虚拟环绕声的生成和存储，从而解决了现有客户端无法播放各种3603Daudio，尤其是适用于虚拟现实应用的音频的问题。为了实现上述目的，本专利技术提供一种云端音频处理方法，所述音频处理方法包括以下步骤，获取用户头部旋转的旋转角度；获取不同格式的音频信号，根据所述旋转角度，分别对所述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号；对所述相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。优选地，所述不同格式的音频信号包括双耳录音信号，Ambisonic录音信号和音频对象信号。优选地，对所述不同格式的音频信号进行双耳转码，生成相应格式的双耳转码音频信号具体包括：对所述双耳录音信号，根据所述旋转角度进行插值，生成双耳录音双声道信号；对所述Ambisonic录音信号，根据所述旋转角度对所述Ambisonic录音信号进行调整，对所述调整后的Ambisonic录音信号双耳转码生成Ambisonic录音双声道信号；对所述音频对象信号，根据所述旋转角度对所述音频对象信号调整，对所述调整后的音频对象信号双耳转码生成音频对象双声道信号。优选地，如需要较高的空间精度，将音频对象信号根据旋转角度进行旋转，将旋转后的音频对象信号编码为高阶B格式音频对象信号，经双耳转码后生成高阶B格式音频对象双声道信号，与Ambisonic录音双声道信号、双耳录音双声道信号进行叠加；如需要低复杂度低延迟，将音频对象信号编码为一阶B格式音频对象信号，与其他一阶Ambisonic录音信号叠加，然后根据旋转角度对所述叠加后的混合信号进行双耳转码，生成音频对象与Ambisonic录音信号的混合双声道信号，与所述双耳录音双声道信号进行叠加。优选地，所获取用户头部旋转的旋转角度具体为获取用户头部旋转的旋转角度，对所述旋转角度进行平滑处理。本专利技术还提供了一种云端音频处理服务器，所述服务器包括：获取单元，获取用户头部旋转的旋转角度；采集单元，采集不同格式的音频信号；双耳转码单元，分别与所述获取单元和采集单元相连接，根据所述旋转角度，分别对所述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号；叠加单元，与所述双耳转码单元连接，对所述相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。优选地，所述不同格式的音频信号包括双耳录音信号，Ambisonic录音信号和音频对象信号。优选地，双耳转码单元对所述不同格式的音频信号进行双耳转码，生成相应格式的双耳转码音频信号具体包括：对所述双耳录音信号，根据所述旋转角度进行插值，生成双耳录音双声道信号；对所述Ambisonic录音信号，根据所述旋转角度对所述Ambisonic录音信号进行调整，对所述调整后的Ambisonic录音信号双耳转码生成Ambisonic录音双声道信号；对所述音频对象信号，根据所述旋转角度对所述音频对象信号调整，对所述调整后的音频对象信号双耳转码生成音频对象双声道信号。优选地，如需要较高的空间精度，双耳转码单元将音频对象信号根据旋转角度进行旋转，将旋转后的音频对象信号编码为高阶B格式音频对象信号，经双耳转码后生成高阶B格式音频对象双声道信号，叠加单元对双耳转码单元生成的高阶B格式音频对象双声道信号，Ambisonic录音双声道信号、双耳录音双声道信号进行叠加；如需要低复杂度低延迟，双耳转码单元将音频对象信号编码为一阶B格式音频对象信号，与其他一阶Ambisonic录音信号叠加，然后根据旋转角度对所述叠加后的混合信号进行双耳转码，生成音频对象与Ambisonic录音信号的混合双声道信号，叠加单元对双耳转码单元生成的与所述混合双声道信号、双耳录音双声道信号进行叠加。优选地，所述云端服务器还包括平滑单元，分别与所述双耳转码单元和所述获取单元连接，平滑单元从获取单元接收用户头部旋转的旋转角度，对所述旋转角度进行平滑处理。本专利技术还提供了一种音频播放系统，所述系统包括云端音频处理服务器，以及客户端；所述客户端包括头部跟踪装置，所述头部跟踪装置抓取头部旋转角度，通过网络上传至所述云端音频处理服务器，所述云端音频处理器接收所述旋转角度，生成音频双耳输出虚拟环绕声信号后，通过所述网络传输至客户端。根据本专利技术的云端音频处理方法，服务器和系统，有效且高质量地生成虚拟环绕声，主要用于配合虚拟现实头戴设备进行音频的立体声耳机播放，并且所述虚拟环绕声的生成是在云端服务器上进行的，很好的适应了现有的基于云架构的网络类型，由云端服务器执行音频处理和存储，从而解决了现有客户端无法播放各种3603Daudio，尤其是适用于虚拟现实应用的音频的问题。采用本专利技术的云端音频处理技术，在多人语音通讯中会大大提升临场感，用户可以随意转头本文档来自技高网...

【技术保护点】
一种云端音频处理方法，其特征在于：所述音频处理方法包括以下步骤，获取用户头部旋转的旋转角度；获取不同格式的音频信号，根据所述旋转角度，分别对所述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号；对所述相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。

【技术特征摘要】
1.一种云端音频处理方法，其特征在于：所述音频处理方法包括以下步骤，
获取用户头部旋转的旋转角度；
获取不同格式的音频信号，根据所述旋转角度，分别对所述不同格式的音频信号进行
双耳转码，生成相应格式的双声道音频信号；
对所述相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。
2.根据权利要求1所述的云端音频处理方法，其特征在于：
所述不同格式的音频信号包括双耳录音信号，Ambisonic录音信号和音频对象信号。
3.根据权利要求2所述的云端音频处理方法，其特征在于：
对所述不同格式的音频信号进行双耳转码，生成相应格式的双耳转码音频信号具体包
括：
对所述双耳录音信号，根据所述旋转角度进行插值，生成双耳录音双声道信号；
对所述Ambisonic录音信号，根据所述旋转角度对所述Ambisonic录音信号进行调整，
对所述调整后的Ambisonic录音信号双耳转码生成Ambisonic录音双声道信号；
对所述音频对象信号，根据所述旋转角度对所述音频对象信号调整，对所述调整后的
音频对象信号双耳转码生成音频对象双声道信号。
4.根据权利要求3所述的云端音频处理方法，其特征在于：
如需要较高的空间精度，将音频对象信号根据旋转角度进行旋转，将旋转后的音频对
象信号编码为高阶B格式音频对象信号，经双耳转码后生成高阶B格式音频对象双声道信
号，与Ambisonic录音双声道信号、双耳录音双声道信号进行叠加；
如需要低复杂度低延迟，将音频对象信号编码为一阶B格式音频对象信号，与其他一阶
Ambisonic录音信号叠加，然后根据旋转角度对所述叠加后的混合信号进行双耳转码，生成
音频对象与Ambisonic录音信号的混合双声道信号，与所述双耳录音双声道信号进行叠加。
5.根据权利要求1-4任一项所述的云端处理方法，其特征在于：
所获取用户头部旋转的旋转角度具体为获取用户头部旋转的旋转角度，对所述旋转角
度进行平滑处理。
6.一种云端音频处理服务器，其特征在于，所述服务器包括：
获取单元，获取用户头部旋转的旋转角度；
采集单元，采集不同格式的音频信号；
双耳转码单元，分别与所述获取单元和采集单元相连接，根据所述旋转角度，分别对所
述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号；
叠加单元，与所述双耳转码单元连接，对所述相应格式的双声道信号叠加，得到音频双
耳输出虚拟环绕声信号。
7.根据权利要求6所述的云端...

【专利技术属性】
技术研发人员：张晨，孙学京，刘皓，
申请(专利权)人：北京时代拓灵科技有限公司，
类型：发明
国别省市：北京;11