本发明专利技术涉及一种生成虚拟环绕声的方法和装置，所述方法包括环境声和音频对象处理流程，环境声处理流程包括一阶B格式信号输入，经过旋转矩阵旋转，基于HRTF进行双耳转码后双耳输出，音频对象处理流程包括将一个或多个音频对象编码到高阶ambisonic信号，基于BRIR进行双耳转码后双耳输出，将环境声和音频对象按左、右声道对应混合后分别输出。所述装置包括头部跟踪装置、音频对象输入模块、音频对象B格式编码模块、音频对象虚拟扬声器阵列信号生成模块和音频对象双耳房间脉冲响应模块。本发明专利技术能有效且高质量地生成虚拟环绕声，主要用于配合虚拟现实头戴设备进行音频的立体声耳机播放。
【技术实现步骤摘要】
本专利技术涉及一种生成虚拟环绕声的方法和装置，尤其涉及以立体声耳机为播放设 备的虚拟环绕声生成方法和装置，属于信号处理
技术介绍
在用虚拟现实头戴设备（head-mounted display，HMD)向用户呈现内容时，采用虚 拟3D音频技术，通过立体声耳机向用户播放音频内容，目的是想要达到一种效果让用户就 像用扬声器阵列（如5. 1或7. 1)听一样。 在制作虚拟现实音频内容时，通常需要几种声音元素。第一，需要将自然声场（或 称为环境音）录制并回放。第二，需要将音频对象（audio object)进行混音。音频对象由 一系列参数描述声音（如小鸟的叫声），包括不同时刻和在三维空间中的位置。 自然声场的录制与回放有几种常见方法。其中一种是基于ambisonics理论。可 以为：终端获取音频文件中包括的B格式信号，将该B格式信号转换为虚拟扬声器阵列信 号，将虚拟扬声器阵列信号通过HRTF (Head Related Transfer Function，头相关变换函 数）滤波器进行滤波，得到虚拟环绕声。HRTF在时间域所对应的名称是HRIR(Head Related Impulse Response)〇 对于音频对象通常的做法是加上房间模型（room model)，将音源与双耳房间脉冲 响应（Binaural Room Impulse Response，BRIR)做卷积。双耳房间脉冲响应由三个部分组 成：直达声、一些离散的早期反射声和晚期混响（混响尾）。 直接将音频对象和BRIR做卷积这种做法的缺点是如果场景复杂，含有大量的音 频对象，则复杂度会变得非常高，对于很多音频播放终端，这将导致功耗过大，甚至无法播 放。另外，在虚拟现实设备上，还需要根据头部的动作对音频对象位置实时调整，这更极大 的加大了运算量，使得在移动虚拟现实设备上应用传统做法变的不切实际。 传统算法还常常用数学和统计的做法在线生成BRIR来避免存储大量的BRIR，比 如用反馈延迟网络（feedback delay network FDN)来模拟晚期混响。然而人工在线生成 的BRIR仍然存在质量不高的问题，无法和真实录制和离线房间模拟工具生成的BRIR相比。 因此，现有的针对立体声耳机播放音频的虚拟环绕声生成方法普遍面临着虚拟环 绕声质量不高、运算量大的问题。
技术实现思路
为了克服现有技术下的上述缺陷，本专利技术的目的在于提供一种生成虚拟环绕声的 方法和装置，其能有效且高质量地生成虚拟环绕声，主要用于配合虚拟现实头戴设备进行 音频的立体声耳机播放。 本专利技术的技术方案是： -种生成虚拟环绕声的方法，包括对音频对象的如下处理步骤： 获取用户头部旋转角度； 根据所述旋转角度，将音频对象编码到高阶B-格式信号（优选为3阶）； 将所述B-格式信号转换成虚拟扬声器阵列信号； 对所述音频对象的所述虚拟扬声器阵列信号基于双耳房间脉冲响应（BRIR)进行 双耳转码，得到音频对象的双耳输出虚拟环绕声信号。 所述音频信号可以为一个或多个。 所述双耳房间脉冲响应优选为离线生成，可以采用真实测量或由专门的软件生 成。 将音频对象编码到B-格式信号时，其中水平方向阶数大于或等于垂直方向阶数。 进一步地，水平方向编码优选为3阶B-格式信号，垂直方向编码优选为2阶或1阶B-格式 信号。 优选的，当电量变低至一定程度时或接收到进入低功耗模式的指令时，将音频对 象编码到B-格式信号的阶数调低，具体调低阶数的方式为： 在已知内容在垂直方向上没有大量角度变化时，调低垂直方向的阶数，在已知内 容在垂直方向上有大量角度变化时，根据对听觉效果的综合影响，调低垂直方向和/或水 平方向的阶数， 在电量变低过程中对阶数的调低采用一步式或多步式，当采用一步式时，只设置 一个电量阈值，当低于电量低于该电量阈值时进行一次性的调低，当采用多步式时，划分多 个低电量区间，当电量位于某一低电量区间时，将阶数调低到该区间对应的调低程度，低电 量区间涵盖的电量值越低，对应的阶数越低， 所述低功耗模式的档位为一档或多档，当采用多档低功耗模式时，在高档位的低 功耗模式下，所调低的B-格式信号的阶数低于在低档位下相应B-格式信号的阶数。 所述生成虚拟环绕声的方法还优选包括将环境声转换成环境声的双耳输出虚拟 环绕声信号，再将所述音频对象和所述环境声各自的双耳输出虚拟环绕声信号对应混音并 双耳输出。 所述将环境声转换成环境声的双耳输出虚拟环绕声信号优选包括如下步骤： 获取环境声的1阶B-格式信号； 根据所述旋转角度，将环境声的所述B-格式信号旋转得到旋转后的B-格式信 号； 将环境声的所述旋转后的B-格式信号转换成虚拟扬声器阵列信号； 对环境声的所述虚拟扬声器阵列信号基于头相关变换函数（HRTF)进行双耳转 码，得到环境声的双耳输出虚拟环绕声信号。 所述生成虚拟环绕声的方法在实施运算时优选基于以下假定：虚拟扬声器阵列具 有左右对称性，用户在房间的中轴线上，用户对应的所述双耳房间脉冲响应和头相关变换 函数也具有左右对称性。 一种生成虚拟环绕声的装置，包括： 头部跟踪装置，用于检测用户头部旋转角度； 音频对象输入模块，用于输入原始的音频对象声道信号； 音频对象B格式编码模块，其设有声道信号输入端和角度输入端，分别连接所述 音频对象输入模块的输出端和所述头部跟踪装置的输出端，用于根据所述旋转角度将音频 对象编码到B-格式信号； 音频对象虚拟扬声器阵列信号生成模块，其输入端连接所述音频对象B格式编码 模块的输出端，用于将所述B-格式信号转换成音频对象的虚拟扬声器阵列信号； 音频对象双耳房间脉冲响应模块，其输入端连接所述音频对象虚拟扬声器阵列信 号生成模块的音频对象虚拟扬声器阵列信号输出端，用于对所述音频对象的虚拟扬声器阵 列信号基于双耳房间脉冲响应进行双耳转码，得到音频对象的双耳输出虚拟环绕声信号。 所述生成虚拟环绕声的装置，还优选包括： 环境声B格式信号输入模块，用于输入原始获取的环境声1阶B-格式信号； 旋转矩阵生成模块，设有用于接收所述头部跟踪装置的输出信号的输入端，用于 根据所述头部跟踪装置所检测到的头部旋转角度生成旋转矩阵； 环境声方位调整模块，其待调整信号输入端和旋转矩阵输入端分别连接所述环境 声B格式信号输入模块的输出端和所述旋转矩阵生成模块的输出端，用于根据所述旋转矩 阵，对环境声的所述B-格式信号进行旋转得到环境声旋转后的B-格式信号； 环境声虚拟扬声器阵列信号生成模块，其输入端连接所述环境声方位调整模块的 输出端，用于将环境声旋转后的B-格式信号转换成环境声的虚拟扬声器阵列信号； 环境声头相关变换函数滤波器模块，其输入端连接所述环境声虚拟扬声器阵列信 号生成模块的输出端，用于对环境声的所述虚拟扬声器阵列信号基于头相关变换函数进行 双耳转码，得到环境声的双耳输出虚拟环绕声信号； 左声道混音器模块，其输入端连接所述音频对象双耳房间脉冲响应模块的左声道 输出端和所述环境声头相关变换函数滤波器模块的左声道输出端，用于对上述两路输出进 行混音； 右声道混音器模块，其输入端连接所述音频对象双耳房间脉冲响应模块的右声道 输出端和所述环境声头相关变换函数滤波器模块的右声道输出端，用于对上述两本文档来自技高网...
【技术保护点】
一种生成虚拟环绕声的方法，其特征在于包括对音频对象的如下处理步骤：获取用户头部旋转角度；根据所述旋转角度，将音频对象编码到B‑格式信号；将所述B‑格式信号转换成虚拟扬声器阵列信号；对音频对象的所述虚拟扬声器阵列信号基于双耳房间脉冲响应进行双耳转码，得到音频对象的双耳输出虚拟环绕声信号。
【技术特征摘要】
【专利技术属性】
技术研发人员：孙学京，
申请(专利权)人：北京时代拓灵科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。