三维音频系统技术方案

本说明包括可以在用户接口界面中呈现的三维空间的网格上定义滤波器及其分布网络的技术规范。可以从输入单声道或立体声中分离或从麦克风阵列的输出中确定多个音轨，其中每个音轨与在三维空间中相应声源位置有关。相对位置可由听者在用户界面设置。根据三维空间中听者和声源相对位置，在滤波器的分布网格中选择一对或多对滤波器。将每对滤波器应用于相应的音轨，以生成多个经滤波的音轨，然后用从多个经滤波的音轨生成三维声音供耳机收听。如使用多个扬声器，上述每个分离或确定的音轨可直接(即全通滤波)经放大器驱动每一个对应的扬声器。多个扬声器的声音可直接构成三维音场，不必佩戴耳机亦可听到所述的三维声音。必佩戴耳机亦可听到所述的三维声音。必佩戴耳机亦可听到所述的三维声音。

【技术实现步骤摘要】
三维音频系统
[0001]相关申请的交叉引用
[0002]本申请要求以下专利申请的权益：于2020年4月11日提交的美国临时申请No.63/008,723；以及于2020年6月9日提交的美国临时申请No.63/036,797，各申请的全部内容通过引用包含于此。


[0003]本说明涉及三维声音的产生，并且特别地涉及用于拾音或处理混合音轨成为分离的声音类型，然后对分离的声音施加传递函数以生成三维声音的系统和方法，该三维声音包含有关声源的空间信息，以及根据用户设置重新创建的三维(3D)声场。
技术背景
[0004]世界各地数十亿人听音乐，但大多数听者仅能以单声道或立体声声音格式听音乐，立体声是声音再现的方法。但是，立体声声音通常仅指使用两个扬声器或头戴式耳机播放的两个音频通道。诸如环绕声之类的更多的沉浸式声音技术则需要记录并保存多个音轨(例如5.1或7.1环绕声设置)，并且声音必须通过相等数量的扬声器播放。音频通道或音轨中的每一个都包含来自多个声源的混合声音。因此，立体声声音不同于“真实的”声音(例如，音乐会舞台前的声音)，因为关于独本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维声音生成系统，包括：用户接口装置；和连接到用户接口装置的处理装置，用于：接收三维空间和在所述三维空间中的网格上定义的滤波器以及其分布网络的技术规范，其中所述三维空间可呈现在用户接口装置的用户接口中；确定一个或多个音轨，其中所述一个或多个音轨中的每一个与相应声源相关联；在所述三维空间中表示听者和所述一个或多个音轨的相应声源；对应于所述三维空间中至少一个听者位置和声源位置的用户设置，从所述滤波器分布网中选择多个滤波器；将所述多个滤波器中的每一个应用于所述一个或多个音轨中的相应音轨，以生成一个或多个经滤波的音轨；以及从所述一个或多个经滤波的音轨中生成的三维声音。2.根据权利要求1所述的声音生成系统，其中，所述一个或多个音轨中每个都是先前从混合音轨中分离的，或者，其中，所述处理装置用于：接收混合的声音流；使用机器学习模型将所述声音流分离为所述一个或多个音轨；以及使用所述机器学习模型确定所述一个或多个音轨中每一个的声音类型。3.根据权利要求2所述的声音生成系统，其中，所述声音类型是语音声音、唱歌声音、乐器声音、汽车声音、直升机声音、飞机声音、车辆声音、枪击声音或其他环境噪音。4.根据权利要求1所述的声音生成系统，还包括：包含多个麦克风的麦克风阵列，其中，所述处理装置用于：实现多个波束形成器，其中，所述多个波束形成器中的每一个被设置为以所述麦克风阵列拾取来自相应的方向的相应声源的声音；和生成一个或多个音轨，每个音轨对应于其中一个波束形成器输出。5.根据权利要求1所述的声音生成系统，其中，为了表示三维空间中一个或多个音轨的相应声源，针对每个音轨，所述处理装置用于：在用户接口上呈现表示在三维空间中根据用户位置设置的标注的声音类型的图标，其中，所述图标可以是图形、相应的声源的图像、相应声源的视频或动画表示。6.根据权利要求1所述的声音生成系统，其中，所述滤波器的分布网中的滤波器是头形相关传递函数HRTF滤波器，并且其中HRTF滤波器的分布网包含在三维空间中的网格上定义的、预先计算的左右HRTF滤波器对的阵列，并且网格上的每个点与所有左右HRTF滤波器对中的其中一对相关联，为选择所述多个HRTF滤波器，对于每个相应声源，所述处理装置用于：确定声源与听者之间的相对位置和距离；通过对所述声源和听者之间的相对位置和距离应用激活函数来确定索引或所述网格的点以检索相应的HRTF滤波器；选择与所确定的所述网格的点相关联的左右HRTF滤波器对作为所述多个HRTF滤波器中的其中之一；以及
对应于听者或声源的移动，重复上述过程。7.根据权利要求6所述的声音生成系统，其中，为了将所述多个HRTF滤波器中的每一个应用于所述一个或多个音轨中的相应一个以生成一个或多个经滤波的音轨，所述处理装置应用中左HRTF滤波器来为左声道接受器生成左滤波的音轨，右HRTF滤波器来为右声道接受器生成右滤波的音轨，所述左声音接受器和右声音接受器会将输出信号传送给耳机、头戴式耳机或者扬声器。8.根据权利要求1所述的声音生成系统，其中为了从所述一个或多个经滤波的音轨生成三维声音，所述处理装置用于为耳机、头戴式耳机或扬声器生成双耳声音。9.根据权利要求1所述的声音生成系统，其中为了从所述一个或多个经滤波的音轨生成三维声音，所述处理装置用于向多个扬声器提供一个或多个经滤波的音轨。10.根据权利要求1所述的声音生成系统，其中，所述声音生成系统是会议或虚拟音乐会系统，其中，相应声源中的每一个包含会议或音乐会参与者，并且其中，所述处理器用于：在表示虚拟会议室或虚拟音乐会的三维空间中呈现相应声源位置。11.根据权利要求1所述的声音生成系统，还包含以下至少之一：包含多个麦克风的麦克风阵列，用于拾取来自不同方向的多个声源的声音；一个或多个扬声器，用于呈现三维声音；声学回声消除单元，用于移除一个或多个音轨中的回声；降噪单元，用于减少一个或多个音轨中的噪声成分；一组声音均衡器单元，用于处理一个或多个音轨输出；参考声音拾音电路，其位于所述一个或多个...

【专利技术属性】
技术研发人员：李齐，丁寅，J，
申请(专利权)人：美国LCT公司，
类型：发明
国别省市：