修改房间特性以通过耳机进行空间音频呈现的系统和方法技术方案

本公开提供了修改房间特性以通过耳机进行空间音频呈现的系统和方法。音频呈现系统包括将音频输入信号与包括房间响应的个性化空间音频传递函数相结合的处理器。个性化空间音频传递函数选自具有多个候选传递函数的数据库，根据多个个人的入耳式麦克风测量得到多个候选传递函数。可替代地，个性化传递函数是从听者的实际入耳式测量得到的。房间修改模块允许用户修改个性化空间音频传输函数以替换不同的房间或修改所选房间的特性，而无需额外的入耳式测量。所述模块将所选择的传递函数分割为多个区域，包括直接区域、受头部和躯干影响的区域、前期反射区域和后期混响区域中的一个或多个。在一个或多个区域上执行提取和修改操作以改变感知到的声音。

System and method of modifying room properties for spatial audio presentation through headphones

【技术实现步骤摘要】
修改房间特性以通过耳机进行空间音频呈现的系统和方法相关申请的交叉引用本申请要求于2018年10月25日提交且题为“SYSTEMSANDMETHODSFORMODIFYINGROOMCHARACTERISTICSFORSPATIALAUDIORENDERINGOVERHEADPHONES(用于修改房间特性以通过耳机进行空间音频呈现的系统和方法)”的美国临时专利申请62/750,719的优先权权益，该美国临时专利申请通过引用合并于2018年1月7日提交并且题为“METHODFORGENERATINGCUSTOMIZEDSPATIALAUDIOWITHHEADTRACKING(利用头部跟踪生成定制空间音频的方法)”的美国临时专利申请，这些临时专利申请中的每一个为了所有目的通过引用的方式全部并入。该申请还通过引用合并于2018年9月19日提交、2019年8月20日颁发并且题为“METHODFORGENERATINGCUSTOMIZEDSPATIALAUDIOWITHHEADTRACKING(利用头部跟踪生成定制空间音频的方法)”的美国专利No.10,390,171，该美国专利的全部内容为了所有目的通过引用的方式并入。
本专利技术涉及用于通过耳机呈现音频的方法和系统。更具体地，本专利技术涉及使用具有房间脉冲响应信息的个性化空间音频传递函数的数据库来生成更逼真的音频呈现。
技术介绍
双耳房间脉冲响应(BRIR)处理的实践是众所周知的。根据已知的方法，真实或仿真头部和双耳麦克风用于记录真实房间中多个扬声器位置中的每个位置的立体声脉冲响应(IR)。即，生成一对脉冲响应，每个耳朵各一个。然后，可以使用这些IR对音乐曲目进行卷积(滤波)，并且结果被混合在一起并通过耳机播放。如果应用正确的均衡，则音乐的声道将听起来就像在记录IR的房间中的扬声器位置处播放一样。BRIR及其相关的双耳房间传递函数(BRTF)模拟扬声器发出的声波与听者的耳朵、头部和躯干以及房间中的墙壁和其他物体之间的相互作用。房间的大小会影响声音，房间中墙壁的声音反射和吸收质量也会影响声音。扬声器通常被封装在外壳中，外壳的设计和构成会影响声音的质量。当BRTF被应用于输入音频信号并馈入耳机的各个声道时，利用方向和空间印象暗示来再现自然声音，这些方向和空间印象暗示模拟将从如下真实来源听到的声音，该真实来源位于与真实房间中的扬声器相同的位置处并且具有扬声器的声音质量属性。实际的BRIR测量通常是通过以下方式来进行的，该方式是让一个人坐在房间里并利用入耳式麦克风来测量来自扬声器的脉冲响应。测量过程极其耗时，需要听者的耐心配合，因为会针对相对于听者头部位置的不同扬声器位置进行大量测量。这些测量通常是在围绕听者的水平面内至少每3或6度方位角进行一次，但是测量的数量可以更少或更多，并且还可以包含相对于听者的仰角位置以及与不同的头部倾斜有关的测量。一旦完成所有这些测量，就生成了针对这个人的BRIR数据集，并使该数据集可用于通常以对应的频域形式(BRTF)应用于音频信号以提供上述方向和空间印象暗示(cue)。在许多应用中，典型的BRIR数据集不足以满足听者的需求。通常，BRIR测量是利用扬声器在距听者头部约1.5m处进行的。但是通常，听者可能更喜欢感觉扬声器位于更远或更近的距离处。例如，在音乐播放中，听者可能更喜欢立体声信号听起来像是位于距离听者3米或更远的地方。在视频游戏的情况下，可以使用BRTF以适当的方向性定位音频对象，但对象的距离由与可用的单个BRTF数据集相关联的距离不准确地表示。最好的情况下，即使对信号施加的衰减将传达从所测量的听者头部到扬声器距离的距离增加的感觉，距离的感觉也是不确定的。为不同的听者头部到扬声器的距离定制可用的BRIR将是有用的。更进一步，由于测量约束，在BRIR测量过程中使用的扬声器可能已经受到尺寸和/或质量的限制，而听者会更偏爱使用更高质量的扬声器来记录BRIR数据集。尽管在某些情况下可以通过在变化的环境中对个人进行重新测量来处理这些情况，但这将是一种昂贵且耗时的方法。期望的是，可以修改个人的BRIR的所选择部分来表示改变的扬声器-房间-听者距离或其他属性，而无需诉诸于重新测量BRIR。
技术实现思路
为了实现前述目的，本专利技术在各种实施例中提供了一种处理器，该处理器被配置为向耳机提供双耳信号以包括室内脉冲响应，以向音轨提供真实感。通过对BRIR的一个或多个分割区域应用一种或多种技术，可以提供对BRIR的修改。因此，一个或多个扬声器-房间-听者特性被修改而无需对个人进行重新测量。附图说明图1是以图形方式示出根据本专利技术的一个实施例的经受处理的BRIR的不同区域的图。图2是示出了根据本专利技术的实施例的在不需要附加的入耳式测量的情况下修改BRIR的模块的框图。图3是根据本专利技术的一些实施例的示出了扬声器和房间特性的房间的图，可以针对所述扬声器和房间特性通过处理BRIR的一个或多个区域对BRIR进行修改。图4是根据本专利技术的实施例的用于生成用于定制的BRIR、获取用于定制的听者属性、选择针对听者的定制的BRIR并且用于呈现由BRIR修改的音频的系统的图。图5是示出了根据本专利技术的实施例的修改BRIR以替代不同房间或修改所选房间的特性而无需另外的入耳式测量的步骤的图。优选实施例的详细描述现在将详细参考本专利技术的优选实施例。在附图中示出了优选实施例的示例。尽管将结合这些优选实施例描述本专利技术，但是应当理解，并不旨在将本专利技术限制于这样的优选实施例。相反，其旨在涵盖可被包括在由所附权利要求书限定的本专利技术的实质和范围内的另选形式、修改形式和等同形式。在以下描述中，阐述了许多具体细节以便提供对本专利技术的更透彻的理解。可以在没有一些或所有这些具体细节的情况下实践本专利技术。在其他情况下，没有详细描述众所周知的机制，以免不必要地模糊本专利技术。在此应当指出的是，在各个附图中，相同的附图标记指代相同的部分。本文中图示和描述的各种附图用于图示本专利技术的各种特征。就在一个附图而非在另一个附图中示出特定特征的程度而言，除非另有说明或结构固有地禁止合并该特征，应当理解，那些特征可以适于被包括在其他附图所表示的实施例中，就像它们在那些附图中被充分示出一样。除非另有说明，否则附图不一定按比例绘制。附图中提供的任何尺寸都不旨在限制本专利技术的范围，而仅是示例性的。房间具有许多特性，这些特性对音频再现(即听者所听到的)有实质性的影响。除别的以外，这些特性包括墙的质地、墙的构成、声音吸收和物体的存在。此外，房间和扬声器之间的关系以及房间的尺寸和配置以及其他环境特性也影响听者在房间或其他环境中听到的声音。因此，如果房间改变或房间/扬声器特性改变，则必须在听者通过耳机感知的空间音频中复制这些改变的特性。一种方法将包括在改变的条件下(即在新房间中)对听者重新测量新的BRIR数据集。但是如果希望向听者提供在具有特定更改特性的新房间中的感觉，并且这种“新”房间不可用，则即使耗时的BRIR数据集入耳式测量技术也将不可用。鉴于通过本文档来自技高网...

【技术保护点】
1.一种用于生成经修改的双耳房间脉冲响应BRIR的方法，所述方法包括：/n将第一BRIR分割为至少2个区域；/n在所述至少2个区域中的至少一个区域上执行数字信号处理操作以生成至少一个经修改的区域；并且/n将所述至少一个经修改的区域与未执行处理操作的任何未经修改的区域组合以形成经修改的BRIR，其中所述至少一个经修改的区域对应于针对扬声器-房间-听者相互关系的改变的声音属性。/n

【技术特征摘要】
20181025 US 62/750,719;20191015 US 16/653,1301.一种用于生成经修改的双耳房间脉冲响应BRIR的方法，所述方法包括：
将第一BRIR分割为至少2个区域；
在所述至少2个区域中的至少一个区域上执行数字信号处理操作以生成至少一个经修改的区域；并且
将所述至少一个经修改的区域与未执行处理操作的任何未经修改的区域组合以形成经修改的BRIR，其中所述至少一个经修改的区域对应于针对扬声器-房间-听者相互关系的改变的声音属性。


2.根据权利要求1所述的方法，其中所述第一BRIR被分割为4个区域中的至少两个区域，所述4个区域包括直接区域、前期反射区域、受头部和躯干影响的区域、以及后期混响区域。


3.根据权利要求2所述的方法，其中在所述4个区域中的2个或更多个区域上执行数字信号处理操作。


4.根据权利要求2所述的方法，其中所述经修改的BRIR旨在模拟由目标扬声器所执行的音频处理，并且至少一个经修改的区域根据从目标扬声器的脉冲响应中选出的对应区域而被生成，所述目标扬声器不同于针对所述第一BRIR所用的第一扬声器。


5.根据权利要求4所述的方法，其中分割包括确定所述第一BRIR中的直接区域，并且进一步包括对所述第一BRIR的直接区域应用反卷积以从所述直接区域中去除所述第一扬声器；并且使目标扬声器响应与所述第一BRIR的经反卷积的直接区域进行卷积。


6.根据权利要求4所述的方法，其中所述第一扬声器从整个BRIR被反卷积，并且所述方法进一步包括使目标扬声器响应与针对所述第一扬声器的整个经反卷积的BRIR响应进行卷积。


7.根据权利要求4所述的方法，其中针对所述第一扬声器的BRIR的直接区域被替换为针对所述目标扬声器的BRIR的对应的直接区域。


8.根据权利要求1所述的方法，其中所述经修改的BRIR旨在模拟在目标房间中执行的音频处理，并且至少一个经修改的区域根据从所述目标房间的脉冲响应中选出的对应区域而被生成，所述目标房间不同于针对所述第一BRIR所用的房间。


9.根据权利要求1所述的方法，其中修改步骤针对电影院应用而进行优化，并且旨在模拟由以下各项中的至少一项的变化而导致的针对扬声器-房间-听者相互关系的声音属性的变化：扬声器到听者的距离；扬声器位置；房间RT60；房间大小、尺寸和形状；以及房间陈设。


10.根据权利要求1所述的方法，其中修改步骤针对游戏应用而进行优化，并且旨在模拟由以下各项中的至少一项的变化而导致的针对扬声器-房间-听者相互关系的声音属性的变化：扬声器到听者的距离；房间RT60；房间大小、尺寸和形状；房间陈设；非内部房间环境；流体属性变化；听者的身体大小；以及声学变形...

【专利技术属性】
技术研发人员：李迪篪，克里斯托弗·哈梅尔斯尼，马克·安东尼·戴维斯，许道恩，
申请(专利权)人：创新科技有限公司，
类型：发明
国别省市：新加坡;SG