用于个性化声传递函数的动态确定的音频系统技术方案

本发明专利技术涉及用于个性化声传递函数的动态确定的音频系统。一种眼镜装置包括音频系统。在一个实施方式中，音频系统包括麦克风阵列，该麦克风阵列包括多个声传感器。每个声传感器被配置为检测麦克风阵列周围的局部区域内的声音。针对多个检测到的声音，音频系统执行到达方向(DoA)估计。基于检测到的声音的参数和/或DoA估计，音频系统然后可以生成或更新对用户唯一的一个或多个声传递函数。音频系统可以使用一个或多个声传递函数来为用户生成音频内容。

【技术实现步骤摘要】
用于个性化声传递函数的动态确定的音频系统
本公开内容大体上涉及立体声学，并且具体地涉及用于用户的个性化声传递函数的动态确定的音频系统。
技术介绍
根据声源相对于每只耳朵的方向和定位以及在其中感知到声音的房间的周围环境，在两只耳朵中感知到的声音可能不同。人类可以通过比较在每只耳朵中感知到的声音来确定声源的定位。在“环绕声”系统中，多个扬声器使用声传递函数来再现声音的方向性方面。声传递函数表示在其源定位处的声音与例如通过麦克风阵列或个人如何检测到该声音之间的关系。单个麦克风阵列(或者佩戴麦克风阵列的个人)可具有用于麦克风阵列周围的(或者佩戴麦克风阵列的个人周围的)局部区域中的几个不同的源定位的几个关联的声传递函数。此外，用于麦克风阵列的声传递函数可以基于局部区域中的麦克风阵列的位置和/或定向而不同。此外，麦克风阵列的声传感器可以以大量可能的组合进行布置，并且因而，关联的声传递函数对于麦克风阵列是唯一的。因此，确定每个麦克风阵列的声传递函数可能需要直接评估，这就需要的时间和资源而言可能是漫长且昂贵的过程。
技术实现思路
实施方式涉及用于动态确定声传递函数的音频系统。声传递函数表征如何从空间中的点接收声音。具体地，声传递函数定义在其源定位处的声音的参数与例如通过麦克风阵列或用户的耳朵检测到声音的参数之间的关系。声传递函数可以是例如阵列传递函数(ATF)和/或头部相关传递函数(HRTF)。在一个实施方式中，音频系统包括麦克风阵列，该麦克风阵列包括多个声传感器。每个声传感器被配置为检测麦克风阵列周围的局部区域内的声音。多个声传感器中的至少一些耦接至近眼显示器(NED)。音频系统还包括控制器，该控制器被配置为估计由麦克风阵列检测到的声音相对于局部区域内的NED的位置的到达方向(DoA)。基于检测到的声音的参数，控制器生成或更新与音频系统相关联的声传递函数。每个声传递函数与局部区域内的NED的特定位置相关联，使得随着NED的位置在局部区域内改变，控制器生成或更新新的声传递函数。在一些实施方式中，音频系统使用一个或多个声传递函数为佩戴NED的用户生成音频内容。在一些实施方式中，描述了用于动态确定声传递函数的方法。麦克风阵列监测麦克风阵列周围的局部区域中的声音。麦克风阵列包括多个声传感器。多个声传感器中的至少一些耦接至近眼显示器(NED)。估计检测到的声音相对于局部区域内的NED的位置的到达方向(DoA)。基于DoA估计，更新与NED相关联的声传递函数。声传递函数可以是例如麦克风阵列的阵列传递函数或者与用户相关联的HRTF。在一些实施方式中，计算机可读介质可以被配置为执行方法的步骤。附图说明图1是示出了根据一个或多个实施方式的包括麦克风阵列的眼镜装置的实例。图2是示出了根据一个或多个实施方式的包括作为用户的耳朵上的麦克风的声传感器的眼镜装置的一部分的实例。图3是示出了根据一个或多个实施方式的包括颈带的眼镜装置的实例。图4是根据一个或多个实施方式的音频系统的框图。图5是示出了根据一个或多个实施方式的生成和更新包括音频系统的眼镜装置的头部相关传递函数的过程的流程图。图6是根据一个或多个实施方式的包括音频系统的眼镜装置的系统环境。附图仅为了说明的目的描述了本公开内容的实施方式。本领域技术人员从下列描述中容易认识到，在不背离本文中描述的本公开内容的原理或推崇的益处的情况下，可以采用本文中示出的结构和方法的替换实施方式。具体实施方式声传递函数有时在声音衰减室中针对相对于个人的许多不同的(例如，通常多于100个)源定位来(例如，经由扬声器阵列)确定。所确定的声传递函数然后可以用于为个人生成“环绕声”体验。然而，环绕声的质量主要根据用于生成声传递函数的不同定位的数量。此外，为了减少误差，可以为每个扬声器定位确定多个声传递函数(即，每个扬声器正在生成多个不连续的声音)。因此，为了高质量的环绕声，由于存在为许多不同的扬声器定位确定的多个声传递函数，因此可能需要相对长的时间(例如，多于一个小时)来确定声传递函数。另外，用于测量声传递函数的对于质量环绕声足够的基础设施可能是复杂的(例如，声音衰减室、一个或多个扬声器阵列等)。因此，就所需要的硬件资源和/或时间而言，用于获得声传递函数的一些方法效率低。音频系统检测声音以便为用户生成一个或多个声传递函数。在一个实施方式中，音频系统包括麦克风阵列，该麦克风阵列包括多个声传感器和控制器。每个声传感器被配置为检测麦克风阵列周围的局部区域内的声音。多个声传感器中的至少一些耦接至被配置为由用户佩戴的近眼显示器(NED)。在一些实施方式中，多个声传感器中的一些耦接至与NED耦接的颈带。随着用户遍及用户周围的局部区域移动，麦克风阵列检测到不受控制的和受控制的声音。不受控制的声音是未受到音频系统的控制并且在局部区域中出现的声音(例如，自然发生的环境噪声)。受控制的声音是由音频系统控制的声音。控制器被配置为估计由麦克风阵列检测到的声音相对于局部区域内的NED的位置的到达方向(DoA)。在一些实施方式中，控制器为音频数据集填充信息，该信息可包括检测到的声音以及与每个检测到的声音相关联的参数。示例性参数可包括频率、振幅、持续时间、DoA估计、源定位、或者它们的某种组合。基于音频数据集，控制器生成或更新针对检测到的声音相对于NED的位置的源定位的声传递函数。声传递函数表征如何从空间中的点接收声音。具体地，声传递函数定义在其源定位中的声音的参数与例如通过麦克风阵列或用户的耳朵检测到声音的参数之间的关系。声传递函数可以是例如阵列传递函数(ATF)和/或头部相关传递函数(HRTF)。每个声传递函数与局部区域内的具体的源定位和NED的特定位置相关联，使得随着NED的位置在局部区域内改变，控制器生成或更新新的声传递函数。在一些实施方式中，音频系统使用一个或多个声传递函数为佩戴NED的用户生成音频内容(例如，环绕声)。本公开内容的实施方式可包括人工现实系统或者结合人工现实系统实现。人工现实是在呈现给用户之前以一些形式调节的一种现实形式，例如，该人工现实可包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合性现实、或者它们的某种组合和/或衍生。人工现实内容可包括完全生成的内容或者与捕获的(例如，现实世界)内容结合生成的内容。人工现实内容可包括视频、音频、触觉反馈或者它们的某种组合，并且其中的任一个可在单个信道或者多个信道中(诸如，给观看者产生三维效果的立体视频)中呈现。另外，在一些实施方式中，人工现实还可以与例如用于创建人工现实中的内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)的应用程序、产品、配件、服务或者它们的某种组合相关联。提供人工现实内容的人工现实系统可以在各个平台上实现，该平台包括连接至主计算机系统的头戴式显示器(HMD)、独立的HMD、移动装置或计算系统、或者能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。眼镜装置配置图1是示出了根据一个或多个实施方式的包括音频本文档来自技高网...

【技术保护点】
1.一种音频系统，包括：/n麦克风阵列，包括被配置为检测所述麦克风阵列周围的局部区域内的声音的多个声传感器，并且所述多个声传感器中的至少一些耦接至近眼显示器(NED)；/n控制器，被配置为：/n估计检测到的声音相对于所述局部区域内的所述NED的位置的到达方向(DoA)；并且/n基于所述DoA的估计，更新与所述音频系统相关联的传递函数。/n

【技术特征摘要】
20180622 US 16/015,8791.一种音频系统，包括：
麦克风阵列，包括被配置为检测所述麦克风阵列周围的局部区域内的声音的多个声传感器，并且所述多个声传感器中的至少一些耦接至近眼显示器(NED)；
控制器，被配置为：
估计检测到的声音相对于所述局部区域内的所述NED的位置的到达方向(DoA)；并且
基于所述DoA的估计，更新与所述音频系统相关联的传递函数。


2.根据权利要求1所述的音频系统，其中，所述传递函数是以下项中的至少一项：与所述局部区域内的所述NED的所述位置相关联的头部相关传递函数(HRTF)以及与所述麦克风阵列相关联的阵列传递函数(ATF)。


3.根据权利要求1所述的音频系统，其中，所述控制器进一步被配置为：
识别所述检测到的声音相对于所述NED的所述位置的源。


4.根据权利要求1所述的音频系统，其中，所述多个声传感器中的至少一个被放置在用户的耳道内部。


5.根据权利要求1所述的音频系统，其中，所述多个声传感器中的至少一些被放置在项圈上，所述项圈耦接至所述NED并且被配置为放置在用户的颈部周围。


6.根据权利要求1所述的音频系统，其中，所述控制器进一步被配置为：
识别所述检测到的声音中的第二检测到的声音；
估计所述第二检测到的声音相对于所述局部区域内的所述NED的第二位置的第二DoA；
确定所述第二检测到的声音具有在目标参数的阈值内的关联的参数；并且
基于所述第二DoA的估计生成第二传递函数，所述第二传递函数与所述局部区域内的所述NED的所述第二位置相关联。


7.根据权利要求1所述的音频系统，其中，所述控制器进一步被配置为：
识别所述检测到的声音中的第二检测到的声音；
估计所述第二检测到的声音相对于所述局部区域内的所述NED的第二位置的第二DoA；
确定所述第二检测到的声音具有在目标参数的阈值内的关联的参数；
基于所述第二DoA的估计更新预先存在的传递函数，所述预先存在的传递函数与所述局部区域内的所述NED的所述第二位置相关联。


8.根据权利要求7所述的音频系统，其中，参数描述所述检测到的声音的特征，所述特征选自由频率、振幅、持续时间和DoA组成的组。


9.根据权利要求1所述的音频系统，进一步包括：
扬声器组件，被配置为部分基于所述传递函数提供对用户定制的音频内容。


10.根据权利要求1所述的音频系统，其中，所述控制器进一步被配置为部分基于以下项中的至少一项来确定所述NED的所述位置：所述局部区域的深度信息和用于所述NED的惯性测量单元(IMU)数据。


11.根据权利要求9所述的音频系统，其中，所述深度信息来自深度相机组件，并且所述IMU数据来自IMU。


12.根据权利要求1所述的音频系统，其中，所述检测到的声音是环境声音。


13.一种方法，包括：
由包括多个声传感器的麦克风阵列监测所述麦克风阵列周围的局部区...

【专利技术属性】
技术研发人员：拉维什·迈赫拉，安东尼奥·约翰·米勒，弗拉迪米尔·图尔巴宾，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US