使用用户耳朵的3D重建对音频输出进行个性化均衡制造技术

一种用于基于用户耳朵的表示为头戴式装置生成个性化音频输出响应的方法。接收至少包括用户耳朵的用户头部的一部分的一个或更多个图像。部分地基于一个或更多个图像生成用户耳朵的表示。基于该表示执行从音频源到用户耳朵的声音传播的模拟。基于该模拟为用户生成个性化音频输出响应，该个性化音频输出响应被配置为调整由头戴式装置提供给用户的音频内容的一个或更多个声学参数。的一个或更多个声学参数。的一个或更多个声学参数。

【技术实现步骤摘要】
【国外来华专利技术】使用用户耳朵的3D重建对音频输出进行个性化均衡
专利

[0001]本公开一般涉及人工现实系统，更具体地说，涉及为用户生成个性化均衡滤波器。
[0002]背景
[0003]现有的头戴式装置(例如人工现实(AR)和虚拟现实(VR)头戴式装置)通常使用多个换能器向用户提供音频内容。然而，从换能器到用户耳朵的声音传播可能基于用户耳朵和/或头部的解剖特征而变化。例如，用户之间耳朵大小和形状的差异会影响头戴式装置生成的声音和用户感知的声音，这会对用户的音频体验产生负面影响。当前的音频系统不足以传送高保真度的音频内容，因为它们可能没有考虑到用户之间解剖特征的变化以及用户之间头戴式装置配件(fitment)的不一致性。因此，需要一种用于调整音频输出的方法，该方法补偿解剖特征的变化和配件的不一致性，使得头戴式装置提供的音频内容被定制给用户。
[0004]概述
[0005]公开了一种用于基于用户耳朵的图像生成个性化均衡滤波器以增强用户音频体验的系统和方法。使用用户头部的一个或更多个图像生成至少包括用户耳朵的用户头部的至少一部分的表示。图像可以包括用户(例如，用户的头部、用户的耳朵)的图像和/或佩戴头戴式装置的用户的图像。头戴式装置可以包括用于向用户提供音频内容的多个换能器。该表示可以是三维网格模型。基于该表示执行模拟，该模拟数值地模拟了声音如何从音频源(例如，头戴式装置的换能器阵列)传播到用户的耳朵。模拟用于为用户生成均衡滤波器。均衡滤波器然后用于调整用户音频输出的一个或更多个声学参数(例如，波长、频率、音量、音调、平衡等)，以为用户在耳朵处生成目标响应，使得用户按音频输出的创建者打算让它被听到的方式来感知该音频输出。均衡滤波器也可以附加到用户的社交网络简档。
[0006]根据本专利技术的一些实施例，提供了一种方法，包括：接收包括用户耳朵的图像；部分基于所接收的图像生成用户耳朵的三维(3D)表示；基于该3D表示，执行从音频源到用户耳朵的声音传播的模拟；以及基于该模拟为用户生成均衡滤波器，该均衡滤波器被配置为调整被提供给用户的音频内容的一个或更多个声学参数。
[0007]在一些实施例中，在用户耳朵的图像中，用户佩戴头戴式装置，并且其中生成用户耳朵的3D表示还包括生成包括头戴式装置的3D表示。
[0008]在一些实施例中，均衡滤波器在应用于被提供给用户的音频内容时，基于从音频源到用户耳朵的声音传播的模拟，为用户调整音频内容的一个或更多个声学参数。
[0009]在一些实施例中，音频源是头戴式装置的扬声器阵列。
[0010]在一些实施例中，从音频源到用户耳朵的声音传播的模拟模拟了用户耳朵处的音频输出。
[0011]在一些实施例中，生成3D表示包括使用机器学习模型处理用户耳朵的图像以获得3D表示。
[0012]在一些实施例中，使用将用户耳朵描述为测试对象耳朵的代表性三维形状的组合的主成分分析(PCA)模型来生成3D表示。
[0013]在一些实施例中，通过以下步骤生成PCA模型：接收测试对象的耳朵图像和测试对象的测量音频输出响应；基于初始PCA模型确定测试对象的耳朵图像的基于PCA的3D表示；对基于PCA的3D表示进行模拟，以确定测试对象的模拟音频输出响应；确定模拟音频输出响应与测量音频输出响应之间的差值；基于所确定的差值，通过修改初始PCA模型或通过更新从初始PCA模型导出的一个或更多个中间PCA模型来生成更新的PCA模型；以及当所确定的差值低于阈值时，将更新的PCA模型确定为用于表示用户耳朵的PCA模型。
[0014]在一些实施例中，该方法还包括：根据PCA模型，使用测试对象的耳朵图像和测试对象的耳朵图像的基于PCA的3D表示来训练机器学习模型。
[0015]在一些实施例中，用户耳朵的图像由头戴式装置的深度相机组件捕获。
[0016]在一些实施例中，生成的3D表示包括用户耳朵的三维网格。
[0017]在一些实施例中，该方法还包括：将生成的均衡滤波器提供给头戴式装置，该头戴式装置被配置为使用均衡滤波器来向用户提供音频内容。
[0018]在一些实施例中，该方法还包括：将生成的均衡滤波器提供给在线系统，其中在线系统将生成的均衡滤波器与用户的在线简档相关联地存储。
[0019]在本专利技术的一些实施例中，提供了一种非暂时性计算机可读存储介质，该计算机可读存储介质上存储指令，当由处理器执行这些指令时，使得处理器执行包括以下步骤的步骤：接收包括用户耳朵的图像；部分基于所接收的图像生成用户耳朵的3D表示；基于该3D表示，执行从音频源到用户耳朵的声音传播的模拟；以及基于该模拟为用户生成均衡滤波器，该均衡滤波器调整被提供给用户的音频内容的一个或更多个声学参数。
[0020]在一些实施例中，在用户耳朵的图像中，用户佩戴头戴式装置，并且其中生成用户耳朵的3D表示还包括生成头戴式装置的3D表示。
[0021]在一些实施例中，均衡滤波器在应用于被提供给用户的音频内容时，基于从音频源到用户耳朵的声音传播的模拟，为用户调整音频内容的一个或更多个声学参数。
[0022]在一些实施例中，音频源是头戴式装置的扬声器阵列。
[0023]在一些实施例中，模拟基于有限元法(FEM)、边界元法(BEM)和时域有限差分(FDTD)法中的一种，并且其中从音频源到用户耳朵的声音传播的模拟模拟了用户耳朵处的音频输出。
[0024]在一些实施例中，步骤还包括：将生成的均衡滤波器提供给头戴式装置，该头戴式装置被配置为使用均衡滤波器来向用户提供音频内容。
[0025]在一些实施例中，步骤还包括：将生成的均衡滤波器提供给在线系统，该在线系统被配置为将生成的均衡滤波器附加到用户的在线简档。
[0026]应当理解，本文所描述的适合于本专利技术的一个或更多个方面或实施例的任何特征都旨在可推广到本公开的任何和所有方面和实施例。
[0027]附图简述
[0028]图1A是根据一个或更多个实施例的头戴式装置的第一实施例的透视图。
[0029]图1B是根据一个或更多个实施例的头戴式装置的第二实施例的透视图。
[0030]图2示出了根据一个或更多个实施例的用于向设备提供音频内容的系统环境。
[0031]图3示出了根据一个或更多个实施例的均衡系统。
[0032]图4A是根据一个或更多个实施例的、成像设备捕获用户头部图像的示例视图。
[0033]图4B是根据一个或更多个实施例的由图4A中的成像设备捕获的用户头部的一部分的图像。
[0034]图5A是根据一个或更多个实施例的、成像设备捕获佩戴头戴式装置的用户头部的图像的示例视图。
[0035]图5B是根据一个或更多个实施例的由图5A中的成像设备捕获的用户头部的一部分的图像。
[0036]图6A是根据一个或更多个实施例的、成像设备捕获佩戴具有视觉标记的头戴式装置的用户头部图像的示例视图。
[0037]图6B是根据一个或更多个实施例的由图6A中的成像设备捕获本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收包括用户耳朵的图像；部分基于所接收的图像生成用户耳朵的三维(3D)表示；基于所述3D表示，执行从音频源到用户耳朵的声音传播的模拟；和基于所述模拟为用户生成均衡滤波器，所述均衡滤波器被配置为调整被提供给用户的音频内容的一个或更多个声学参数。2.根据权利要求1所述的方法，其中，用户在用户耳朵的所述图像中佩戴头戴式装置，并且其中生成用户耳朵的3D表示还包括生成包括所述头戴式装置的3D表示。3.根据权利要求1或权利要求2所述的方法，其中所述均衡滤波器在应用于被提供给用户的音频内容时，基于从所述音频源到用户耳朵的声音传播的所述模拟，为用户调整该音频内容的一个或更多个声学参数；并且优选地，其中所述音频源是头戴式装置的扬声器阵列；和/或优选地，其中从所述音频源到用户耳朵的声音传播的所述模拟模拟了用户耳朵处的音频输出。4.根据权利要求1至3中任一项所述的方法，其中生成所述3D表示包括使用机器学习模型处理用户耳朵的所述图像以获得所述3D表示；并且优选地，其中使用主成分分析(PCA)模型来生成所述3D表示，所述主成分分析(PCA)模型将用户耳朵描述为测试对象的耳朵的代表性三维形状的组合。5.根据权利要求4所述的方法，其中所述PCA模型通过以下方式生成：接收所述测试对象的耳朵图像和所述测试对象的测量音频输出响应；基于初始PCA模型来确定所述测试对象的耳朵图像的基于PCA的3D表示；对所述基于PCA的3D表示进行模拟，以确定所述测试对象的模拟音频输出响应；确定所述模拟音频输出响应与所述测量音频输出响应之间的差值；基于所确定的差值，通过修改所述初始PCA模型或通过更新从所述初始PCA模型导出的一个或更多个中间PCA模型来生成更新的PCA模型；和当所述确定的差值低于阈值时，将所述更新的PCA模型确定为用于表示用户耳朵的PCA模型；并且优选地所述方法还包括：根据PCA模型，使用所述测试对象的耳朵图像和所述测试对象的耳朵图像的基于PCA的3D表示来训练所述机器学习模型。6.根据权利要求1至5中任一项所述的方法，其中，用户耳朵的所述图像由头戴式装置的深度相机组件捕获。7.根据权利要...

【专利技术属性】
技术研发人员：帕布鲁，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：