使用用户耳朵的3D重建对音频输出进行个性化均衡制造技术

一种用于基于用户耳朵的表示为头戴式装置生成个性化音频输出响应的方法。接收至少包括用户耳朵的用户头部的一部分的一个或更多个图像。部分地基于一个或更多个图像生成用户耳朵的表示。基于该表示执行从音频源到用户耳朵的声音传播的模拟。基于该模拟为用户生成个性化音频输出响应，该个性化音频输出响应被配置为调整由头戴式装置提供给用户的音频内容的一个或更多个声学参数。的一个或更多个声学参数。的一个或更多个声学参数。

【技术实现步骤摘要】
【国外来华专利技术】使用用户耳朵的3D重建对音频输出进行个性化均衡
专利

[0001]本公开一般涉及人工现实系统，更具体地说，涉及为用户生成个性化均衡滤波器。
[0002]背景
[0003]现有的头戴式装置(例如人工现实(AR)和虚拟现实(VR)头戴式装置)通常使用多个换能器向用户提供音频内容。然而，从换能器到用户耳朵的声音传播可能基于用户耳朵和/或头部的解剖特征而变化。例如，用户之间耳朵大小和形状的差异会影响头戴式装置生成的声音和用户感知的声音，这会对用户的音频体验产生负面影响。当前的音频系统不足以传送高保真度的音频内容，因为它们可能没有考虑到用户之间解剖特征的变化以及用户之间头戴式装置配件(fitment)的不一致性。因此，需要一种用于调整音频输出的方法，该方法补偿解剖特征的变化和配件的不一致性，使得头戴式装置提供的音频内容被定制给用户。
[0004]概述
[0005]公开了一种用于基于用户耳朵的图像生成个性化均衡滤波器以增强用户音频体验的系统和方法。使用用户头部的一个或更多个图像生成至少包括用户耳朵的用户头部的至少一部分的表示。图像可以包括用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收包括用户耳朵的图像；部分基于所接收的图像生成用户耳朵的三维(3D)表示；基于所述3D表示，执行从音频源到用户耳朵的声音传播的模拟；和基于所述模拟为用户生成均衡滤波器，所述均衡滤波器被配置为调整被提供给用户的音频内容的一个或更多个声学参数。2.根据权利要求1所述的方法，其中，用户在用户耳朵的所述图像中佩戴头戴式装置，并且其中生成用户耳朵的3D表示还包括生成包括所述头戴式装置的3D表示。3.根据权利要求1或权利要求2所述的方法，其中所述均衡滤波器在应用于被提供给用户的音频内容时，基于从所述音频源到用户耳朵的声音传播的所述模拟，为用户调整该音频内容的一个或更多个声学参数；并且优选地，其中所述音频源是头戴式装置的扬声器阵列；和/或优选地，其中从所述音频源到用户耳朵的声音传播的所述模拟模拟了用户耳朵处的音频输出。4.根据权利要求1至3中任一项所述的方法，其中生成所述3D表示包括使用机器学习模型处理用户耳朵的所述图像以获得所述3D表示；并且优选地，其中使用主成分分析(PCA)模型来生成所述3D表示，所述主成分分析(PCA)模型将用户耳朵描述为测试对象的耳朵的代表性三维形状的组合。5.根据权利要求4所述的方法，其中所述PCA模型通过以下方式生成：接收所述测试对象的耳朵图像和所述测试对象的测量音频输出响应；基于初始PCA模型来确定所述测试对象的耳朵图像的基于PCA的3D表示；对所述基于PCA的3D表示进行模拟，以确定所述测试对象的模拟音频输出响应；确定所述模拟音频输出响应与所述测量音频输出响应之间的差值；基于所确定的差值，通过修改所述初始PCA模型或通过更新从所述初始PCA模型导出的一个或更多个中间PCA模型来生成更新的PCA模型；和当所述确定的差值低于阈值时，将所述更新的PCA模型确定为用于表示用户耳朵的PCA模型；并且优选地所述方法还包括：根据PCA模型，使用所述测试对象的耳朵图像和所述测试对象的耳朵图像的基于PCA的3D表示来训练所述机器学习模型。6.根据权利要求1至5中任一项所述的方法，其中，用户耳朵的所述图像由头戴式装置的深度相机组件捕获。7.根据权利要...

【专利技术属性】
技术研发人员：帕布鲁，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：