用于产生头相关传递函数滤波器的布置制造技术

本发明专利技术公开涉及用于产生头相关传递函数滤波器的布置。在通过使用头戴式耳机产生三维音频时，使用特定HRTF滤波器来修改用于头戴式耳机的左右通道的声音。因为每一只耳朵的形态不同，所以对于头戴式耳机的用户特别设计HRTF滤波器是有利的。这种滤波器可以通过以下方式来产生：从用普通相机拍摄的多个图像导出耳朵几何结构，从图像检测必要特征，并且将所述特征拟合到已经从包括用于不同尺寸和形状的代表值的精确扫描耳朵产生的模型。所拍摄图像被发送到服务器(52)，该服务器执行必要计算并且进一步提交数据或产生所请求的滤波器。进一步提交数据或产生所请求的滤波器。进一步提交数据或产生所请求的滤波器。

【技术实现步骤摘要】
Diagnosis&Treatment in Otolaryngology
–
Head&Neck Surgery”中示出的耳朵的例示。附图仅被参照用于公开耳朵的解剖构的目的。图2a和图2b是通过使用三维扫描装置或由相机系统形成的耳朵的两个模型，该相机系统涉及多个相机，使得同时从多个方向对耳朵成像，使得可以计算三维坐标。
[0008]为了提高三维音频系统的质量，对于使用头戴式耳机的各个人产生独立HRTF滤波器将是有利的。由此，需要一种用于提供计算滤波器所需的几何结构的布置。

技术实现思路

[0009]在通过使用头戴式耳机产生三维音频时，特定HRTF滤波器被用于头戴式耳机的左右通道的声音。因为每只耳朵的形态不同，所以对于头戴式耳机的用户特别设计HRTF滤波器是有利的。这种滤波器可以通过以下方式来产生：从用普通相机拍摄的多个图像导出耳朵几何结构，从图像检测必要特征并且将所述特征拟合到已经从包括用于不同尺寸和形状的代表值的精确扫描耳朵产生的模型。所拍摄图像被发送到服务器，该服务器执行必要计算，并且进一步提交数据或产生所请求的滤波器。
[0010]在实施方式中，公开了一种用于产生用于头相关传递函数滤波器的几何数据的方法。该方法包括以下步骤：接收包括耳廓的图像的至少一个图像帧；从所述图像帧检测所述耳廓中的重要的点；由从至少一个图像帧检测到的所述点产生点云；将所述点云与模型数据库配准，其中，所述模型数据库包括从耳廓模型导出的数据，耳廓模型包括与所述耳廓有关的几何数据；以及用所述点云对所述模型数据库进行处理，使得通过修改所述模型数据库中的几何数据来生成与所述点云对应的几何数据，由此产生用于头相关传递函数滤波器的几何数据。
[0011]在实施方式中，模型数据库使用所谓的主要成分分析基来预先计算。在另外实施方式中，产生几何数据包括对所述模型数据库进行变换。在另一个实施方式中，多个图像帧是视频序列。在另外实施方式中，配准包括以下内容中的至少一个：平移、旋转以及缩放。
[0012]在实施方式中，以上所公开的方法用于产生头相关传递函数滤波器。在另外实施方式中，以上所公开的方法被实现为在计算装置上执行的计算机软件。
[0013]在另外实施方式中，使用三维相机，而不使用传统相机。在使用三维相机时，仅具有用于导出以上所提及的点云的一个三维图像是足够的，然而，可以为了产生点云而组合两个或更多个三维图像。然后，与在二维图像的情况下类似地处理点云。
[0014]在实施方式中，公开了一种设备。该设备包括：至少一个处理器，该至少一个处理器被配置为执行计算机程序；至少一个存储器，该至少一个存储器被配置为存储计算机程序和相关数据；以及至少一个数据通信接口，该至少一个数据通信接口被配置为与外部数据通信网络通信。该设备被配置为执行上述方法。
[0015]所描述的实施方式的益处包括产生用于头戴式耳机的用户的独立HRTF滤波器的可能性。此外，本实施方式的益处包括产生用于各个耳朵的自己滤波器的可能性。这例如在观看具有三维声的电影时将改善用户如何听到所产生的音频并且将具有更逼真的体验。
[0016]所描述的实施方式的另外益处包括仅使用传统相机(例如，移动电话)来提供独立滤波器的可能性。移动装置用于获取图像帧，这些图像帧然后被发送到可以产生必要计算的服务。这促进用技术上简单的工具(诸如移动电话)产生滤波器，代替三维扫描布置的传
统需要。由此，在技术上可以将低成本装置用于产生这种滤波器。
[0017]所描述的实施方式的另外益处是在家中产生滤波器的可能性。这促进具有可以从互联网商店订购的独立滤波器的头戴式耳机。感兴趣的人可以从互联网商店订购期望头戴式耳机组或从普通市场购买并且通过对自己的头部成像在家中产生滤波器。这将促进技术上独特的头戴式耳机的更容易销售。
[0018]所描述的实施方式的另外益处是产生可以在多人使用头戴式耳机组时容易改变的滤波器的可能性。这将促进所有用户的更好音频体验。
附图说明
[0019]被包括以提供用于产生头部相关传递函数滤波器的布置的进一步理解并且构成该说明书的一部分的附图例示了实施方式，并且连同说明书一起帮助说明用于产生头部相关传递函数滤波器的布置的原理。在附图中：
[0020]图1是耳廓及其部分的例示，
[0021]图2a和图2b是耳廓的三维模型的示例，
[0022]图3是实施方式的流程图，
[0023]图4是实施方式的流程图，以及
[0024]图5是示例实现的框图。
具体实施方式
[0025]现在将对实施方式详细地进行参照，附图中例示了其示例。在以下描述中，表达“耳廓”用于表示耳朵的可见部分，该部分可以是通过使用可以被布置到移动装置的传统相机获得的图像。
[0026]在图3中，公开了在产生用于产生HRTF滤波器所需的几何结构的方法中使用的用于建立预先计算PCA基的方法的流程图。PCA基是模型数据库或可变换模型的示例。如流程图所示，首先，扫描多个样本，步骤30。如在本专利技术的
技术介绍
中说明的，该扫描通过使用用于扫描的现有技术装置来进行。样本的数量例如可以为一百个，但稍后可以增大它，并且没有上限。同样可以使用更小的数量，然而，非常小的数量将降低所导出几何数据的质量。由此，在稍后精确扫描另外的人时，可以将他们耳廓的几何结构包括在同一组中。
[0027]从扫描结果构造准确三维耳道模型，步骤31。在实施方式中，由形成三角形的三维顶点构造表面模型。图2a和图2b中示出了这种表面模型的示例。用于不同耳廓的模型在该阶段可以具有不同数量的顶点和三角形。根据传统方法，这些模型或用于构造这些模型的信息将直接用于产生滤波器。
[0028]所产生的模型用作用于产生预先计算PCA基的训练数据集，该预先计算PCA基用于产生头部相关传递函数滤波器的布置中，步骤32。在产生中，使用主要成分分析(PCA)。PCA是一种统计方法，其中，从还包括不重要数据的数据集减少重要分量，使得可以在不丢失重要信息的情况下呈现重要分量。
[0029]对于预先计算PCA基，为了找到耳廓模型之间的物理对应关系，处理所获取的耳廓模型，使得在处理之后，它们由相等数量的顶点构成，并且顶点具有物理点对点对应关系。由此，相同顶点数量在所有已处理模型中与相同物理位置对应。物理对应关系可以通过使
用光流算法或类似物来找到。
[0030]最后，通过使用PCA分解并且将PCA的最重要分量用作几何基向量构造PCA模型。由此，所获取的几何结构已经被再处理为模型，该模型提供用于不同耳廓的代表值，并且可以用于产生头部相关传递函数滤波器的布置中，如以下将描述的。
[0031]在图4中，公开了一种用于将移动装置用作成像装置来产生头部相关传递函数滤波器的布置的方法的流程图。以上所提及的移动装置可以为任意便携式相机设备，该便携式相机设备能够执行计算机程序，并且能够通过网络连接向服务器发送所获取的图像。典型地，该装置为通常包括相机并且能够执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储指令的非暂时性计算机可读介质，所述指令在被设备的一个或多个处理器执行时，使所述设备执行一种方法，所述方法包括：接收耳廓的多个图像，其中所述多个图像是在不同位置获取的以覆盖所述耳廓；使用在包括多个耳廓几何结构的数据集上训练的统计模型来确定所述耳廓的几何值，其中确定所述几何值包括找到代表所述耳廓的数据点的精简集；和根据所述几何值确定头相关传递函数(HRTF)滤波器。2.根据权利要求1所述的非暂时性计算机可读介质，其中所述耳廓的多个图像由移动设备获取，并且其中所述移动设备被配置为指示用户围绕所述用户的头部移动所述移动设备以获取所述多个图像。3.根据权利要求2所述的非暂时性计算机可读介质，其中所述移动设备被配置为指示用户移动所述移动设备，使得以多个不同角度获取所述多个图像以覆盖所述耳廓。4.根据权利要求1所述的非暂时性计算机可读介质，其中所述多个图像是视频序列。5.根据权利要求1所述的非暂时性计算机可读介质，其中所述统计模型包括预先计算的主要成分分析基。6.根据权利要求1所述的非暂时性计算机可读介质，其中所述几何值对应于所述耳廓中的重要的点。7.根据权利要求6所述的非暂时性计算机可读介质，其中所述多个耳廓几何结构具有所述重要的点。8.根据权利要求1所述的非暂时性计算机可读介质，其中确定所述几何值包括求解所述统计模型的基函数的最小化问题。9.一种方法，包括：接收耳廓的多个图像，其中所述多个图像是在不同位置获取的以覆盖所述耳廓；使用在包括多个耳廓几何结构的数据集上训练的统计模型来确定所述耳廓的几何值，其中确定所述几何值包括找到代表所述耳廓的数据点的精简集；和根据所述几何值确定头相关传递函数(HRTF)滤波器。10.根据权利要求9所述的方法，其中所述耳廓的多个图像由移...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：苹果公司，
类型：发明
国别省市：