基于稀疏测量的个性化头相关传输函数预测方法及装置制造方法及图纸

本发明专利技术提供一种基于稀疏测量的个性化头相关传输函数预测方法及装置。该方法包括：首先基于若干方向上测量的头相关冲激响应，确定稀疏测量的头相关传输函数HRTF幅度谱；然后利用声学特征提取网络处理所述稀疏测量的HRTF幅度谱，获得相应的声学特征；利用维度增广网络将目标方向的维度进行增广，得到增广目标方向向量；最后利用谱预测神经网络处理所述声学特征和所述增广目标方向向量，预测出目标个性化HRTF幅度谱。该装置包括：幅度谱获取模块，声学特征获取模块，方向向量获取模块，和目标个性化幅度谱获取模块。如此，可以实现给定新被试的少量HRTF幅度谱与目标方位的方位角和俯仰角，即可通过三个神经网络模块生成目标个性化HRTF幅度谱，实现对全空间个性化HRTF幅度谱的预测。的预测。的预测。

【技术实现步骤摘要】
基于稀疏测量的个性化头相关传输函数预测方法及装置


[0001]本说明书一个或多个实施例涉及空间音频
，尤其涉及一种基于稀疏测量的个性化头相关传输函数预测方法及装置。

技术介绍

[0002]头相关传输函数(Head Related Transfer Function，简称HRTF)在空间音频技术中具有重要的作用。HRTF表征了声波由声源经过头部、耳廓和躯干等生理结构到达人耳鼓膜的过程。不同个体生理参数的差异性导致其HRTF各不相同，在空间音频重放中使用个性化的HRTF可以有效提升重放效果。然而，个性化HRTF通常需要在消声环境下利用特制设备进行测量，且非常耗时，这导致个性化HRTF难以真正应用。目前，广泛采用生理参数的相似性从已有的HRTF数据库中选择或者利用生理参数合成HRTF幅度谱来得到个性化HRTF，但由于HRTF的生成过程过于复杂，现有基于生理参数的个性化HRTF预测方法难以很好地表征不同方向的声源传播过程中与人体各个生理参数之间物理过程。因此，一些方法尝试利用不同方向上测量的HRTF幅度谱插值或预测出全空间个性化HRTF。
[0003]然而目前，此类HRTF个性化生成方法需要较多方向上的HRTF测量，导致个性化HRTF生成系统耗时长、占用内存资源大，从而限制其在空间音频重放中的应用。

技术实现思路

[0004]本专利技术描述一种基于稀疏测量的个性化头相关传输函数预测方法及装置，可以解决上述技术问题。
[0005]根据第一方面，提供一种基于稀疏测量的个性化头相关传输函数预测方法。该方法包括：基于若干方向上测量的头相关冲激响应，确定稀疏测量的头相关传输函数HRTF幅度谱；利用声学特征提取网络处理所述稀疏测量的HRTF幅度谱，获得相应的声学特征；利用维度增广网络将目标方向的维度进行增广，得到增广目标方向向量；利用谱预测神经网络处理所述声学特征和所述增广目标方向向量，预测出目标个性化HRTF幅度谱。
[0006]在一种实施方式中，基于若干方向上测量的头相关冲激响应，确定稀疏测量的头相关传输函数HRTF幅度谱，包括：将所述头相关冲激响应经过傅里叶变换和对数域变换，得到所述稀疏测量的HRTF幅度谱。
[0007]在一种实施方式中，所述利用维度增广网络将目标方向的维度进行增广，得到增广目标方向向量，包括：将所述目标方向的方位角和俯仰角转化为在笛卡尔坐标系单位球面上的三维坐标；将所述三维坐标输入所述维度增广网络，得到所述增广目标方向向量。
[0008]在一种实施方式中，所述利用谱预测神经网络处理所述声学特征和所述增广目标方向向量，预测出目标HRTF幅度谱，包括：将所述声学特征和所述目标方向向量进行拼接后输入所述谱预测网络，输出所述目标个性化HRTF幅度谱。
[0009]在一种实施方式中，所述方法还包括：给定所述稀疏测量的HRTF幅度谱与所述目标方向的方位角和俯仰角，即可通过所述声学特征提取网络、维度增广网络和谱预测神经
网络预测出所述目标个性化HRTF幅度谱。
[0010]根据第二方面，提供一种基于稀疏测量的个性化头相关传输函数预测装置。该装置包括：
[0011]幅度谱获取模块，配置为基于若干方向上测量的头相关冲激响应，确定稀疏测量的头相关传输函数HRTF幅度谱。
[0012]声学特征获取模块，配置为利用声学特征提取网络处理所述稀疏测量的HRTF幅度谱，获得相应的声学特征。
[0013]方向向量获取模块，配置为利用维度增广网络将目标方向的维度进行增广，得到增广目标方向向量。
[0014]目标个性化幅度谱获取模块，配置为利用谱预测神经网络处理所述声学特征和所述增广目标方向向量，预测出目标个性化HRTF幅度谱。
[0015]在一种实施方式中，幅度谱获取模块具体配置为：
[0016]将所述头相关冲激响应经过傅里叶变换和对数域变换，得到所述稀疏测量的HRTF幅度谱。
[0017]在一种实施方式中，所述声学提取网络实现为卷积神经网络。
[0018]在一种具体的实施方式中，所述卷积神经网络包括：若干卷积层、若干最大值池化层、若干激活层和全连接输出层。
[0019]在一种实施方式中，所述方向向量获取模块用于将所述目标方向的方位角和俯仰角转化为在笛卡尔坐标系单位球面上的三维坐标；将所述三维坐标输入所述维度增广网络，得到所述增广目标方向向量。
[0020]在一种实施方式中，所述目标幅度谱获取模块具体配置为：将所述声学特征和所述目标方向向量进行拼接后输入所述谱预测网络，输出所述目标个性化HRTF幅度谱。
[0021]在本说明书实施例提供的上述方法和装置中，利用已有的HRTF数据库中的数据，通过深度学习方法建立稀疏测量的HRTF幅度谱、目标方向和目标个性化HRTF幅度谱之间的映射模型，使得给定新被试的少量HRTF幅度谱与目标方位的方位角和俯仰角，即可通过三个神经网络模块生成目标个性化HRTF幅度谱。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0023]图1示出本说明书实施例提供的基于稀疏测量的个性化头相关传输函数预测方案的实施架构示意图；
[0024]图2示出本说明书实施例提供的一种基于稀疏测量的个性化头相关传输函数预测方法的流程示意图；
[0025]图3示出本说明书实施例提供的一种基于稀疏测量的个性化头相关传输函数预测装置的结构示意图。
具体实施方式
[0026]为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。
[0027]首先需说明的是，在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
[0028]在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。
[0029]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0030]承前所述，基于头相关传输函数的音频处理是目前空间音频渲染的关键技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏测量的个性化头相关传输函数预测方法，其特征在于，所述方法包括：基于若干方向上测量的头相关冲激响应，确定稀疏测量的头相关传输函数HRTF幅度谱；利用声学特征提取网络处理所述稀疏测量的HRTF幅度谱，获得相应的声学特征；利用维度增广网络将目标方向的维度进行增广，得到增广目标方向向量；利用谱预测神经网络处理所述声学特征和所述增广目标方向向量，预测出目标个性化HRTF幅度谱。2.根据权利要求1所述的方法，其特征在于，所述基于若干方向上测量的头相关冲激响应，确定稀疏测量的头相关传输函数HRTF幅度谱，包括：将所述头相关冲激响应经过傅里叶变换和对数域变换，得到所述稀疏测量的HRTF幅度谱。3.根据权利要求1所述的方法，其特征在于，所述声学提取网络实现为卷积神经网络。4.根据权利要求3所述的方法，其特征在于，所述卷积神经网络包括：若干卷积层、若干最大值池化层、若干激活层和全连接输出层。5.根据权利要求1所述的方法，其特征在于，所述利用维度增广网络将目标方向的维度进行增广，得到增广目标方向向量，包括：将所述目标方向的方位角和俯仰角转化为在笛卡尔坐标系单位球面上的三维坐标；将所述三维坐标输入所述维度增广网络，得到所述增广目标方向向量。6.根据权利要求1所述的方法，其特征在于，所述利用谱预测神经网络处...

【专利技术属性】
技术研发人员：姚鼎鼎，赵佳乐，李军锋，颜永红，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：