一种估计个性化头相关传输函数的方法及相关设备技术

一种估计个性化头相关传输函数的方法及相关设备，所述方法包括步骤：获取头相关传输函数样本数据库数据；根据深度神经网络和卷积神经网络构建网络训练模型；根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；采集受试者人体图像数据；根据所述人体图像数据计算受试者人体参数数据；根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。本申请提供的一种估计个性化头相关传输函数的方法、装置、电子设备及存储介质具有运算效率高、个性化效果显著的特点。点。点。

【技术实现步骤摘要】
一种估计个性化头相关传输函数的方法及相关设备


[0001]本专利技术属于头相关传输函数
，具体涉及一种估计个性化头相关传输函数的方法相关设备。

技术介绍

[0002]随着虚拟现实技术及其应用的快速发展，3D(三维)视听技术成为当前以及未来引领多媒体产业发展方向的核心技术支撑之一。只要通过耳膜感知双耳接收到的音频信号，就可以感知到周围声源的空间特征：距离、方向和包括声音的水平到达时间和传入声音的频谱的声觉提示。通常，这种声音/形态的相互作用通过与头相关传输函数(HRTF)进行数学描述。这些线索在很大程度上受到声音与人的耳廓、头部和躯干的相互作用的影响，因此对每个人都是特定的。
[0003]在双耳三维声场呈现中，利用头相关传输函数进行三维声场的重建可以得到具有较好的空间听觉效果。高质量的三维音效需要获取精准的头相关传输函数，通过实验测量得到的头相关传输函数最为精准，但对测量环境、测量时间与测量成本都有较大要求，在实际操作中无法展开应用。而HRTF与个体测量参数有关，要生成用户主观感受好、沉浸式体验丰富的声音效果，就需要获得用户的个性化HRTF。
[0004]当前HRTF个性化获取的方法主要有4类方法：
[0005]1、声学测量。在受试者周围每个方向放置一个或几个扬声器，在其耳道入口处放置麦克风，记录相应的脉冲响应。1995年，麻省理工多媒体实验室首次使用KEMAR人工头测量建立了刚T HRTF数据库；2001年，加州大学实验室首次测量了43个真人和一个KEMAR人工头的CIPIC HRTF数据库。声学测量的方式测得的数据较为准确，但这项复杂的工作既昂贵又费时，而且采集的HRTF在空间位置中的分布相对较为稀疏。
[0006]2、数值模拟。从物理过程的声波传播出发，模拟声波在人体表面的边界出现时音源在耳廓处的声压规律。与声学测量相比，它可以减少乏味的采集过程。此外，可以通过使用2D到3D重建技术实现个性化，一旦获取了3D几何图形，仿真过程就可以完全重复并且没有测量噪声。自2000年代中期以来，主要的计算技术是用于谐波域的快速多极加速边界元方法(FM-BEM)和用于时间的有限差分时域(FDTD)。该方式是对测量过程的直接模拟得到的个性化HRTF，与实际测量十分吻合，但仍对设备仪器与计算时间有要求，比直接测量更加耗时。
[0007]3、通过主观反馈听觉效果修正频谱得到个性化HRTF。2015年，Kimberly等人使用PCA对HRIR(头相关冲击响应)进行降维，提取出主要成分权重，由被试者根据人体听觉方位感知反馈信息，对主要成分权重进行调节。这类个性化方式需要通过手动调整参数完成，需要多次尝试，导致个性化的时间很长。
[0008]4、利用统计方法建立人体参数与HRTF的映射模型，实现个性化HRTF的生成。2018年，武汉大学的陈玮等人通过分段分析对HRIR进行分组，然后通过多元线性回归建立每组HRIR与相关的人体参数之间的映射模型。该类方法由于人体参数与HRTF之间的关系十分复
杂，如何准确的建立人体参数与个性化HRTF之间的映射模型，仍需要继续研究。

技术实现思路

[0009]鉴于上述问题，本专利技术提供克服上述问题或者至少部分地解决上述问题的一种估计个性化头相关传输函数的方法、装置、电子设备及存储介质。
[0010]为解决上述技术问题，本专利技术提供了一种估计个性化头相关传输函数的方法，所述方法包括步骤：
[0011]获取头相关传输函数样本数据库数据；
[0012]根据深度神经网络和卷积神经网络构建网络训练模型；
[0013]根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
[0014]采集受试者人体图像数据；
[0015]根据所述人体图像数据计算受试者人体参数数据；
[0016]根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
[0017]优选地，所述获取头相关传输函数样本数据库数据包括步骤：
[0018]获取头相关传输函数样本数据库；
[0019]获取所述头相关传输函数样本数据库中的头相关脉冲响应；
[0020]获取所述头相关传输函数样本数据库中的人体测量参数；
[0021]获取所述头相关传输函数样本数据库中的双耳图像。
[0022]优选地，所述根据深度神经网络和卷积神经网络构建网络训练模型包括步骤：
[0023]配置第一深度神经网络、第二深度神经网络和卷积神经网络；
[0024]将所述第一深度神经网络和所述卷积神经网络的输出端与所述第二深度神经网络的输入端连接。
[0025]优选地，所述根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型包括步骤：
[0026]将所述头相关传输函数样本数据库数据中的人体测量参数作为输入送入所述网络训练模型中的第一深度神经网络；
[0027]将所述头相关传输函数样本数据库数据中的双耳图像作为输入送入所述网络训练模型中的卷积神经网络；
[0028]将所述第一深度神经网络和所述卷积神经网络的输出作为联合输入送入所述网络训练模型中的第二深度神经网络；
[0029]将所述头相关传输函数样本数据库数据中的头相关脉冲响应作为所述第二深度神经网络的输出；
[0030]训练得到所述个性化头相关传输函数预测模型。
[0031]优选地，所述采集受试者人体图像数据包括步骤：
[0032]配置门形框架和柱形框架；
[0033]在所述门形框架上安装第一摄像头和红外装置；
[0034]在所述第一摄像头旁放置第一参照物；
[0035]在所述柱形框架上安装第二摄像头；
[0036]在所述第二摄像头旁放置第二参照物；
[0037]通过所述第一摄像头采集受试者侧面全身图像和头部图像；
[0038]通过所述红外装置采集受试者身高数据；
[0039]通过所述第二摄像头采集受试者正面全身图像和正面面部图像。
[0040]优选地，所述根据所述人体图像数据计算受试者人体参数数据包括步骤：
[0041]获取受试者身高数据、第一参照物尺寸数据和第二参照物尺寸数据；
[0042]测量所述人体图像数据中各图像中的人体数据；
[0043]根据所述身高数据、所述第一参照物尺寸数据、所述第二参照物尺寸数据和所述人体数据计算所述人体参数数据。
[0044]优选地，所述根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数包括步骤：
[0045]获取所述人体参数数据；
[0046]获取所述个性化头相关传输函数预测模型；
[0047]将所述人体参数数据输入所述个性化头相关传输函数预测模型中；
[0048]得到所述个性化头相关传输函数预测模型输出的所述个性化头相关传输函数。...

【技术保护点】

【技术特征摘要】
1.一种估计个性化头相关传输函数的方法，其特征在于，所述方法包括步骤：获取头相关传输函数样本数据库数据；根据深度神经网络和卷积神经网络构建网络训练模型；根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；采集受试者人体图像数据；根据所述人体图像数据计算受试者人体参数数据；根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。2.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述获取头相关传输函数样本数据库数据包括步骤：获取头相关传输函数样本数据库；获取所述头相关传输函数样本数据库中的头相关脉冲响应；获取所述头相关传输函数样本数据库中的人体测量参数；获取所述头相关传输函数样本数据库中的双耳图像。3.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述根据深度神经网络和卷积神经网络构建网络训练模型包括步骤：配置第一深度神经网络、第二深度神经网络和卷积神经网络；将所述第一深度神经网络和所述卷积神经网络的输出端与所述第二深度神经网络的输入端连接。4.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型包括步骤：将所述头相关传输函数样本数据库数据中的人体测量参数作为输入送入所述网络训练模型中的第一深度神经网络；将所述头相关传输函数样本数据库数据中的双耳图像作为输入送入所述网络训练模型中的卷积神经网络；将所述第一深度神经网络和所述卷积神经网络的输出作为联合输入送入所述网络训练模型中的第二深度神经网络；将所述头相关传输函数样本数据库数据中的头相关脉冲响应作为所述第二深度神经网络的输出；训练得到所述个性化头相关传输函数预测模型。5.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述采集受试者人体图像数据包括步骤：配置门形框架和柱形框架；在所述门形框架上安装第一摄像头和红外装置；在所述第一摄像头旁放置第一参照物；在所述柱形框架上安装第二摄像头；在所述第二...

【专利技术属性】
技术研发人员：李登实，官端正，赵兰馨，梁晓聪，曾露，张宇，
申请(专利权)人：江汉大学，
类型：发明
国别省市：