一种声场重建方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种声场重建方法、装置、设备及存储介质，方法包括：获取目标区域中麦克风收集的声音信号作为目标声音信号，基于目标声音信号和预先建立的权重预测模型预测每个扬声器在目标声音信号上对应的权重，基于预测出的权重将声源信号分配给每个扬声器进行播放，以实现目标区域的声场重建，其中，一扬声器对应的权重为声源信号在该扬声器上的分配权重，权重预测模型采用声场重建区域对应的训练声音信号训练得到，权重预测模型的训练目标为，使基于每个扬声器在训练声音信号上对应的权重重建出的声音信号趋近于训练声音信号对应的声场重建区域的目标重建信号。本申请提供的声场重建方法针对声场重建区域能够精准地重建出期望的声音信号。

【技术实现步骤摘要】
一种声场重建方法、装置、设备及存储介质
本申请涉及声场重建
，尤其涉及一种声场重建方法、装置、设备及存储介质。
技术介绍
随着三维电影、虚拟现实等技术的快速发展，声场重建技术作为向用户提供高逼真度浸入式体验的核心技术，获得了越来越多的关注。其中，声场重建技术能够使得处于同一空间不同区域内的人听到不同的声音信号，而不受其它区域声音信号的串扰，可以提高听音质量和语音可懂度等。实现声场重建的大致思路是，针对目标重建信号（即指定声源信号），确定声源信号在指定空间中设置的扬声器上的分配权重，根据确定出的分配权重将声源信号分配给扬声器进行播放，以在指定的声场重建区域中还原出目标重建信号，即实现声场重建区域的声场重建。目前的声场重建方案针对目标重建信号确定的分配权重是固定的，这导致当声场重建区域变化时，无法准确的还原出目标重建信号，即目前的声场重建方案的重建准确度不高，重建效果差。
技术实现思路
有鉴于此，本申请提供了一种声场重建方法、装置、设备及存储介质，用以解决现有技术中的声场重建方案的重建准确度不高，重建效果差的问题，其技术方案如下：一种声场重建方法，包括：获取目标区域中设置的麦克风收集的声音信号作为目标声音信号，其中，所述目标区域为指定空间中的一声场重建区域，所述指定空间中布设有多个扬声器；基于所述目标声音信号以及预先建立的权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述目标声音信号上对应的权重，其中，所述权重预测模型采用声场重建区域对应的训练声音信号训练得到，所述权重预测模型的训练目标为，使基于每个扬声器在所述训练声音信号上对应的权重重建出的声音信号趋近于所述训练声音信号对应的声场重建区域的目标重建信号；基于预测出的权重，将所述声源信号分配给每个扬声器进行播放，以实现所述目标区域的声场重建。可选的，获取一声场重建区域对应的训练声音信号包括：获取每个扬声器到该声场重建区域的冲击响应；根据所述声源信号以及每个扬声器到该声场重建区域的冲击响应，确定该声场重建区域对应的声音信号，作为该声场重建区域对应的训练声音信号。可选的，获取一声场重建区域对应的训练声音信号还包括：在生成该声场重建区域对应的声音信号后，将生成的信号与指定噪声信号融合，得到融合有噪声的声音信号，作为该声场重建区域对应的训练声音信号。可选的，获取一扬声器到该声场重建区域的冲击响应，包括：使用该扬声器播放对数扫频信号；利用该声场重建区域中设置的麦克风对该扬声器播放的对数扫频信号进行录制；根据该声场重建区域中设置的麦克风录制的信号，确定该扬声器到该声场重建区域中设置的麦克风的冲击响应，作为该声场重建区域的冲击响应。可选的，所述基于所述目标声音信号以及预先建立的权重预测模型，预测声源信号在每个扬声器上的分配权重，包括：对所述目标声音信号中的每一帧提取音频特征，以得到目标声音信号对应的音频特征序列；根据所述目标声音信号对应的音频特征序列，确定所述目标声音信号对应的帧间关系特征，其中，所述帧间关系特征为能够表征所述目标声音信号中帧与帧之间关系的特征；将所述目标声音信号对应的音频特征序列和所述目标声音信号对应的帧间关系特征输入所述权重预测模型，得到所述声源信号在每个扬声器上的分配权重。可选的，建立权重预测模型的过程包括：基于所述训练声音信号和权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述训练声音信号上对应的权重；基于每个扬声器在所述训练声音信号上对应的权重，对所述训练声音信号对应的声场重建区域进行信号重建，以得到所述训练声音信号对应的声场重建区域的重建信号；根据所述训练声音信号对应的声场重建区域的重建信号以及所述训练声音信号对应的声场重建区域的目标重建信号确定预测损失，并根据确定出的预测损失对权重预测模型的参数进行更新。可选的，所述权重预测模型采用多个声场重建区域分别对应的训练声音信号训练得到；所述根据所述训练声音信号对应的声场重建区域的重建信号以及所述训练声音信号对应的声场重建区域的目标重建信号确定预测损失，并根据确定出的预测损失对权重预测模型的参数进行更新，包括：根据每个声场重建区域的重建信号以及每个声场重建区域的目标重建信号，计算权重预测模型在每个声场重建区域上的预测损失；将权重预测模型在各声场重建区域上的预测损失求和，并根据求和得到的损失对权重预测模型的参数进行更新。可选的，建立权重预测模型的过程包括：基于所述训练声音信号和权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述训练声音信号上对应的预测权重；根据每个扬声器在所述训练声音信号上对应的预测权重，以及每个扬声器在所述训练声音信号上对应的真实权重确定预测损失，并根据确定出的预测损失对权重预测模型的参数进行更新。可选的，所述声场重建方法还包括：在建立所述权重预测模型后，基于所述指定空间中的声场重建区域设置的麦克风接收的声音信号，对所述权重预测模型进行优化。一种声场重建装置，包括：信号获取模块、权重预测模块和声场重建模块；所述信号获取模块，用于获取目标区域中设置的麦克风收集的声音信号作为目标声音信号，其中，所述目标区域为指定空间中的一声场重建区域，所述指定空间中布设有多个扬声器；所述权重预测模块，用于基于所述目标声音信号以及预先建立的权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述目标声音信号上对应的权重，其中，所述权重预测模型采用声场重建区域对应的训练声音信号训练得到，所述权重预测模型的训练目标为，使基于每个扬声器在所述训练声音信号上对应的权重重建出的声音信号趋近于所述训练声音信号对应的声场重建区域的目标重建信号；所述声场重建模块，用于基于预测出的权重，将所述声源信号分配给每个扬声器进行播放，以实现所述目标区域的声场重建。一种声场重建设备，包括：存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现上述任一项所述的声场重建方法的各个步骤。一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述任一项所述的声场重建方法的各个步骤。经由上述方案可知，本申请提供的声场重建方法、装置、设备及存储介质，首先获取目标区域中的目标声音信号，然后基于预先建立的权重预测模型和目标声音信号，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述目标声音信号上对应的权重，最后基于预测出的权重将声源信号分配给每个扬声器进行播放，以实现目标区域的声场重建。由于权重预测模型采用声场重建区域对应的训练声音信号，以使基于扬声器在训练声音信号上对应的权重重建出的声音信号趋近于训练声音信号对应的声场重建区域的目标重建信号为目标训练得到，因此，权重预测模型具备能够根据任一声场重建本文档来自技高网...

【技术保护点】
1.一种声场重建方法，其特征在于，包括：/n获取目标区域中设置的麦克风收集的声音信号作为目标声音信号，其中，所述目标区域为指定空间中的一声场重建区域，所述指定空间中布设有多个扬声器；/n基于所述目标声音信号以及预先建立的权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述目标声音信号上对应的权重，其中，所述权重预测模型采用声场重建区域对应的训练声音信号训练得到，所述权重预测模型的训练目标为，使基于每个扬声器在所述训练声音信号上对应的权重重建出的声音信号趋近于所述训练声音信号对应的声场重建区域的目标重建信号；/n基于预测出的权重，将所述声源信号分配给每个扬声器进行播放，以实现所述目标区域的声场重建。/n

【技术特征摘要】
1.一种声场重建方法，其特征在于，包括：
获取目标区域中设置的麦克风收集的声音信号作为目标声音信号，其中，所述目标区域为指定空间中的一声场重建区域，所述指定空间中布设有多个扬声器；
基于所述目标声音信号以及预先建立的权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述目标声音信号上对应的权重，其中，所述权重预测模型采用声场重建区域对应的训练声音信号训练得到，所述权重预测模型的训练目标为，使基于每个扬声器在所述训练声音信号上对应的权重重建出的声音信号趋近于所述训练声音信号对应的声场重建区域的目标重建信号；
基于预测出的权重，将所述声源信号分配给每个扬声器进行播放，以实现所述目标区域的声场重建。


2.根据权利要求1所述的声场重建方法，其特征在于，获取一声场重建区域对应的训练声音信号包括：
获取每个扬声器到该声场重建区域的冲击响应；
根据所述声源信号以及每个扬声器到该声场重建区域的冲击响应，确定该声场重建区域对应的声音信号，作为该声场重建区域对应的训练声音信号。


3.根据权利要求2所述的声场重建方法，其特征在于，获取一声场重建区域对应的训练声音信号还包括：
在生成该声场重建区域对应的声音信号后，将生成的信号与指定噪声信号融合，得到融合有噪声的声音信号，作为该声场重建区域对应的训练声音信号。


4.根据权利要求2所述的声场重建方法，其特征在于，获取一扬声器到该声场重建区域的冲击响应，包括：
使用该扬声器播放对数扫频信号；
利用该声场重建区域中设置的麦克风对该扬声器播放的对数扫频信号进行录制；
根据该声场重建区域中设置的麦克风录制的信号，确定该扬声器到该声场重建区域中设置的麦克风的冲击响应，作为该声场重建区域的冲击响应。


5.根据权利要求1所述的声场重建方法，其特征在于，所述基于所述目标声音信号以及预先建立的权重预测模型，预测声源信号在每个扬声器上的分配权重，包括：
对所述目标声音信号中的每一帧提取音频特征，以得到目标声音信号对应的音频特征序列；
根据所述目标声音信号对应的音频特征序列，确定所述目标声音信号对应的帧间关系特征，其中，所述帧间关系特征为能够表征所述目标声音信号中帧与帧之间关系的特征；
将所述目标声音信号对应的音频特征序列和所述目标声音信号对应的帧间关系特征输入所述权重预测模型，得到所述声源信号在每个扬声器上的分配权重。


6.根据权利要求1所述的声场重建方法，其特征在于，建立权重预测模型的过程包括：
基于所述训练声音信号和权重预测模型，预测声源信号在每个扬声器上的分配权重，作为每个扬声器在所述训练声音信号上对应的权重；
基于每个扬声器在所述训练声音信号上对应的权重，对所述训练声音信号对应的声场重建区域进行信号重建，以得到所述训练声音信号对应的声场重建区域的重建...

【专利技术属性】
技术研发人员：卫慧慧，马桂林，胡明清，高素云，梁萌，
申请(专利权)人：科大讯飞苏州科技有限公司，
类型：发明
国别省市：江苏;32