【技术实现步骤摘要】
本公开涉环境感知，具体而言，涉及一种全景声成像方法、装置、电子设备及存储介质。
技术介绍
1、随着mems传感技术、人工智能技术及智能处理器的迅猛发展，局部视觉和全向听觉的感知范围已难以满足人们对真实世界的感知需求。全景声成像作为下一代环境感知技术，不仅能够同时提供全景光像和声像，还具备高分辨率、无盲区、小型化及多维智能感知的优势。结合人工智能方法，这项技术可为下一代智能传感器实现360°全方位、多维度的环境感知奠定基础。
2、目前，在全景声图像生成过程中，主要通过平面型传声器阵列获取分段区域的声像图，并将其拼接生成全景声像。然而，在实际动态变化的声学环境中，该方法采用的图像配准机制和分段拼接技术无法实现单帧快速全景声成像，难以满足快速、实时全景声成像的需求，同时成像的空间分辨率较低。
技术实现思路
1、本公开实施例至少提供一种全景声成像方法、装置、电子设备及存储介质，可以满足快速、实时全景声成像的需求，同时成像的空间分辨率较高。
2、本公开实施例提供了一种全景声成像方法，包括：
3、通过球形传声器阵列采集待成像区域的声信号；
4、获取所述声信号对应的频域信号，针对所述频域信号进行球谐波变换，将所述声信号分解为球谐波系数；
5、提取所述球谐波系数对应的球谐波域特征，并根据所述球谐波域特征以及全景空间网格生成待成像区域的全景声像；
6、通过环绕分布的摄像头采集待成像区域的全景光学图像，并将所述全景声像与所述全景光
7、一种可选的实施方式中，针对所述频域信号进行球谐波变换，将所述声信号分解为球谐波系数，具体包括：
8、根据所述声信号对应的声源声压信号向量、导向矩阵以及传声器对应的噪声向量，构建所述球形传声器阵列对应的接收信号模型；
9、根据球谐波基函数矩阵以及球谐波基函数矩阵，确定所述导向矩阵的球谐波表示；
10、采用所述导向矩阵的球谐波表示替换所述接收信号模型中的所述导向矩阵，以将所述声源声压信号向量转换至球谐波域中，确定所述球谐波系数。
11、一种可选的实施方式中，所述导向矩阵表示所述声信号对应的声源到传声器的方向性关系；
12、所述球谐波基函数矩阵用于表示传声器位置；
13、所述球谐波基函数矩阵用于表示声源方向。
14、一种可选的实施方式中，提取所述球谐波系数对应的球谐波域特征，并根据所述球谐波域特征以及全景空间网格生成待成像区域的全景声像，具体包括：
15、将所述球谐波系数输入至全卷积神经网络中，通过频域上的卷积核提取不同阶的所述球谐波域特征；
16、将所述球谐波域特征映射至所述全景空间网格上，确定空间-频率伪谱；
17、针对每个子频带上的所述空间-频率伪谱进行平均处理，生成所述全景声像。
18、一种可选的实施方式中，在所述球形传声器阵列中，采用多个单向矢量传声器均匀分布呈球形阵列。
19、一种可选的实施方式中，将所述球谐波域特征映射至所述全景空间网格上，确定空间-频率伪谱，具体包括：
20、将所述全卷积神经网络中最后一层输出的所述球谐波域特征，沿频率轴旋转，以将特征维度与空间维度进行转置；
21、在将特征维度与空间维度进行转置后，通过卷积层与激活函数的处理，确定所述空间-频率伪谱。
22、本公开实施例还提供一种全景声成像装置，包括：
23、声信号采集模块，用于通过球形传声器阵列采集待成像区域的声信号；
24、球谐波系数确定模块，用于获取所述声信号对应的频域信号，针对所述频域信号进行球谐波变换，将所述声信号分解为球谐波系数；
25、声像生成模块，用于提取所述球谐波系数对应的球谐波域特征，并根据所述球谐波域特征以及全景空间网格生成待成像区域的全景声像；
26、光和声像生成模块，用于通过环绕分布的摄像头采集待成像区域的全景光学图像，并将所述全景声像与所述全景光学图像融合，生成待成像区域的目标全景光和声像。
27、本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述全景声成像方法，或上述全景声成像方法中任一种可能的实施方式中的步骤。
28、本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述全景声成像方法，或上述全景声成像方法中任一种可能的实施方式中的步骤。
29、本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序、指令被处理器执行时实现上述全景声成像方法，或上述全景声成像方法中任一种可能的实施方式中的步骤。
30、本公开实施例提供的一种全景声成像方法、装置、电子设备及存储介质，通过球形传声器阵列采集待成像区域的声信号；获取所述声信号对应的频域信号，针对所述频域信号进行球谐波变换，将所述声信号分解为球谐波系数；提取所述球谐波系数对应的球谐波域特征，并根据所述球谐波域特征以及全景空间网格生成待成像区域的全景声像；通过环绕分布的摄像头采集待成像区域的全景光学图像，并将所述全景声像与所述全景光学图像融合，生成待成像区域的目标全景光和声像。可以满足快速、实时全景声成像的需求，同时成像的空间分辨率较高。
31、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种全景声成像方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，针对所述频域信号进行球谐波变换，将所述声信号分解为球谐波系数，具体包括：
3.根据权利要求2所述的方法，其特征在于：
4.根据权利要求1所述的方法，其特征在于，提取所述球谐波系数对应的球谐波域特征，并根据所述球谐波域特征以及全景空间网格生成待成像区域的全景声像，具体包括：
5.根据权利要求1所述的方法，其特征在于：
6.根据权利要求4所述的方法，其特征在于，将所述球谐波域特征映射至所述全景空间网格上，确定空间-频率伪谱，具体包括：
7.一种全景声成像装置，其特征在于，包括：
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项所述的全景声成像方法的步骤。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至6中任一项所述的全景声成像方法的步骤。
...【技术特征摘要】
1.一种全景声成像方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，针对所述频域信号进行球谐波变换，将所述声信号分解为球谐波系数，具体包括：
3.根据权利要求2所述的方法，其特征在于：
4.根据权利要求1所述的方法，其特征在于，提取所述球谐波系数对应的球谐波域特征，并根据所述球谐波域特征以及全景空间网格生成待成像区域的全景声像，具体包括：
5.根据权利要求1所述的方法，其特征在于：
6.根据权利要求4所述的方法，其特征在于，将所述球谐波域特征映射至所述全景空间网格上，确定空间-频率伪谱，具体包括：
7.一种全景声成像装置...
【专利技术属性】
技术研发人员：张文琼，
申请(专利权)人：北京声谱科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。