声音可视化方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请提供的一种声音可视化方法、装置、设备、存储介质及程序产品，应用于扩展现实设备，包括：通过设置于扩展现实设备的声音传感器获取声音数据，确定声音数据的声源方向；对声音数据进行声音识别，确定声音数据的声源对象，生成声源对象对应的声源标识；在扩展现实场景中与声源方向对应位置处显示声源标识。本申请利用声音传感器去感知用户周围的声音，确定声源方向，再根据声音对声源进行识别，最终将声源对应的标识显示于扩展现实场景与声源方向相一致的位置处。以此提示用户在其显示标识的方向上有该标识对应的物体正在发出声音，并最终让用户能够“看到”声音传播方位，并知晓声源物体，提升声音的可视化表现效果，提升用户体验。户体验。户体验。

【技术实现步骤摘要】
声音可视化方法、装置、设备、存储介质及程序产品


[0001]本申请涉及数据处理
，尤其涉及一种声音可视化方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]目前，扩展现实(XR)技术已经逐步走进人们的生活及各种相关
，同时，XR技术中的增强现实(AR)、虚拟现实(VR)等技术也为残障人士提供了一个虚拟与现实结合的空间，让他们能够与非残障人士平等地参与生活的方方面面。
[0003]但是，在相关技术中，对于听障人士，仅能够看到部分声音转换后的文字内容，而对声音的其他信息就无法获取或显示出来，使声音的可视化表现与真实声音感受存在一定差距，严重影响用户体验。

技术实现思路

[0004]有鉴于此，本申请提出一种声音可视化方法、装置、设备、存储介质及程序产品，以此通过对声音的声源信息进行可视化，使用户能够准确确定声源位置等信息，提升声音的可视化表现效果，提升用户体验。
[0005]基于上述目的，本申请提供了一种声音可视化方法，应用于扩展现实设备，包括：
[0006]通过设置于所述扩展现实设备的声本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种声音可视化方法，其特征在于，应用于扩展现实设备，包括：通过设置于所述扩展现实设备的声音传感器获取声音数据，确定所述声音数据的声源方向；对所述声音数据进行声音识别，确定所述声音数据的声源对象，生成所述声源对象对应的声源标识；在扩展现实场景中与所述声源方向对应位置处显示所述声源标识。2.根据权利要求1所述的方法，其特征在于，所述扩展现实设备还设置有图像传感器；所述对所述声音数据进行声音识别，确定所述声音数据的声源对象，包括：通过所述图像传感器获取所述用户周围的图像数据；对所述图像数据进行物体识别，将识别出的物体作为预设声源，获取所述预设声源的发声数据，计算所述发声数据与所述声音数据的相似度，将所述相似度最高的所述发声数据对应的所述预设声源作为所述声源对象。3.根据权利要求2所述的方法，其特征在于，所述对所述图像数据进行物体识别，包括：根据所述声源方向在所述图像数据中确定位于同一方向上的局部图像，对所述局部图像进行物体识别。4.根据权利要求1所述的方法，其特征在于，所述扩展现实设备还设置有图像传感器；所述在扩展现实场景中与所述声源方向对应位置处显示所述声源标识之前，所述方法还包括：通过所述图像传感器获取所述用户周围的图像数据；根据所述图像数据在所述扩展现实场景中生成预览图像，以通过所述预览图像显示所述声源标识；其中，所述预览图像的中心位置显示与所述用户对应的虚拟人物。5.根据权利要求4所述的方法，其特征在于，所述图像传感器包括激光雷达；所述根据所述图像数据在所述扩展现实场景中生成预览图像，包括：通过所述激光雷达对所述用户周围进行激光扫描，根据扫描结果生成点云图像，将所述点云图像作为所述预览图像显示于所述扩展现实场景中。6.根据权利要求1所述的方法，其特征在于，所述对所述声音数据进行声音识别，确定所述声音数据的声源对象，包括：基于预设的声源数据库，利用深度学习神经网络计算所述声音数据与所述声源数据库中的预设声源的声音之间的相似度，将相似度最高的所述预设声源确定为所述声源对象。7.根据权利要求6所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：郭嘉，方迟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：