音频处理方法、头戴显示设备和计算机可读存储介质技术

本申请公开了一种音频处理方法、头戴显示设备和计算机可读存储介质，所述音频处理方法包括：动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别环境音频信息中是否存在预设的关键音频信息；若存在关键音频信息，则对关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；输出关键音频增强信息。在使用头戴显示设备的过程中，本申请能够有效地向用户提示外界的关键环境信息，以使用户及时分辨外界环境的状况。使用户及时分辨外界环境的状况。使用户及时分辨外界环境的状况。

【技术实现步骤摘要】
音频处理方法、头戴显示设备和计算机可读存储介质


[0001]本申请涉及可穿戴设备
，尤其涉及一种音频处理方法、头戴显示设备和计算机可读存储介质。

技术介绍

[0002]VR（VirtualReality，虚拟现实）设备或者AR（Augmented Reality，增强现实）设备，是目前正在快速发展和普及的头戴显示设备。随着VR/AR设备的沉浸感不断提升，用户在佩戴头戴显示设备进行沉浸式体验的过程中，往往会降低对外界环境元素的关注，例如对外界的声音不会那么敏感。但是在一些应用场景下，用户在佩戴头戴显示设备进行使用的过程中，还是希望能够清楚地听到外界的一些关键声音，例如居家场景中的警报声（例如触发火势警玲）、敲门声，以及其他人对用户的呼唤声，坐公交车场景中的站台广播声，走路场景中的汽车鸣笛声等。也就是说，用户在佩戴头戴显示设备进行沉浸式体验的同时，还存在需要关注外界环境元素的需求，因为在很多应用场景下的外界环境元素包含了对于用户而言的关键信息，甚至是危险提示信息，但是，目前给用户带来沉浸式体验的头戴显示设备，对外界的听觉几乎是完全隔绝的，从而导致用户无法及时有效地获取外界的关键环境信息，无疑给用户造成了很大的不便。
[0003]因此，用户在沉浸使用头戴显示设备时，如何有效向用户提示外界的关键环境信息，以避免用户无法及时分辨外界环境事物的状况发生，已成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0004]本申请的主要目的在于提供一种音频处理方法、头戴显示设备和计算机可读存储介质，旨在解决在使用头戴显示设备的过程中，无法有效地向用户提示外界的关键环境信息，导致用户无法及时分辨外界环境状况的技术问题。
[0005]为实现上述目的，本申请提供一种音频处理方法，所述音频处理方法应用于头戴显示设备，所述方法包括：动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；若存在所述关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；输出所述关键音频增强信息。
[0006]可选地，所述对所述关键音频信息进行声学参数的补偿调整的步骤包括：获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数；确定所述当前专注度系数关联的当前环境音频损失等级，其中，所述当前专注度系数越高，关联的当前环境音频损失等级越高；从预设的损失等级映射关系中，查询得到所述当前环境音频损失等级映射的音源
空间位置偏差值和/或音频强度损失值；根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整。
[0007]可选地，所述根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整的步骤包括：根据映射的音源空间位置偏差值确定所述关键音频信息的波束相位位移，和/或根据映射的音频强度损失值确定所述关键音频信息的波束幅值损失；根据所述波束相位位移和/或所述波束幅值损失，确定所述关键音频信息的音频参数补偿信息；根据所述音频参数补偿信息，对所述关键音频信息进行声学参数的补偿调整，以补偿所述关键音频信息的波束相位位移和/或波束幅值损失。
[0008]可选地，所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤之前，所述方法还包括：播放预设的虚拟测试音频，其中，所述虚拟测试音频的音源空间位置为预设空间方位；输出引导用户对所述虚拟测试音频的音源空间位置进行判断的预设引导界面；获取用户响应于所述预设引导界面而输入的方位信息，将所述方位信息与所述预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度；根据所述关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，根据所述感知敏感度的大小，从预设的映射梯度数据库中选取所述感知敏感度匹配的专注度映射梯度，其中，所述专注度映射梯度包括多个专注度系数，以及各所述专注度系数关联的环境音频损失等级；所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤包括：根据匹配的专注度映射梯度，确定所述当前专注度系数关联的当前环境音频损失等级。
[0009]可选地，所述获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：检测当前的用户生理特征信息和设备使用状态信息，其中，所述用户生理特征信息包括瞳孔大小、眨眼频率、心率、呼吸速率和体温中的至少一种，所述设备使用状态信息包括头戴显示设备的使用持续时长、运动状态、电量消耗速率和当前运行应用程序中的至少一种；根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
[0010]可选地，所述根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：获取预设的专注度识别神经网络模型；将所述用户生理特征信息和所述设备使用状态信息输入至所述专注度识别神经网络模型，预测得到用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
[0011]可选地，所述方法还包括：
获取至少一个应用场景对应的需求识别音频信息；将多个所述需求识别音频信息与关键音频标签进行关联，得到关键音频样本集，并将多个环境噪音信息与干扰音频标签进行关联，得到干扰音频样本集，其中，所述环境噪音信息中不包含所述需求识别音频信息；通过所述关键音频样本集和所述干扰音频样本集，对预设的神经网络模型进行训练，得到收敛的音频识别神经网络模型。
[0012]可选地，所述输出所述关键音频增强信息的步骤之后，所述方法还包括：通过在雷达图或方位标尺进行标识的方式，将所述关键音频信息对应的音源空间位置显示于所述头戴显示设备的显示界面上。
[0013]本申请还提供一种头戴显示设备，所述头戴显示设备为实体设备，所述头戴显示设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述音频处理方法的程序，所述音频处理方法的程序被处理器执行时可实现如上述的音频处理方法的步骤。
[0014]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现音频处理方法的程序，所述实现音频处理方法的程序被处理器执行以实现如上述音频处理方法的步骤。
[0015]本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的音频处理方法的步骤。
[0016]本申请的技术方案是通过动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别该环境音频信息中是否存在预设的关键音频信息，从而识别出环境音频信息中是否具有当前场景下对于用户而言比较重要的音频信息，以达到对该关键性音频信息的捕捉，若存在该关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息，并输出该关键音频增强信息，从而使得在确定环境音频信息中存在关键音频信息的情况下，对关键音频信息进行声学补偿，以增强关键音频信息的音量，从而更利于将用户的注意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频处理方法，其特征在于，所述音频处理方法应用于头戴显示设备，所述方法包括：动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；若存在所述关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；输出所述关键音频增强信息。2.如权利要求1所述的音频处理方法，其特征在于，所述对所述关键音频信息进行声学参数的补偿调整的步骤包括：获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数；确定所述当前专注度系数关联的当前环境音频损失等级，其中，所述当前专注度系数越高，关联的当前环境音频损失等级越高；从预设的损失等级映射关系中，查询得到所述当前环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值；根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整。3.如权利要求2所述的音频处理方法，其特征在于，所述根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整的步骤包括：根据映射的音源空间位置偏差值确定所述关键音频信息的波束相位位移，和/或根据映射的音频强度损失值确定所述关键音频信息的波束幅值损失；根据所述波束相位位移和/或所述波束幅值损失，确定所述关键音频信息的音频参数补偿信息；根据所述音频参数补偿信息，对所述关键音频信息进行声学参数的补偿调整，以补偿所述关键音频信息的波束相位位移和/或波束幅值损失。4.如权利要求2所述的音频处理方法，其特征在于，所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤之前，所述方法还包括：播放预设的虚拟测试音频，其中，所述虚拟测试音频的音源空间位置为预设空间方位；输出引导用户对所述虚拟测试音频的音源空间位置进行判断的预设引导界面；获取用户响应于所述预设引导界面而输入的方位信息，将所述方位信息与所述预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度；根据所述关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，根据所述感知敏感度的大小，从预设的映射梯度数据库中选取所述感知敏感度匹配的专注度映射梯度，其中，所述专注度映射梯度包括多个专注度系数，以及各所述专注度系数关联的环境音频损失等级；所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤包括：根据匹配的专注度映...

【专利技术属性】
技术研发人员：赵冠博，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：