自移动设备的音频数据处理方法、设备及存储介质技术

本申请属于语音交互技术领域，具体涉及一种自移动设备的音频数据处理方法、设备及存储介质。该方法包括：获取音频采集组件采集的第一音频数据；基于第一音频数据确定第一降噪模型本次降噪使用的模型分支和第二降噪模型本次降噪使用的模型参数；将第一音频数据输入第一降噪模型，以过滤第一音频数据中的机械噪声，得到第一过滤数据；将第一过滤数据输入第二降噪模型，以过滤第一过滤数据中自移动设备外部产生的噪声，得到第二过滤数据；可以解决传统的音频处理方法会导致对音频降噪效果较差的问题；通过将至少两组音频采集组件采集的音频数据依次输入第一降噪模型和第二降噪模型，进行两次降噪处理，因此可以提高音频降噪效果。效果。效果。

【技术实现步骤摘要】
自移动设备的音频数据处理方法、设备及存储介质


[0001]本申请属于语音交互
，具体涉及一种自移动设备的音频数据处理方法、设备及存储介质。

技术介绍

[0002]目前，自移动设备例如扫地机、移动机器人都具备与用户进行语音交互的能力，在语音交互的过程中需要对音频数据进行处理。
[0003]传统的音频数据处理方法包括：获取音频数据；基于波束成形算法对音频数据进行降噪处理。
[0004]然而，由于自移动设备在移动的过程中会产生很多不可控的噪声，传统的音频处理方法会导致对音频降噪效果较差的问题。

技术实现思路

[0005]本申请提供了自移动设备的音频数据处理方法、设备及存储介质，可以解决由于自移动设备在移动的过程中会产生很多不可控的噪声，传统的音频处理方法会导致对音频降噪效果较差的问题。本申请提供如下技术方案：
[0006]第一方面，提供了一种自移动设备的音频数据处理方法，所述方法包括：获取所述至少两组音频采集组件采集的第一音频数据；
[0007]基于所述第一音频数据确定所述自移动设备所处的噪声环境；
[0008]基于所述噪声环境确定第一降噪模型本次降噪使用的模型分支和第二降噪模型本次降噪使用的模型参数；所述第一降噪模型包括至少两个模型分支，所述第一降噪模型使用训练数据对预设的神经网络模型训练得到，所述训练数据包括样本数据和标注数据，所述样本数据包括目标音频与机械噪声融合的样本音频数据，所述标注数据为所述目标音频；所述第二模型基于波束成形算法构建，所述波束成形算法包括至少一个模型参数；
[0009]将所述第一音频数据输入所述第一降噪模型，以过滤所述第一音频数据中的机械噪声，得到第一过滤数据；
[0010]将所述第一过滤数据输入所述第二降噪模型，以过滤所述第一过滤数据中所述自移动设备外部产生的噪声，得到第二过滤数据。
[0011]可选地，所述将所述第一过滤数据输入所述第二降噪模型，以过滤所述第一过滤数据中所述自移动设备外部产生的噪声，得到第二过滤数据之后，还包括：
[0012]确定所述第二过滤数据是否为唤醒音频；
[0013]在所述第二过滤数据是唤醒音频的情况下，使用所述第二过滤数据确定所述第一音频数据对应的第一声源位置，以基于与所述第一声源位置相适配的波达方向采集音频数据。
[0014]可选地，所述方法还包括：
[0015]获取所述自移动设备的当前运动状态；
[0016]在所述第二过滤数据是唤醒音频、且所述当前运动状态为静置状态的情况下，触发所述使用所述唤醒音频确定所述第一音频数据对应的声源位置的步骤。
[0017]可选地，所述方法还包括：
[0018]在所述第二过滤数据是唤醒音频，且所述当前运动状态为移动状态的情况下，获取第二音频数据；
[0019]使用所述第一降噪模型和所述第二降噪模型依次对所述第二音频数据进行过滤，得到第三过滤数据；
[0020]使用所述第三过滤数据确定所述第二音频数据对应的第二声源位置，以基于与所述第二声源位置相适配的波达方向采集音频数据。
[0021]可选地，所述使用所述第三过滤数据确定所述第二音频数据对应的第二声源位置，包括：
[0022]确定所述第二音频数据是否有效；
[0023]在所述第二音频数据有效的情况下，使用所述第三过滤数据确定所述第二音频数据对应的第二声源位置。
[0024]可选地，所述方法还包括：
[0025]在所述第二过滤数据是唤醒音频的情况下，获取图像采集组件采集的所述噪声环境的环境图像；
[0026]基于所述环境图像确定目标声源相对于所述自移动设备的位置关系；
[0027]结合所述位置关系和使用声源数据确定出的声源位置，确定所述目标声源的声源位置；所述声源数据为所述第一声源数据或第二声源数据，所述第二声源数据是所述当前运动状态为移动状态的情况下采集的。
[0028]可选地，所述确定所述第二过滤数据是否为唤醒音频，包括：
[0029]基于所述噪声环境确定唤醒模型本次唤醒使用的模型分支；
[0030]将所述第二过滤数据输入所述唤醒模型，得到唤醒结果，所述唤醒结果用于指示所述第二过滤数据是否为唤醒音频。
[0031]可选地，所述至少两组音频采集组件包括：第一音频采集组件和第二音频采集组件，所述第一音频采集组件用于采集所述自移动设备外部产生的音频数据，所述第二音频采集组件用于采集所述自移动设备内部产生的音频数据；
[0032]所述第二音频采集组件为主动降噪音频采集组件。
[0033]第二方面，提供了一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如第一方面所述的自移动设备的音频数据处理方法。
[0034]第三方面，提供了一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如第一方面所述的自移动设备的音频数据处理方法。
[0035]本申请的有益效果在于：通过获取至少两组音频采集组件采集的第一音频数据；基于第一音频数据确定自移动设备所处的噪声环境；基于噪声环境确定第一降噪模型本次降噪使用的模型分支和第二降噪模型本次降噪使用的模型参数；第一降噪模型包括至少两个模型分支，第一降噪模型使用训练数据对预设的神经网络模型训练得到，训练数据包括样本数据和标注数据，样本数据包括目标音频与机械噪声融合的样本音频数据，标注数据
为目标音频；第二模型基于波束成形算法构建，波束成形算法包括至少一个模型参数；将第一音频数据输入第一降噪模型，以过滤第一音频数据中的机械噪声，得到第一过滤数据；将第一过滤数据输入第二降噪模型，以过滤第一过滤数据中自移动设备外部产生的噪声，得到第二过滤数据；可以解决由于自移动设备在移动的过程中会产生很多不可控的噪声，传统的音频处理方法会导致对音频降噪效果较差的问题；通过基于当前噪声环境确定降噪模型的模型参数，将至少两组音频采集组件采集的音频数据依次输入第一降噪模型和第二降噪模型，进行两次降噪处理，因此可以避免自移动设备在移动的过程中会产生很多不可控的噪声从而导致降噪效果较差的问题，由于两个降噪模型分别可以针对性处理不同情况下产生的噪声，因此可以提高音频降噪效果。
[0036]另外，通过将第二音频采集组件设置为主动降噪音频采集组件，可以在获得第一音频数据之前对内部噪声进行一次降噪过滤处理，这样可以进一步提升语音交互的降噪效果。
[0037]另外，由于传统的降噪模型通常使用一个模型参数对噪声进行降噪处理，这就会导致传统的降噪模型难以兼顾多种不同噪声场景，从而导致降噪效果较差的问题，本实施例中通过基于噪声环境确定第一降噪模型本次降噪使用的模型分支和第二降噪模型本次降噪使用的模型参数，不同的噪声环境使用不同的模型参数，这样可以兼顾多种不同的噪声环境进行降噪处理，从而进一步提高降噪效果。
[0038]另外，通过基于噪声环境确定唤醒模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自移动设备的音频数据处理方法，其特征在于，所述自移动设备包括至少两组音频采集组件，所述方法包括：获取所述至少两组音频采集组件采集的第一音频数据；基于所述第一音频数据确定所述自移动设备所处的噪声环境；基于所述噪声环境确定第一降噪模型本次降噪使用的模型分支和第二降噪模型本次降噪使用的模型参数；所述第一降噪模型包括至少两个模型分支，所述第一降噪模型使用训练数据对预设的神经网络模型训练得到，所述训练数据包括样本数据和标注数据，所述样本数据包括目标音频与机械噪声融合的样本音频数据，所述标注数据为所述目标音频；所述第二模型基于波束成形算法构建，所述波束成形算法包括至少一个模型参数；将所述第一音频数据输入所述第一降噪模型，以过滤所述第一音频数据中的机械噪声，得到第一过滤数据；将所述第一过滤数据输入所述第二降噪模型，以过滤所述第一过滤数据中所述自移动设备外部产生的噪声，得到第二过滤数据。2.根据权利要求1所述的方法，其特征在于，所述将所述第一过滤数据输入所述第二降噪模型，以过滤所述第一过滤数据中所述自移动设备外部产生的噪声，得到第二过滤数据之后，还包括：确定所述第二过滤数据是否为唤醒音频；在所述第二过滤数据是唤醒音频的情况下，使用所述第二过滤数据确定所述第一音频数据对应的第一声源位置，以基于与所述第一声源位置相适配的波达方向采集音频数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取所述自移动设备的当前运动状态；在所述第二过滤数据是唤醒音频、且所述当前运动状态为静置状态的情况下，触发所述使用所述唤醒音频确定所述第一音频数据对应的声源位置的步骤。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述第二过滤数据是唤醒音频，且所述当前运动状态为移动状态的情况下，获取第二音频数据；使用所述第一降噪模型和所述第二降噪模型依次对所述第二音频数据进行过滤，得到第三过滤数据；使用...

【专利技术属性】
技术研发人员：陈明佳，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：