耳机的模式切换方法、装置、电子设备及存储介质制造方法及图纸

本公开提出一种耳机的模式切换方法、装置、电子设备及存储介质，方法包括：获取耳机的骨传导传感器采集的振动信号以及前馈或通话麦克风同步采集的第一音频信号；至少根据振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值；至少基于第一音频信号提取的幅度谱特征，预测耳机佩戴者存在说话行为的第二概率值；根据第一概率值和第二概率值，控制耳机在降噪模式和非降噪模式之间进行切换，由此，在耳机佩戴者存在说话行为时，控制耳机自动切换为非降噪模式，在耳机佩戴者不存在说话行为时，控制耳机自动切换为降噪模式，无需耳机佩戴者手动对耳机进行模式切换，改善了用户体验。验。验。

【技术实现步骤摘要】
耳机的模式切换方法、装置、电子设备及存储介质


[0001]本公开涉及电子设备
，尤其涉及一种耳机的模式切换方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，大多数真正无线立体声(True Wireless Stereo，简称TWS)耳机配备主动降噪(ANC)功能，该功能通过声波抵消的原理减少外界环境噪声和低频语音噪声，使耳机佩戴者持续处于安静状态。但当TWS耳机的佩戴者与他人对话时，需要手动摘下耳机或手动切换至通透模式，才能进行无障碍交流，该过程大大降低了用户体验。

技术实现思路

[0003]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本公开的第一个目的在于提出一种耳机的模式切换方法，以实现根据耳机的骨传导传感器采集的振动信号和前馈或通话麦克风同步采集的第一音频信号共同判断耳机佩戴者是否存在说话行为，在耳机佩戴者存在说话行为时，控制耳机自动切换为非降噪模式，在耳机佩戴者不存在说话行为时，控制耳机自动切换为降噪模式，无需耳机佩戴者手动对耳机进行模式切换，改善了用户体验。
[0005]本公开的第二个目的在于提出一种耳机的模式切换装置。
[0006]本公开的第三个目的在于提出一种电子设备。
[0007]本公开的第四个目的在于提出一种非瞬时计算机可读存储介质。
[0008]本公开的第五个目的在于提出一种计算机程序产品。
[0009]为达上述目的，本公开第一方面实施例提出了一种耳机的模式切换方法，包括：获取耳机的骨传导传感器采集的振动信号，以及获取所述耳机的前馈或通话麦克风同步采集的第一音频信号；至少根据所述振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值；对经过降噪处理的所述第一音频信号进行幅度谱的特征提取，并至少基于所述第一音频信号提取的幅度谱特征，预测所述耳机佩戴者存在说话行为的第二概率值；根据所述第一概率值和所述第二概率值，控制所述耳机在降噪模式和非降噪模式之间进行切换。
[0010]本公开实施例的耳机的模式切换方法，通过获取耳机的骨传导传感器采集的振动信号，以及获取耳机的前馈或通话麦克风同步采集的第一音频信号；至少根据振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值；对经过降噪处理的第一音频信号进行幅度谱的特征提取，并至少基于第一音频信号提取的幅度谱特征，预测耳机佩戴者存在说话行为的第二概率值；根据第一概率值和第二概率值，控制耳机在降噪模式和非降噪模式之间进行切换，由此，根据耳机的骨传导传感器采集的振动信号和前馈或通话麦克风同步采集的第一音频信号共同判断耳机佩戴者是否存在说话行为，提高了耳机佩戴者是否存在说话行为的识别准确性，在耳机佩戴者存在说话行为时，控制耳机自动切换为非降噪模式，在耳机佩戴者不存在说话行为时，控制耳机自动切换为降噪模式，无需耳机佩戴者手动
对耳机进行模式切换，改善了用户体验。
[0011]为达上述目的，本公开第二方面实施例提出了一种耳机的模式切换装置，包括：获取模块，用于获取耳机的骨传导传感器采集的振动信号，以及获取所述耳机的前馈或通话麦克风同步采集的第一音频信号；识别模块，用于至少根据所述振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值；预测模块，用于对经过降噪处理的所述第一音频信号进行幅度谱的特征提取，并至少基于所述第一音频信号提取的幅度谱特征，预测所述耳机佩戴者存在说话行为的第二概率值；控制模块，用于根据所述第一概率值和所述第二概率值，控制所述耳机在降噪模式和非降噪模式之间进行切换。
[0012]为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的耳机的模式切换方法。
[0013]为了实现上述目的，本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面实施例所述的耳机的模式切换方法。
[0014]为了实现上述目的，本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开第一方面实施例所述的耳机的模式切换方法。
[0015]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0016]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0017]图1为本公开实施例所提供的一种耳机的模式切换方法的流程示意图；
[0018]图2为本公开实施例所提供的另一种耳机的模式切换方法的流程示意图；
[0019]图3为本公开实施例所提供的另一种耳机的模式切换方法的流程示意图；
[0020]图4为本公开实施例所提供的降噪处理示意图；
[0021]图5为本公开实施例所提供的另一种耳机的模式切换方法的流程示意图；
[0022]图6为本公开实施例所提供的另一种耳机的模式切换方法的流程示意图；
[0023]图7为本公开实施例所提供的一种耳机的模式切换方法的流程示意图；
[0024]图8为本公开实施例所提供的一种耳机的模式切换装置的结构示意图；
[0025]图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0026]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
[0027]相关技术中，通过TWS耳机的骨传导传感器采集的振动信号和麦克风采集的音频
信号，其中，麦克风可为前馈麦克风或通话麦克风。其次，利用回声消除技术对骨传导传感器采集的振动信号进行降噪处理以获取干净的语音信号。然后，通过快速傅里叶变换分别将骨传导传感器采集的振动信号和麦克风采集的音频信号转化为频域信号，统计骨传导传感器采集的振动信号的能量，并计算两信号的相关系数。最后根据骨传导传感器采集的振动信号的能量和信号间的相关系数决策完成耳机佩戴者的语音检测，如果检测到语音活动，自动切换至通透模式或语音增强模式。
[0028]但是，当用户处于听歌状态时，耳机扬声器放出的声音通过耳机腔体对骨传导传感器采集的振动信号形成较为强烈的干扰，使用回声消除算法虽然在一定程度上能够与消除扬声放出的声音对骨传导语音传感器信号的影响，但带来了巨大的功耗和算力要求；由于耳机的模式切换属于实时检测算法，对检测准确性有较高要求。常用的相关系数等决策模型误检率较高，特别在耳机佩戴者咳嗽、跑步等场景下具有高达30％
‑
50％的误检率。
[0029]因此，针对上述问题，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种耳机的模式切换方法，其特征在于，包括：获取耳机的骨传导传感器采集的振动信号，以及获取所述耳机的前馈或通话麦克风同步采集的第一音频信号；至少根据所述振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值；对经过降噪处理的所述第一音频信号进行幅度谱的特征提取，并至少基于所述第一音频信号提取的幅度谱特征，预测所述耳机佩戴者存在说话行为的第二概率值；根据所述第一概率值和所述第二概率值，控制所述耳机在降噪模式和非降噪模式之间进行切换。2.根据权利要求1所述的方法，其特征在于，所述至少根据所述振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值，包括：根据所述振动信号的能量值和所述耳机的扬声器同步播放的第二音频信号的能量值，识别耳机佩戴者存在说话行为的所述第一概率值。3.根据权利要求2所述的方法，其特征在于，所述根据所述振动信号的能量值和所述耳机的扬声器同步播放的第二音频信号的能量值，识别耳机佩戴者存在说话行为的所述第一概率值，包括：所述振动信号以及同步播放的第二音频信号均为多帧的情况下，确定符合设定条件的帧数，其中，所述设定条件包括振动信号的设定低频分量的能量值大于第一能量值，且同步播放的所述第二音频信号的能量值小于第二能量值；所述帧数大于或等于第一阈值数量，则确定所述第一概率值为第一取值；所述帧数小于所述第一阈值数量，则确定所述第一概率值为第二取值，其中，所述第二取值小于所述第一取值。4.根据权利要求1所述的方法，其特征在于，所述至少根据所述振动信号的能量值，识别耳机佩戴者存在说话行为的第一概率值，包括：在所述振动信号为多帧的情况下，对多帧所述振动信号进行能量值的平滑处理；基于平滑后的能量值，从多帧中，确定出设定低频分量的能量值大于第一能量值的目标振动信号；所述目标振动信号的帧数大于或等于所述第二阈值数量，则确定所述第一概率值为第一取值；所述目标振动信号的帧数小于所述第二阈值数量，则确定所述第一概率值为第二取值，其中，所述第二取值小于所述第一取值。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：在所述第一概率值大于或等于概率阈值的情况下，采用已有噪声谱对所述第一音频信号进行降噪处理；在所述第一概率值小于所述概率阈值的情况下，基于所述第一音频信号对所述噪声谱进行更新。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述至少基于所述第一音频信号提取的幅度谱特征，预测所述耳机佩戴者存在说话行为的第二概率值，包括：将任一帧第一音频信号的幅度谱特征作为输入特征，进行语音激活检测VAD，以识别语音边界；
在从所述第一音频信号中识别出语音边界的情况下，则确定所述第二概率值为第一取值；在从所述第一音频信号中识别出语音边界的情况下，则确定所述第二概率值为第二取值，其中，所述第二取值小于所述第一取值。7.根据权利要求6所述的方法，其特征在于，所述输入特征还包括同步采集的振动信号的幅度谱特征。8.根据权利要求6所述的方法，其特征在于，所述根据所述第一概率值和所述第二概率值，控制所述耳机在降噪模式和非降噪模式之间进行切换，包括：对所述第一概率值，以及基于各帧所述第一音频信号预测出的所述第二概率值进行加权，以得到目标概率；在所述目标概率大于或等于切换阈值的情况下，控制所述耳机从所述降噪模式切换至所述非降噪模式；在所述目标概率小于所述切换阈值的情况下，控制所述耳机从所述非降噪模式切换至所述降噪模式；其中，所述非降噪模式包括通透模式和/或语音增强模式。9.一种耳机的模式切换装置，其特征在于，包括：获取模块，用于获取耳机的骨传导传感器采集的振动信号，以...

【专利技术属性】
技术研发人员：陶廉洁，张锐，李罡，
申请(专利权)人：北京小米移动软件有限公司北京小米松果电子有限公司，
类型：发明
国别省市：