基于敏感频段调节的语音对抗样本防御方法、装置及设备制造方法及图纸

本申请提供一种基于敏感频段调节的语音对抗样本防御方法、装置及设备，该方法包括：获取待识别音频数据；依据目标智能语音识别模型的敏感频段，对所述待识别音频数据进行敏感频段滤波处理，得到处理后的音频数据；在第一语音识别结果与第二语音识别结果不一致的情况下，确定所述待识别音频数据为语音对抗样本，并拒绝对所述第一语音识别结果进行响应。该方法可以实现对语音对抗样本的有效检测和攻击防御，并降低对目标智能语音识别模型的正常语音识别的影响。音识别的影响。音识别的影响。

【技术实现步骤摘要】
基于敏感频段调节的语音对抗样本防御方法、装置及设备


[0001]本申请涉及语音识别安全领域，尤其涉及一种基于敏感频段调节的语音对抗样本防御方法、装置及设备。

技术介绍

[0002]随着语音识别技术的发展，智能语音识别系统逐渐成为物联网配备的重要智能组件之一，使得语音交互成为物联网人机交互中的重要场景。智能语音系统通过执行语音指令，对其连接的实体设备进行直接控制，因此智能语音系统的安全直接决定了被控设备及其附属系统的安全。
[0003]对于一个输入音频，智能语音识别系统首先会对其进行信号预处理，减少原始音频中的噪声并去除无关的频率分量。然后经过处理的音频信号会被进一步分割为长度更短的音频帧。接着，智能语音识别系统从这些音频帧中提取声学特征，如梅尔频率倒谱系数（Mel Frequency Cepstral Coefficients，简称MFCC）等，并基于预先训练好的语音识别模型将提取的声学特征映射为概率最高的文本序列。
[0004]然而，智能语音识别系统在提升人们生活和工作便利的同时，也面临着严重的安全威胁。其中，语音对抗样本攻击本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于敏感频段调节的语音对抗样本防御方法，其特征在于，包括：获取待识别音频数据；依据目标智能语音识别模型的敏感频段，对所述待识别音频数据进行敏感频段滤波处理，得到处理后的音频数据；其中，所述目标智能语音识别模型的敏感频段为通过区间滑窗频段滤波确定、使语音对抗样本库中超过预设比例阈值的语音对抗样本失效的频段区间；所述语音对抗样本库中包括多条语音对抗样本，以及，所述语音对抗样本对应的原始音频数据；对于任一语音对抗样本对应的对抗噪声，在该对抗噪声滤波前后对应的语音对抗样本的语音识别结果不一致的情况下，确定此次滤波的滑窗频段区间使该语音对抗样本失效；在第一语音识别结果与第二语音识别结果不一致的情况下，确定所述待识别音频数据为语音对抗样本，并拒绝对所述第一语音识别结果进行响应；其中，所述第一语音识别结果为所述目标智能语音识别模型对所述待识别音频数据的语音识别结果；所述第二语音识别结果为所述目标智能语音识别模型对所述处理后的音频数据的语音识别结果。2.根据权利要求1所述的方法，其特征在于，所述目标智能语音识别模型的敏感频段通过以下方式确定：通过对语音对抗样本对应的对抗噪声进行区间滑窗频段滤波的方式，确定语音对抗样本库中各语音对抗样本对应的敏感滑窗频段区间；其中，语音对抗样本对应的敏感滑窗频段区间为使该语音对抗样本失效的滑窗频段区间；依据所述语音对抗样本库中各语音对抗样本对应的敏感滑窗频段区间，确定所述目标智能语音识别模型的敏感频段。3.根据权利要求2所述的方法，其特征在于，所述通过对语音对抗样本对应的对抗噪声进行区间滑窗频段滤波的方式，确定语音对抗样本库中各语音对抗样本对应的敏感滑窗频段区间，包括：对于语音对抗样本库中的任一语音对抗样本，确定该语音对抗样本对应对抗噪声，以及，对抗噪声的频域信息；依据该对抗噪声的频域信息，对该对抗噪声进行区间滑窗频段滤波，得到多个处理后的对抗噪声；对于任一处理后的对抗噪声，依据该处理后的对抗噪声与该语音对抗样本对应的原始音频数据，生成新的语音对抗样本；在第三语音识别结果与第四语音识别结果不一致的情况下，将该处理后的对抗噪声对应的滑窗频段区间，确定为该语音对抗样本对应的敏感滑窗频段区间；其中，所述第三语音识别结果为所述目标智能语音识别模型对该语音对抗样本的语音识别结果，所述第四语音识别结果为所述目标智能语音识别模型对该新的语音对抗样本的语音识别结果。4.根据权利要求2所述的方法，其特征在于，所述依据所述语音对抗样本库中各语音对抗样本对应的敏感滑窗频段区间，确定所述目标智能语音识别模型的敏感频段，包括：依据所述语音对抗样本库中各语音对抗样本对应的敏感滑窗频段区间，确定造成语音对抗样本失效的比例超过所述预设比例阈值的共有滑窗频段区间；依据所述共有滑窗频段区间，确定所述目标智能语音识别模型的敏感频段。5.根据权利要求3所述的方法，其特征在于，所述对于语音对抗样本库中的任一语音对
抗样本，确定该语音对抗样本对应对抗噪声，以及，对抗噪声的频域信息，包括：对该语音对抗样本与对应的原始音频数据在时域上进行做差操作，得到该语音对抗样本对应的对抗噪声；对该对抗噪声进行傅里叶变换，得到该对抗噪声的频域信息。6.根据权利要求4所述的方法，其特征在于，所述依据所述共有滑窗频段区间，确定所述目标智能语音识别模型的敏感频段，包括：依据所述共有滑窗频段区间，确定出造成语音对抗样本失效的比例超过所述预设比例阈值的最小共有滑窗频段区间，并将该最小共有滑窗频段区间确定为所述目标智能语音识别模型的敏感频段；或，对于所述共有滑窗频段区间，采用二分法确定是否存在造成语音对抗样本失效的比例超过所述预设比例阈值的更小的频段区间；在确定存在造成语音对抗样本失效的比例超过预设比例阈值的更小的频段区间的情况下，将所确定的造成语音对抗样本失效的比例超过预设比例阈值的最小的频段区间，确定为所述目标智能语音识别模型的敏感频段。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在第一语音识别结果与第二语音识别结果一致的情况下，对所述第一语音识别结果进行响应；和/或，所述第一语音识别结果与第二语音识别结果不一致，包括：所述第一语音识别结果与所述第二语音识别结果的差异值超过预设差异阈值。8.一种基于敏感频段调节的语音对抗样本防御装置，其特征在于，包括：获取单...

【专利技术属性】
技术研发人员：李超豪，王滨，王星，张峰，钱亚冠，赵海涛，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：