黑盒智能语音识别系统对抗样本生成方法及相关装置制造方法及图纸

本发明专利技术属于深度学习领域，公开了一种黑盒智能语音识别系统对抗样本生成方法及相关装置，包括根据语音对抗扰动得到语音对抗样本；对目标指令音频文件和语音对抗样本均进行MFCC特征提取，得到目标语音特征矩阵和对抗语音特征矩阵，计算目标语音特征矩阵和对抗语音特征矩阵之间的L2距离作为声学特征损失函数值，计算语音对抗扰动的L2范数作为扰动损失函数值；根据声学特征损失函数值和扰动损失函数值构建对抗扰动优化损失函数，以同时最小化声学特征损失函数值和扰动损失函数值为目标更新语音对抗扰动，通过迭代上述步骤得到最终的语音对抗样本。不需要具备关于目标语音识别系统的任何先验知识，攻击成功率高且可迁移性强。强。强。

【技术实现步骤摘要】
黑盒智能语音识别系统对抗样本生成方法及相关装置


[0001]本专利技术属于深度学习领域，涉及一种黑盒智能语音识别系统对抗样本生成方法及相关装置。

技术介绍

[0002]语音识别系统的目标是将输入至机器系统的语音信号转换成与之对应的字符序列，也即一种提取语音中的文本信息的技术。以往，用户主要通过鼠标、键盘、触摸屏、遥控器等与计算机、智能手机及家用电器等设备进行交互。通过这些方式向机器和设备下达某些指令存在着效率不足的问题，并且对于用户来说可能需要一定的学习成本。语音识别技术的出现使得人机交互界面变得更加自然友好和容易使用，从而得到了广泛的研究和关注。近年来，语音识别系统的不断成熟归功于机器学习尤其是深度学习技术的快速发展。然而，机器学习模型容易受到对抗样本的干扰而输出错误结果的现象也越来越吸引研究人员的关注。起初，对抗攻击的研究工作集中在图像识别类系统；后来，针对语音识别系统的对抗攻击的研究不断出现。攻击者使用某种方法生成一段音频样本，人耳听觉感知和自动语音识别系统对同一段音频将会有不同的识别结果。若普通用户无法察觉到这样的音频的异常，但其却会被自动语音识别系统当作某种带有恶意含义的指令，则有可能对用户的各方面安全造成威胁。
[0003]根据攻击者对目标系统的了解程度，对抗攻击可被大致分为白盒攻击、灰盒攻击和黑盒攻击。在白盒条件下，攻击者可以获取机器学习模型近乎全部的信息，所以攻击者可以围绕着可见的机器学习模型设计攻击方法。在灰盒条件下，攻击者能够掌握的信息相比于白盒条件要少得多，一般仅仅能获得模型的输出概率分布等。在黑盒条件下，攻击者掌握的信息进一步减少，往往最多只能获得对应于输入的最终输出结果。在如此恶劣的条件下，黑盒攻击格外困难。有些研究工作探索对抗样本在白盒系统和黑盒系统之间的可移植性，即在白盒系统上生成的对抗样本是否可以攻击某种黑盒系统。显然，攻击者掌握的语音识别系统细节信息越多，攻击该系统就会越容易。最近，已经有不少的研究工作在白盒条件下，提出了成功率极高的攻击方法。但是，市面上主流的商业语音识别系统往往都是黑盒系统，攻击者难以获得充分的模型及参数等相关信息。为了揭示这些商业语音识别系统的安全隐患，需要进一步探索针对语音识别系统的黑盒攻击。
[0004]目前，几乎所有的对抗攻击都是针对系统底层的机器学习模型。但是，不同的语音识别系统可能采用了不同的机器学习模型，这就导致了基于一个系统生成的对抗音频一般难以成功攻击另一个系统。现有的语音对抗攻击中白盒方法不符合实际威胁模型，而黑盒攻击成功率低或攻击可迁移性差。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术中，现有的语音对抗攻击中白盒方法不符合实际威胁模型，而黑盒攻击成功率低或攻击可迁移性差的缺点，提供一种黑盒智能语音识
别系统对抗样本生成方法及相关装置。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]本专利技术第一方面，提供一种黑盒智能语音识别系统对抗样本生成方法，包括：
[0008]S1：获取能够在黑盒智能语音识别系统上正确识别的目标指令音频文件，以及语音对抗扰动；
[0009]S2：根据语音对抗扰动，得到语音对抗样本；
[0010]S3：对目标指令音频文件和语音对抗样本均进行MFCC特征提取，得到目标语音特征矩阵和对抗语音特征矩阵，并计算目标语音特征矩阵和对抗语音特征矩阵之间的L2距离作为声学特征损失函数值，以及计算语音对抗扰动的L2范数作为扰动损失函数值；
[0011]S4：根据声学特征损失函数值和扰动损失函数值构建对抗扰动优化损失函数，以同时最小化声学特征损失函数值和扰动损失函数值为目标更新语音对抗扰动；
[0012]S5：迭代S2～S4，至迭代次数达到预设值或对抗扰动优化损失函数值在连续预设次迭代过程中的下降值在预设范围内时，得到最终的语音对抗样本。
[0013]可选的，所述语音对抗扰动初始为在(
‑
1，1)内服从均匀分布的随机噪声向量。
[0014]可选的，所述根据语音对抗扰动，得到语音对抗样本包括：
[0015]根据语音对抗扰动，根据式(1)或(2)进行隐藏指令攻击，得到语音对抗样本x
′
：
[0016]x
′
＝y+α
·
δ0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0017]x
′
＝δ0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0018]其中，y为目标指令音频文件，α为第一扰动参数，δ0为语音对抗扰动；
[0019]或者，获取原始载体文件，根据式(3)进行集成指令攻击，得到语音对抗样本x
′
：
[0020]x
′
＝x+β
·
δ0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0021]其中，x为原始载体文件，β为第二扰动参数。
[0022]可选的，当语音对抗样本为隐藏指令攻击得到时，所述对抗扰动优化损失函数loss为loss＝loss
f
‑
λ
·
loss
p
，其中，loss
f
为声学特征损失函数值，loss
p
为扰动损失函数值，λ为预设的线性惩罚项超参数；当语音对抗样本为集成指令攻击得到时，所述对抗扰动优化损失函数loss为loss＝loss
f
+
·
oss
p
。
[0023]可选的，所述预设调节系数通过下述方式得到：
[0024]通过第一次得到的语音对抗样本对黑盒智能语音识别系统进行预备攻击，在预备攻击过程中采用二分查找算法自动配置预设的线性惩罚项超参数。
[0025]可选的，所述在以同时最小化声学特征损失函数值和扰动损失函数值为目标更新语音对抗扰动时，采用基于梯度下降的优化算法迭代更新语音对抗扰动。
[0026]可选的，所述基于梯度下降的优化算法为基于梯度下降的自适应矩估计优化器。
[0027]本专利技术第二方面，提供一种黑盒智能语音识别系统对抗样本生成系统，包括：
[0028]数据获取模块，用于获取能够在黑盒智能语音识别系统上正确识别的目标指令音频文件，以及语音对抗扰动；
[0029]对抗模块，用于根据语音对抗扰动，得到语音对抗样本；
[0030]数据处理模块，用于对目标指令音频文件和语音对抗样本均进行MFCC特征提取，得到目标语音特征矩阵和对抗语音特征矩阵，并计算目标语音特征矩阵和对抗语音特征矩阵之间的L2距离作为声学特征损失函数值，以及计算语音对抗扰动的L2范数作为扰动损失
函数值；
[0031]优化模块，用于根据声学特征损失函数值和扰动损失函数值构建对抗扰动优化损失函数，以同时最小化声学特征损失函数值和扰动损失函数值为目标更新语音对抗扰动；
[0032]迭本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种黑盒智能语音识别系统对抗样本生成方法，其特征在于，包括：S1：获取能够在黑盒智能语音识别系统上正确识别的目标指令音频文件，以及语音对抗扰动：S2：根据语音对抗扰动，得到语音对抗样本；S3：对目标指令音频文件和语音对抗样本均进行MFCC特征提取，得到目标语音特征矩阵和对抗语音特征矩阵，并计算目标语音特征矩阵和对抗语音特征矩阵之间的L2距离作为声学特征损失函数值，以及计算语音对抗扰动的L2范数作为扰动损失函数值；S4：根据声学特征损失函数值和扰动损失函数值构建对抗扰动优化损失函数，以同时最小化声学特征损失函数值和扰动损失函数值为目标更新语音对抗扰动；S5：迭代S2～S4，至迭代次数达到预设值或对抗扰动优化损失函数值在连续预设次迭代过程中的下降值在预设范围内时，得到最终的语音对抗样本。2.根据权利要求1所述的黑盒智能语音识别系统对抗样本生成方法，其特征在于，所述语音对抗扰动初始为在(
‑
1，1)内服从均匀分布的随机噪声向量。3.根据权利要求1所述的黑盒智能语音识别系统对抗样本生成方法，其特征在于，所述根据语音对抗扰动，得到语音对抗样本包括：根据语音对抗扰动，根据式(1)或(2)进行隐藏指令攻击，得到语音对抗样本x
′
：x
′
＝y+α
·
δ0ꢀꢀꢀꢀ
(1)x
′
＝δ0ꢀꢀꢀꢀ
(2)其中，y为目标指令音频文件，α为第一扰动参数，δ0为语音对抗扰动；或者，获取原始载体文件，根据式(3)进行集成指令攻击，得到语音对抗样本x
′
：x
′
＝x+β
·
δ0ꢀꢀꢀꢀ
(3)其中，x为原始载体文件，β为第二扰动参数。4.根据权利要求3所述的黑盒智能语音识别系统对抗样本生成方法，其特征在于，当语音对抗样本为隐藏指令攻击得到时，所述对抗扰动优化损失函数loss为loss＝loss
f
‑
λ
·
loss
p
，其中，loss
f
为声学特征损失函数值，loss
p
为扰动损失函数值，λ为预设的...

【专利技术属性】
技术研发人员：沈超，吴星辉，蔺琛皓，王骞，李琦，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：