面向自动声纹识别系统的黑盒定向对抗攻击方法及系统技术方案

本发明专利技术公开了一种面向自动声纹识别系统的黑盒定向对抗攻击方法及系统，包括：根据不同的说话人识别任务确定对应的损失函数；将源说话人的语音、需要被攻击的说话人识别模型、采样点个数、对抗样本生成算法的初始参数以及对应的损失函数，输入到对抗样本生成算法，生成语音扰动；将语音扰动添加到源说话人语音上生成对抗样本。优点：不需要获取说话人识别系统神经网络的结构信息和内部梯度信息，只需要获取说话人识别系统输出的识别结果及打分；只在部分语音采样点上添加对抗样本扰动，可以避免在静音段添加扰动，从而影响对抗样本的不可感知性；避免了倒谱特征转换回语音波形时产生的信息损失，从而避免了语音质量的下降。

【技术实现步骤摘要】
面向自动声纹识别系统的黑盒定向对抗攻击方法及系统
本专利技术涉及一种面向自动声纹识别系统的黑盒定向对抗攻击方法及系统，属于语音信号处理和信息安全

技术介绍
说话人识别是一种从话语的特征中辨认说话人身份的技术。经过了几十年的发展，语音交互系统和身份认证系统中已经广泛应用到了说话人识别技术，诸如：智能手机，汽车导航系统，电子银行认证等等。然而，最近的研究表明，一个训练好的说话人识别系统可能会被恶意攻击欺骗。攻击说话人识别系统的方法包括模仿、回放、语音合成和语音转换。作为攻击者，其期望是这些电子伪装语音和假冒语音能够听起来和被攻击具有敏感性者的语音尽可能相似。另一方面，已经有一些研究表明，机器学习模型易受所谓“对抗样本”的攻击。这表明某些能够实现对机器学习模型攻击的信息可能隐藏在对抗样本之中。因此可以利用对抗样本的这种信息隐藏能力来隐藏说话人的身份信息。尽管对抗样本攻击在图像分类任务和语音识别任务中都已经有了成功的黑盒和白盒的应用，但是在说话人识别领域关于对抗样本的研究刚刚起步。对抗攻击通常都通过对抗样本进行实施，对抗样本的主要作用是通过向源语音中添加扰动，以此引起说话人系统产生误分类。对抗样本首先由Szegedy等人在计算机视觉领域提出，Szegedy等人通过对抗样本以很高的概率欺骗了最先进的深度神经网络。然而，说话人识别领域的对抗攻击和计算机视觉分类任务领域的对抗攻击有所不同。说话人识别领域包括三种任务，说话人确认(SpeakerVerification,SV)，开集说话人辨认(Open-setSpeakerIdentification,OSI)和闭集说话人辨认(Close-setSpeakerIdentification,CSI)。说话人识别领域的对抗攻击，只要是根据源说话人的语音，从而制造出能够被系统错误辨认的语音样本。有目标攻击指的是将说话人识别系统欺骗，从而将对抗样本认定为特定的标签。制造对抗样本的通常方法是在源语音中添加少量微弱的训练好的加性扰动，攻击者期望该扰动尽可能不被人类感知到，在添加扰动之后，使系统产生误分类。之前在说话人识别领域，大部分的工作都是在全部的语音采样点上添加扰动从而实现攻击的。这样做存在的主要问题有：1.可能会导致添加过度的扰动，从而被人类感知和察觉到。2.在全部的采样点上添加扰动，虽然可能能够得到很高的攻击成功率，但是会引入较为明显的持续不断的背景噪声。人们在第一次听到这种噪声的时候可能不会感觉到异样，但是在多次感知之后就会察觉到明显的背景噪音。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种面向自动声纹识别系统的黑盒定向对抗攻击方法及系统。为解决上述技术问题，本专利技术提供一种面向自动声纹识别系统的黑盒定向对抗攻击方法，包括：获取待处理的源说话人的语音、需要被攻击的说话人识别模型、源说话人的语音中需要添加语音扰动的采样点个数、对抗样本生成算法的初始参数；根据不同的说话人识别任务确定对应的损失函数；将源说话人的语音、需要被攻击的说话人识别模型、采样点个数、对抗样本生成算法的初始参数以及对应的损失函数，输入到对抗样本生成算法，生成语音扰动；将语音扰动添加到源说话人语音上生成对抗样本。进一步的，所述根据不同的说话人识别任务，确定对应的损失函数的过程包括：若获取的说话人识别任务是开集的说话人辨认任务，则确定对应的损失函数为：s.t.||e(x)||0≤d,||e(x)||∞≤ξ,j∈G式中，ε为避免正则化项的分母为零的常数，λ是正则化项的系数，j是说话人标签的索引，是目标说话人tar的得分，是在和阈值θ中选择最大值，如果则表明除了目标说话人之外的所有注册说话人都被认定为了集外说话人，如果则表明除了目标说话人tar之外的得分最高的说话人的得分同样高于阈值θ；表示除了目标说话人tar以外的说话人的得分；ei(x)表示索引为i的采样点上添加的扰动；N表示语音的总采样点数量；i表示语音采样点的索引；s.t.||e(x)||0≤d,||e(x)||∞≤ξ,j∈G中s.t.表示约束条件；||e(x)||0≤d表示扰动e(x)的长度小于等于参数d；||e(x)||∞≤ξ表示扰动e(x)的最大幅度小于等于参数ξ；j∈G表示说话人j在已注册说话人集合G中。若获取的说话人识别任务是闭集的说话人辨认任务，则确定对应的损失函数为：s.t.||e(x)||0≤d,||e(x)||∞≤ξ若获取的说话人识别任务是说话人确认任务，则确定对应的损失函数为：s.t.||e(x)||0≤d,||e(x)||∞≤ξ。进一步的，所述对抗样本生成算法为差分遗传算法。进一步的，所述差分遗传算法的处理过程包括：初始化：差分演化算法中的种群包含NP个D维的矢量，xi是一个D维的变量，则种群表示为Pop＝{x1,x2,...,xNP}，NP是单个种群的大小，D＝2×d，其中，d是需要添加扰动的采样点的数量；种群的个数popsize∈[5D，10D]；假设第j维的上界和下界分别为和则初始化为：其中，xj,i,0表示初代种群中第i个个体的第j维，i＝1,2,...,NP，j＝1,2,...,D，randj(0,1)是范围在(0,1)之间符合均匀分布的随机数；突变：在种群初始化之后，由差分突变生成突变矢量，种群的最初数目为popsize，并且在每次迭代中，另外的popsize个子类将会通过使用突变公式生成突变个体：vi,g＝xr1,g+F×(xr2,g-xr3,g)其中，r1,r2,r3∈{1,2,...,NP}是不同的整数，并且和当前目标矢量i的索引不同，F是尺度参数，g是当前代数的索引，每一个候选解一旦生成，就将根据种群的索引与其相应的父代竞争，获胜者将生存下来进行下一次迭代。交叉：在突变过程结束后，由目标矢量xi,g和突变矢量vi,g进行二项式交叉，生成最终的测试矢量Ui,g，Ui,g＝[ui1,g,ui2,g,...,uiD,g]其中，jrand是从{1,2,...,D}中随机选取的整数，交叉概率CR是(0,1)之间的常数，uiD,g表示第g代种群的第i个个体的第D维，，uij,g表示经过交叉操作后的第g代种群的第i个个体的第j维，vij,g表示经过变异操作后的第g代种群的第i个个体的第j维，xij,g表示未经变异的第g代种群的第i个个体的第j维；选择：在测试矢量和相应的目标矢量之间进行一对一的锦标赛选择，比较测试矢量Ui,g和目标矢量xi,g的目标函数值，如果测试矢量的目标函数值更好，则用测试矢量替代目标矢量，否则目标矢量保持不变，表示为：其中，f(·)是需要优化的所述损失函数；确定个体的总代数G，则最终生成的语音扰动表示为xi,G，g∈[1，G]；通过语音扰动得到的对抗样本是在原始语音上添加语音扰动后生本文档来自技高网...

【技术保护点】
1.一种面向自动声纹识别系统的黑盒定向对抗攻击方法，其特征在于，包括：/n获取待处理的源说话人的语音、需要被攻击的说话人识别模型、源说话人的语音中需要添加语音扰动的采样点个数、对抗样本生成算法的初始参数；/n根据不同的说话人识别任务确定对应的损失函数；/n将源说话人的语音、需要被攻击的说话人识别模型、采样点个数、对抗样本生成算法的初始参数以及对应的损失函数，输入到对抗样本生成算法，生成语音扰动；/n将语音扰动添加到源说话人语音上生成对抗样本。/n

【技术特征摘要】
1.一种面向自动声纹识别系统的黑盒定向对抗攻击方法，其特征在于，包括：
获取待处理的源说话人的语音、需要被攻击的说话人识别模型、源说话人的语音中需要添加语音扰动的采样点个数、对抗样本生成算法的初始参数；
根据不同的说话人识别任务确定对应的损失函数；
将源说话人的语音、需要被攻击的说话人识别模型、采样点个数、对抗样本生成算法的初始参数以及对应的损失函数，输入到对抗样本生成算法，生成语音扰动；
将语音扰动添加到源说话人语音上生成对抗样本。


2.根据权利要求1所述的面向自动声纹识别系统的黑盒定向对抗攻击方法，其特征在于，所述根据不同的说话人识别任务，确定对应的损失函数的过程包括：
若获取的说话人识别任务是开集的说话人辨认任务，则确定对应的损失函数为：



s.t.||e(x)||0≤d,||e(x)||∞≤ξ,j∈G
式中，ε为避免正则化项的分母为零的常数，λ是正则化项的系数，j是说话人标签的索引，是目标说话人tar的得分，是在和阈值θ中选择最大值，如果则表明除了目标说话人之外的所有注册说话人都被认定为了集外说话人，如果则表明除了目标说话人tar之外的得分最高的说话人的得分同样高于阈值θ；表示除了目标说话人tar以外的说话人的得分；ei(x)表示索引为i的采样点上添加的扰动；N表示语音的总采样点数量；i表示语音采样点的索引；s.t.||e(x)||0≤d,||e(x)||∞≤ξ,j∈G中s.t.表示约束条件；||e(x)||0≤d表示扰动e(x)的长度小于等于参数d；||e(x)||∞≤ξ表示扰动e(x)的最大幅度小于等于参数ξ；j∈G表示说话人j在已注册说话人集合G中。
若获取的说话人识别任务是闭集的说话人辨认任务，则确定对应的损失函数为：



s.t.||e(x)||0≤d,||e(x)||∞≤ξ
若获取的说话人识别任务是说话人确认任务，则确定对应的损失函数为：



s.t.||e(x)||0≤d,||e(x)||∞≤ξ。


3.根据权利要求1所述的面向自动声纹识别系统的黑盒定向对抗攻击方法，其特征在于，所述对抗样本生成算法为差分遗传算法。


4.根据权利要求3所述的面向自动声纹识别系统的黑盒定向对抗攻击方法，其特征在于，所述差分遗传算法的处理过程包括：
初始化：
差分演化算法中的种群包含NP个D维的矢量，xi是一个D维的变量，则种群表示为Pop＝{x1,x2,...,xNP}，NP是单个种群的大小，D＝2×d，其中，d是需要添加扰动的采样点的数量；种群的个数popsize∈[5D，10D]；假设第j维的上界和下界分别为和则初始化为：



其中，xj,i,0表示初代种群中第i个个体的第j维，i＝1,2,...,NP，j＝1,2,...,D，randj(0,1)是范围在(0,1)之间符合均匀分布的随机数；
突变：
在种群初始化之后，由差分突变生成突变矢量，种群的最初数目为popsize，并且在每次迭代中，另外的popsize个子类将会通过使用突变公式生成突变个体：
vi,g＝xr1,g+F×(xr2,g-xr3,g)
其中，r1,r2,r3∈{1,2,...,NP}是不同的整数，并且和当前目标矢量i的索引不同，F是尺度参数，g是当前代数的索引，每一个候选解一旦生成，就将根据种群的索引与其相应的父代竞争，获胜者将生存下来进行下一次迭代。
交叉：
在突变过程结束后，由目标矢量xi,g和突变矢量vi,g进行二项式交叉，生成最终的测试矢量Ui,g，
Ui,g＝[ui1,g,ui2,g,...,uiD,g]



其中，jrand是从{1,2,...,D}中随机选取的整数，交叉概率CR是(0,1)之间的常数，uiD,g表示第g代种群的第i个个体的第D维，，uij,g表示经过交叉操作后的第g代种群的第i个个体的第j维，vij,g表示经过变异操作后的第g代种群的第i个个体的第j维，xij,g表示未经变异的第g代种群的第i个个体的第j维；
选择：
在测试矢量和相应的目标矢量之间进行一对一的锦标赛选择，比较测试矢量Ui,g和目标矢量xi,g的目标函数值，如果测试矢量的目标函数值更好，则用测试矢量替代目标矢量，否则目标矢量保持不变，表示为：



其中，f(·)是需要优化的所述损失函数；
确定个体的总代数G，则最终生成的语音扰动表示为xi,G，g∈[1，G]；
通过语音扰动得到的对抗样本是在原始语音上添加语音扰动后生成的新语音。


5.一种面向自动声纹识别系统的黑盒定向对抗攻击...

【专利技术属性】
技术研发人员：孙蒙，张星昱，张雄伟，邹霞，贾冲，李莉，康凯，王彬，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：江苏;32