一种针对声纹识别防御模块的对抗样本构造方法技术

本发明专利技术公开了一种针对声纹识别防御模块的对抗样本构造方法，包括获得初始对抗扰动、原始音频和声学掩蔽音集，从声学掩蔽音集中选择一个能使听感失真度降到最低的声学掩蔽音，并和获得的初始对抗扰动与原始音频结合计算出对抗样本等步骤；本发明专利技术创新性地提出一种针对声纹识别系统防御模块的对抗样本构造方法，利用精心制作的声学掩蔽音，使人类听感失真度降到最低，并将其叠加到经过初始化的对抗扰动上，用以进行扰动掩蔽。并同时考虑多种具有代表性的防御模块，并使用集成学习方法将其与可学系的自适应权重相融合。最终生成同时满足攻击有效性、人类不可感知性、自适应性的对抗样本。本。本。

【技术实现步骤摘要】
一种针对声纹识别防御模块的对抗样本构造方法


[0001]本专利技术涉及声纹识别和对抗样本领域，具体地说，涉及一种针对声纹识别防御模块的对抗样本构造方法。

技术介绍

[0002]近年来，随着深度学习技术的快速发展，声纹识别广泛地被应用于自动语音识别系统中，比如苹果Siri、谷歌OK Google、微信声纹锁、汇丰银行Voice ID等，这也使得声纹识别成为一种流行的生物识别技术。根据研究表明，2020年全球语音生物识别市场规模超过11亿美元并且有望在2026年达到39亿美元，充分显示了语音技术的广阔发展前景。然而，在人们享受声纹识别服务所带来的便利的背后，深度学习极易遭受对抗样本攻击的阴影引发了严重的安全威胁。最近的研究表明，通过对良心语音叠加上精心制作的微妙扰动就可以轻松欺骗基于深度神经网络的声纹识别系统。该现象引起了广泛的公众关注和大量的研究兴趣。为了抵抗这种攻击，最近的研究工作也提出了在声纹识别系统之前部署防御模块，用以消除破坏对抗扰动。然而之前并没有工作去研究在面对防御模块时，对抗扰动是否能继续同时满足攻击有效性和人类不可感知性。本专利技术公开了一种针对声纹识别防御模块的对抗样本构造方法，利用精心制作的声学掩蔽音实现不可感知性，并结合集成学习技术，使得对抗扰动能够有效攻击多种不同防御模块，最终实现定向攻击来欺骗声纹识别系统。
[0003]对抗样本攻击是一种针对神经网络模型调用环节的攻击方式。攻击者通过在正常语音上添加人类难以感知的恶意扰动(也称对抗扰动)，使得神经网络模型对添加完对抗扰动后的样本(即对抗样本)做出错误的预测。现有的声纹领域对抗样本攻击都假设声纹识别模型不会施加任何防御措施，这使得他们的对抗样本极易被防御模块破坏使得攻击失效，且其不可感知性较差。

技术实现思路

[0004]本专利技术提出一种针对声纹识别防御模块的对抗样本构造方法，以攻击有效性、自适应性、人类不可感知性为目标，通过对足够多的声纹识别防御模块采用集成学习方法，并引入一个精心制作的声学掩蔽音，从而可以生成能成功绕过多种声纹识别系统防御模块，且人耳无法感知的语音对抗样本，并且在不同声纹识别模型上都能实现攻击。
[0005]本专利技术是通过以下技术方案来实现的：
[0006]本专利技术公开了一种针对声纹识别防御模块的对抗样本构造方法，包括如下步骤：
[0007]获得初始对抗扰动、原始音频和声学掩蔽音集；
[0008]从声学掩蔽音集中选择一个能使听感失真度降到最低的声学掩蔽音，并和获得的初始对抗扰动与原始音频结合计算出对抗样本；
[0009]设置多种替代防御模块类型、超参数获得多个带有不同替代防御模块的声纹识别系统；
[0010]通过多种带有不同替代防御模块的声纹识别系统和获得的对抗样本进一步计算
出各自的决策分数；
[0011]通过集成学习方法将所获得的决策分数与可学习的自适应权重相融合，得到最终的损失函数；
[0012]通过投影梯度下降算法和所得到的损失函数进行一定次数的迭代反复上述优化过程生成最终的语音对抗样本。
[0013]作为进一步地改进，本专利技术所述的从声学掩蔽音集中选择一个能使听感失真度降到最低的声学掩蔽音，并和获得的初始对抗扰动与原始音频结合计算出对抗样本，具体为：
[0014](1)通过预先观察多种不同掩蔽音各自的时频谱，并通过计算各自的PESQ来表征其掩蔽能力，从而提出一个评价指标其中F(j)是所选掩蔽音对应的第j个频率区间，K是频率区间的总数，M(i,j)是该掩蔽音相应的过滤时频谱；
[0015](2)M
‑
Sup的取值范围是0
‑
1，数值越大代表掩蔽能力越强，从而通过计算比较不同掩蔽音其各自的M
‑
Sup指标，选择具有最强掩蔽能力的声学掩蔽音；
[0016](3)给定SNR r1，计算出缩放因子并根据对抗扰动幅度A
δ
和所选声学掩蔽音的幅度A
M
计算出经过缩放的对抗扰动
[0017](4)根据缩放因子得到经过缩放后的声学掩蔽音给定原始音频x和SNR r2，并按照上述相同过程得到对抗样本其中A
r
(i,j)用于实现掩蔽效果的函数，其在给定SNR r的情况下将音频j插入音频i，得到经过掩蔽过后的音频i＝A
r
(i,j)。
[0018]作为进一步地改进，本专利技术所述的设置多种替代防御模块类型、超参数获得多个带有不同替代防御模块的声纹识别系统，具体为：
[0019](1)基于免训练和即插即用的简易特性，主要考虑基于信号处理的防御方法作为声纹识别系统的防御模块，所述的防御方法分为三大类：将振幅很小的扰动直接破坏、过滤位于高低频段的对抗扰动、滤除低于听阈曲线的对抗扰动；
[0020](2)通过预先观察每种防御模块自身的超参数数值与其防御强度的关系，并通过观察其对声纹识别模型本身性能的影响，找到每种防御模块的超参数临界点设置，最终输出多种带有不同替代防御模块(F0,β0),
…
,(F
n
‑1,β
n
‑1)的声纹识别模型其中F
i
和β
i
时第i个防御模块的类型和相应超参数。
[0021]作为进一步地改进，本专利技术所述的三类防御方法中，第一类主要考虑重量化法和梅尔滤波法，其原理基于使用有损过滤器直接将微小的对抗扰动直接破坏，第二类主要考虑重采样法和带通滤波法，其原理基于奈奎斯特
‑
香农采样定理，直接将位于高低频段的对抗扰动直接滤除或破坏，第三类主要考虑心理声学滤波法，其原理基于心里声学的人耳听阈曲线，通过直接将位于阈值以下的对抗扰动过滤实现防御功能；总共考虑最具代表性的五种方法：重量化法、梅尔滤波法、重采样法、带通滤波法、心理声学滤波法作为替代防御模块。
[0022]作为进一步地改进，本专利技术所述的通过集成学习方法将所获得的决策分数与可学习的自适应权重相融合，得到最终的损失函数，具体为：
[0023][0024][0025]其中，x为输入语音样本，y
t
为目标标签，A
M
为用于限制对抗扰动δ和声学掩蔽音M的掩蔽函数，为带有替代防御模块F
i
并以超参数β
i
设置的声纹识别系统所相应的损失函数，w
i
为集成各声纹识别系统的可学习权重因子。
[0026]作为进一步地改进，本专利技术所述的通过投影梯度下降算法和所得到的损失函数进行一定次数的迭代反复上述优化过程生成最终的语音对抗样本，具体为：
[0027]1)将所选声学掩蔽音对初始对抗扰动进行掩蔽后，与原始音频结合得到对抗样本然后同时输入到多个带有不同防御模块F
i
的声纹识别系统中，得到相应的目标分数并且引入置信度κ用以确保得分足够超过预设阈值θ
i
从而被成功识别为目标用户y
t
，因此对每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对声纹识别防御模块的对抗样本构造方法，其特征在于，包括如下步骤：获得初始对抗扰动、原始音频和声学掩蔽音集；从声学掩蔽音集中选择一个能使听感失真度降到最低的声学掩蔽音，并和获得的初始对抗扰动与原始音频结合计算出对抗样本；设置多种替代防御模块类型、超参数获得多个带有不同替代防御模块的声纹识别系统；通过多种带有不同替代防御模块的声纹识别系统和获得的对抗样本进一步计算出各自的决策分数；通过集成学习方法将所获得的决策分数与可学习的自适应权重相融合，得到最终的损失函数；通过投影梯度下降算法和所得到的损失函数进行一定次数的迭代反复上述优化过程生成最终的语音对抗样本。2.根据权利要求1所述的针对声纹识别防御模块的对抗样本构造方法，其特征在于，所述的从声学掩蔽音集中选择一个能使听感失真度降到最低的声学掩蔽音，并和获得的初始对抗扰动与原始音频结合计算出对抗样本，具体为：1)通过预先观察多种不同掩蔽音各自的时频谱，并通过计算各自的PESQ来表征其掩蔽能力，从而提出一个评价指标其中F(j)是所选掩蔽音对应的第j个频率区间，K是频率区间的总数，M(i,j)是该掩蔽音相应的过滤时频谱；2)M
‑
Sup的取值范围是0
‑
1，数值越大代表掩蔽能力越强，从而通过计算比较不同掩蔽音其各自的M
‑
Sup指标，选择具有最强掩蔽能力的声学掩蔽音；3)给定SNR r1，计算出缩放因子并根据对抗扰动幅度A
δ
和所选声学掩蔽音的幅度A
M
计算出经过缩放的对抗扰动4)根据缩放因子得到经过缩放后的声学掩蔽音给定原始音频x和SNR r2，并按照上述相同过程得到对抗样本其中A
r
(i,j)用于实现掩蔽效果的函数，其在给定SNR r的情况下将音频j插入音频i，得到经过掩蔽过后的音频3.根据权利要求1所述的针对声纹识别防御模块的对抗样本构造方法，其特征在于，所述的设置多种替代防御模块类型、超参数获得多个带有不同替代防御模块的声纹识别系统，具体为：1)基于免训练和即插即用的简易特性，主要考虑基于信号处理的防御方法作为声纹识别系统的防御模块，所述的防御方法分为三大类：将振幅很小的扰动直接破坏、过滤位于高低频段的对抗扰动、滤除低于听阈曲线的对抗扰动；2)通过预先观察每种防御模块自身的超参数数值与其防御强度的关系，并通过观察其对声纹识别模型本身性能的影响，找到每种防御模块的超参数临界点设置，最终输出多种带有不同替代防御模块(F0,β0),
…

【专利技术属性】
技术研发人员：卢立，傅康，陈钱牛，陈锰，巴钟杰，林峰，任奎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：