System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种对语音内容进行增强的对抗性攻击方法、装置和系统制造方法及图纸_技高网

一种对语音内容进行增强的对抗性攻击方法、装置和系统制造方法及图纸

技术编号:40989858 阅读:4 留言:0更新日期:2024-04-18 21:32
本申请提供一种对语音内容进行增强的对抗性攻击方法、装置和系统,包括:将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音;将所述对抗性攻击语音输入至预训练的语音增强模型中,获得降噪后语音;基于语音识别系统对所述降噪后语音进行语音识别,获得所述降噪后语音对应的语音语义,其中,识别后获得的所述语音语义与所述待识别的语音语义不同,与所述对抗性攻击语音语义相同。本申请通过在增强之前对待识别语音进行对抗性攻击,保护了语音内容,提高了数据的安全性。

【技术实现步骤摘要】

本申请涉及语音识别,尤其涉及一种对语音内容进行增强的对抗性攻击方法、装置和系统


技术介绍

1、得益于移动通信的普及以及通讯和会议系统的需求,语音增强技术得到了快速发展。语音增强旨在去除含噪信号中的噪声,提高信噪比,减少失真改善语音质量,从而提高语音识别的准确度。但是在部分需要确保数据安全的场景中,不希望将语音的内容被系统识别到,此时语音增强系统的存在容易泄露语音信息,比如被不同的设备录下来或者在语音增强后被人恶意提取。其中的私密内容可能会泄露。为了保护语音数据的安全,旨在通过改变语音中的内容,保护说话内容的信息。

2、现有的方法通过对语音识别系统进行对抗性攻击以改变其识别结果。然而,现有技术中的语音增强模型在去除噪声的同时,还会将对抗性攻击的效果直接去除,即去噪过程可以使对抗性示例对语音识别系统的攻击无效。因此,针对语音识别系统的对抗性示例在被语音增强去噪后可能不起作用。因此,亟需一种方法,以实现对语音内容进行数据保护的目的。


技术实现思路

1、有鉴于此,本申请提供一种对语音内容进行增强的对抗性攻击方法、装置和系统,用以实现对语音内容进行数据保护的目的。

2、具体地,本申请是通过如下技术方案实现的:

3、本申请第一方面提供一种对语音内容进行增强的对抗性攻击方法,所述方法包括:

4、将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音;

5、其中,所述待识别的语音至少包括待识别实际语音和待识别噪声语音,所述对抗性攻击语音至少包括对抗性攻击实际语音和对抗性攻击噪声语音,所述待识别噪声语音和所述对抗性攻击噪声语音相同,所述对抗性攻击语音与所述待识别的语音的语义相似度小于第一相似阈值,且大于第二相似阈值,所述第二相似阈值小于所述第一相似阈值;

6、将所述对抗性攻击语音输入至预训练的语音增强模型中,获得降噪后语音,所述预训练的语音增强模型用于对输入语音进行噪音去除处理,获得输入语音中的实际语音;

7、基于语音识别系统对所述降噪后语音进行语音识别,获得所述降噪后语音对应的语音语义,其中,识别后获得的所述语音语义与所述待识别的语音语义不同,与所述对抗性攻击语音语义相同。

8、本申请第二方面提供一种对语音内容进行增强的对抗性攻击装置,所述装置包括:

9、攻击模块,用于将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音;

10、其中,所述待识别的语音至少包括待识别实际语音和待识别噪声语音,所述对抗性攻击语音至少包括对抗性攻击实际语音和对抗性攻击噪声语音,所述待识别噪声语音和所述对抗性攻击噪声语音相同,所述对抗性攻击语音与所述待识别的语音的语义相似度小于第一相似阈值,且大于第二相似阈值,所述第二相似阈值小于所述第一相似阈值;

11、增强模块,用于将所述对抗性攻击语音输入至预训练的语音增强模型中,获得降噪后语音,所述预训练的语音增强模型用于对输入语音进行噪音去除处理,获得输入语音中的实际语音;

12、识别模块,用于基于语音识别系统对所述降噪后语音进行语音识别,获得所述降噪后语音对应的语音语义,其中,识别后获得的所述语音语义与所述待识别的语音语义不同,与所述对抗性攻击语音语义相同。

13、本申请第三方面提供一种对语音内容进行增强的对抗性攻击系统,所述系统至少包括依次连接的:对抗性攻击模型、预训练的语音增强模型和语音识别系统,所述系统用于识别输入所述系统的待识别的语音的语义内容;

14、所述对抗性攻击模型用于对抗攻击所述待识别的语音,获得待识别的语音对应的对抗性攻击语音;

15、其中,所述待识别的语音至少包括待识别实际语音和待识别噪声语音,所述对抗性攻击语音至少包括对抗性攻击实际语音和对抗性攻击噪声语音,所述待识别噪声语音和所述对抗性攻击噪声语音相同,所述对抗性攻击语音与所述待识别的语音的语义相似度小于第一相似阈值,且大于第二相似阈值,所述第二相似阈值小于所述第一相似阈值;

16、所述预训练的语音增强模型用于将所述对抗性攻击语音进行降噪处理,获得降噪后语音;

17、所述语音识别系统用于对所述降噪后语音进行语音识别,获得所述降噪后语音对应的语音语义,其中,识别后获得的所述语音语义与所述待识别的语音语义不同,与所述对抗性攻击语音语义相同。

18、本申请提供的对语音内容进行增强的对抗性攻击方法、装置和系统,将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音;其中,所述待识别的语音至少包括待识别实际语音和待识别噪声语音,所述对抗性攻击语音至少包括对抗性攻击实际语音和对抗性攻击噪声语音,所述待识别噪声语音和所述对抗性攻击噪声语音相同,所述对抗性攻击语音与所述待识别的语音的语义相似度小于第一相似阈值,且大于第二相似阈值,所述第二相似阈值小于所述第一相似阈值;将所述对抗性攻击语音输入至预训练的语音增强模型中,获得降噪后语音,所述预训练的语音增强模型用于对输入语音进行噪音去除处理,获得输入语音中的实际语音;基于语音识别系统对所述降噪后语音进行语音识别,获得所述降噪后语音对应的语音语义,其中,识别后获得的所述语音语义与所述待识别的语音语义不同,与所述对抗性攻击语音语义相同。在原始的整个语音识别过程中,即语音增强、语音识别过程中,在语音增强之前加入针对语音的对抗性攻击过程,直接改变语音增强步骤的输入语音的语义内容,从而使得语音增强系统无法识别出对应的攻击,进而提高了对语音识别攻击的成功率,提高了对输入语音的数据保护。

本文档来自技高网...

【技术保护点】

1.一种对语音内容进行增强的对抗性攻击方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音,具体包括:

3.根据权利要求1所述的方法,其特征在于,所述将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音,具体包括:

4.根据权利要求1所述的方法,其特征在于,所述将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音,具体包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述对抗性攻击模型的参数优化目标函数最优化计算所述对抗性攻击模型的参数,具体包括:

6.根据权利要求3所述的方法,其特征在于,所述改变所述待识别实际语音序列的语义内容,获得第一音频序列,包括:

7.根据权利要求1所述的方法,其特征在于,所述预训练的语音增强模型为CMGAN模型;

8.根据权利要求7所述的方法,其特征在于,各个所述第一语音样本中混合噪声的噪声类型不完全相同,所述噪声类型至少包括第一类型和第二类型,第一类型的噪声与无噪声的输出语音样本频带差距小于第一阈值,第二类型的噪声与无噪声的输出语音样本频带差距大于等于第一阈值。

9.一种对语音内容进行增强的对抗性攻击装置,其特征在于,所述装置包括:

10.一种对语音内容进行增强的对抗性攻击系统,其特征在于,所述系统至少包括依次连接的:对抗性攻击模型、预训练的语音增强模型和语音识别系统,所述系统用于识别输入所述系统的待识别的语音的语义内容;

...

【技术特征摘要】

1.一种对语音内容进行增强的对抗性攻击方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音,具体包括:

3.根据权利要求1所述的方法,其特征在于,所述将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音,具体包括:

4.根据权利要求1所述的方法,其特征在于,所述将待识别的语音输入对抗性攻击模型中,获得待识别的语音对应的对抗性攻击语音,具体包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述对抗性攻击模型的参数优化目标函数最优化计算所述对抗性攻击模型的参数,具体包括:

6.根据权利要求3所述的方法,其特征在于,所述改变所...

【专利技术属性】
技术研发人员:周若华曹承宇
申请(专利权)人:北京建筑大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1