一种多模态深度学习模型脆弱性的分析方法和系统技术方案

本发明专利技术提出了一种多模态深度学习模型脆弱性的分析方法和系统，属于对抗攻击和模型鲁棒性分析领域。该方法通过生成一系列白盒的对抗样本来测试目标模型的鲁棒性，主要步骤包括：首先获取目标多模态深度学习模型及其使用的训练数据集；分别提取数据集中的视觉模态特征、文本模态特征、音频模态特征；使用提取到的数据集特征分别训练单模态本地模型；通过测试单模态本地模型的训练效果得到不同模态的对抗样本生成权重；迭代生成对抗样本：视觉模态和音频模态使用基于PGD的梯度下降方法生成扰动，自然语言文本模态使用梯度近似优化的近义词替换方法生成扰动；通过生成的一系列多模态对抗样本检验模型的攻击成功率，得到目标模型的脆弱性分析结果。的脆弱性分析结果。的脆弱性分析结果。

【技术实现步骤摘要】
一种多模态深度学习模型脆弱性的分析方法和系统


[0001]本专利技术涉及对抗攻击和模型鲁棒性分析领域，尤其涉及一种多模态深度学习模型脆弱性的分析方法和系统。

技术介绍

[0002]随着近年来深度学习相关技术的不断发展以及其在学术界和工业界的应用场景不断增多，针对多个模态数据同时进行分析的需求开始涌现，促进了多模态机器学习的发展。多模态机器学习主要用于寻找多个模态之间的关联以及同时利用多个模态的信息进行决策，最为常见的是自然语言模态，声音信号模态以及视觉信号模态等。近十年，多模态机器学习已经全面进入了深度学习时代，在多媒体文件处理、情感分析和推荐系统等任务和场景中得到广泛的应用。同时，针对神经网络鲁棒性的分析相关研究显示，任何现有的网络模型，包括多模态深度学习模型都有可能被欺骗。对抗攻击通过在输入数据上施加不易察觉的扰动等方式可以有效影响模型的输出，从而达成攻击者的攻击目标。目前在计算机视觉以及自然语言处理等领域，这一攻击模式都得到了较为充分的研究。在图片模态中，现有的研究成果可以实现在输入图片上施加噪声，使图片分类模型做出错误的决策；而在文本模态中，通过在文本中单词和字符级别的插入及替换操作，可以诱导自然语言翻译模型或者问答系统输出错误的结果。在现实任务场景中，这一攻击允许攻击者在社交媒体上绕过审核系统发布恶意言论，或者使用现实对抗样本干扰自动驾驶系统的正常运行等。这种对抗攻击不仅反映了深度学习模型的脆弱性，也一定程度上阻碍了人工智能的应用和发展。
[0003]虽然现有的针对各个单个模态的攻击方法已经日趋成熟，但是单模态的攻击方法无法同时作用于多个模态的全部输入信息，其对多模态深度学习模型的攻击效果并不可靠。而由于多模态模型相较于单模态模型的实验难度较大，且其中不同模态之间的联系缺乏可解释性，针对多模态模型的鲁棒性分析和对抗攻击方法也很少有研究者关注，造成了相关领域的研究空缺。现有的个别方法仅使用单模态的对抗样本生成方法对多模态深度学习模型进行检验，忽略了不同模态之间的关联和鲁棒性差异，具有较大的局限性，因此需要一个能同时生成多个模态对抗样本，检测多模态模型的总体鲁棒性的检测分析方法。
[0004]多模态深度学习模型在未来势必得到更多的研究和应用，因此研究多模态模型的脆弱性和对抗攻击有助于以后对增强多模态深度学习模型的鲁棒性以及防御对抗攻击的方法的研究，促进相关技术的应用和发展，是很有必要的。

技术实现思路

[0005]本专利技术针对现有研究中针对多模态深度学习模型对抗样本生成和鲁棒性分析方法的空缺，提出了一种针对多模态机器学习模型脆弱性的分析方法和系统。具体的技术方案为：
[0006]一种多模态深度学习模型脆弱性的分析方法，包含以下步骤：
[0007](1)获取目标模型M及其视觉、音频和文本三种模态的训练数据集；
[0008](2)对多模态数据集分别进行预处理和特征提取，得到视觉模态特征、声学模态特征和文本模态特征；
[0009](3)根据步骤(2)得到的视觉模态特征、声学模态特征和文本模态特征，分别训练得到对应的单模态本地模型，并根据单模态本地模型的学习效果确定不同模态下的对抗样本生成权重；
[0010](4)根据各个模态的对抗样本生成权重以及目标模型损失函数相对于各个模态输入的梯度信息，生成一系列不同模态下的对抗样本；
[0011](5)测试对抗样本的攻击成功率，得到目标模型的脆弱性分析结果。
[0012]进一步的，在模型鲁棒性的分析过程中，需要获取目标模型的完整模型信息和数据集，即步骤(1)中的目标模型M和三种模态的训练数据集D
V
,D
A
,D
T
。目标模型M一般为多模态分类模型，如情感分析模型或视频分类模型。而D
V
,D
A
,D
T
分别包含同一段视频中的图像、音频和提取的自然语言文本数据。
[0013]进一步的，在步骤(2)中，为了方便后续单模态本地模型的训练，在三个模态分别进行数据集的预处理，包含以下步骤：
[0014]针对视觉模态数据集，首先从视频中抽取关键帧，调整至统一大小，再通过预训练模型抽取视觉特征；
[0015]针对文本模态数据集，首先将文本进行分词操作，并将分词后得到的token序列转换为词向量，通过预训练的BERT模型提取词向量特征，作为文本模态特征。
[0016]针对音频模态数据集，首先经过去噪处理后通过分帧和加窗操作获取一系列含有稳定音频信号的帧信号，再分别通过快速傅里叶变换和常数Q变换，将帧信号从时域转换到频域，提取帧信号的MFCC特征和CQCC特征，拼接后作为声学模态特征。
[0017]进一步的，步骤(3)测试了单个模态相对于目标模型任务决策的重要程度，其目标是通过单模态模型的学习效果估计目标模型在对应模态的鲁棒性，并决定后续对抗样本生成过程中的权重，包括：
[0018](3
‑
1)对步骤(2)得到的视觉模态特征、声学模态特征和文本模态特征划分训练集、验证集和测试集，根据不同模态下的训练集、验证集训练对应模态下的本地模型，记为视觉模态本地模型C
V
、音频模态本地模型C
A
、文本模态本地模型C
T
；
[0019](3
‑
2)在测试集上分别测试C
V
,C
A
,C
T
的准确率；
[0020](3
‑
3)根据各模态下的本地模型准确率，确定不同模态的对抗样本生成权重。
[0021]进一步的，步骤(4)迭代生成了一系列的多模态对抗样本，其优化目标为：
[0022][0023]其中，S
t
为t次迭代后生成的对抗样本，α为每次迭代扰动的力度，sign为符号函数，θ为目标模型，L为目标模型的损失函数。
[0024]步骤(4)包括：
[0025](4
‑
1)选取待生成对抗样本的输入视频S，获取视频S的三种模态样本数据，包括视觉模态音频模态和文本模态初始时刻t＝0；
[0026](4
‑
2)视觉模态样本通过梯度下降法得到扰动后的视觉模态样本
[0027]文本模态样本随机选取一个词，通过梯度近似采样得到其近义词，进行替换后
得到扰动后的文本模态样本
[0028]音频模态样本通过梯度下降法得到扰动后的音频模态样本
[0029](4
‑
3)重复步骤(4
‑
2)，直到达到最大迭代次数，获得一系列对抗样本。
[0030]本专利技术还提出了一种多模态深度学习模型脆弱性的分析系统，用于实现上述的分析方法，所述的分析系统包含以下模块：
[0031]多模态数据集预处理模块：用于获取目标模型M及其视觉、音频和文本三种模态的训练数据集，对训练数据集进行预处理并提取出相应特征；...

【技术保护点】

【技术特征摘要】
1.一种多模态深度学习模型脆弱性的分析方法，其特征在于，包含以下步骤：(1)获取目标模型M及其视觉、音频和文本三种模态的训练数据集；(2)对多模态数据集分别进行预处理和特征提取，得到视觉模态特征、声学模态特征和文本模态特征；(3)根据步骤(2)得到的视觉模态特征、声学模态特征和文本模态特征，分别训练得到对应的单模态本地模型，并根据单模态本地模型的学习效果确定不同模态下的对抗样本生成权重；(4)根据各个模态的对抗样本生成权重以及目标模型损失函数相对于各个模态输入的梯度信息，生成一系列不同模态下的对抗样本；(5)测试对抗样本的攻击成功率，得到目标模型的脆弱性分析结果。2.根据权利要求1所述的多模态深度学习模型脆弱性的分析方法，其特征在于，所述的步骤(2)包括：针对视觉模态数据集，首先从视频中抽取关键帧，调整至统一大小，再通过预训练模型抽取视觉特征；针对文本模态数据集，首先将文本进行分词操作，并将分词后得到的token序列转换为词向量，通过预训练的BERT模型提取词向量特征，作为文本模态特征。针对音频模态数据集，首先经过去噪处理后通过分帧和加窗操作获取一系列含有稳定音频信号的帧信号，再分别通过快速傅里叶变换和常数Q变换，将帧信号从时域转换到频域，提取帧信号的MFCC特征和CQCC特征，拼接后作为声学模态特征。3.根据权利要求2所述的多模态深度学习模型脆弱性的分析方法，其特征在于，若视觉模态数据集中的主要内容为人物，则抽取关键帧并调整至统一大小后，使用人脸识别系统进行人脸捕捉，裁剪得到人脸图像，将面部标志点、面部动作单元及面部朝向特征作为视觉模态特征；若视觉模态数据集中的主要内容并非人物，则抽取关键帧并调整至统一大小后，直接采用ResNet预训练模型抽取视觉模态特征。4.根据权利要求2所述的多模态深度学习模型脆弱性的分析方法，其特征在于，声学模态特征的获取方法为：预处理：对音频数据进行预加重处理，并将处理后的音频进行分帧、加窗，得到预处理后的音频数据；分支处理：对预处理后的音频数据进行快速傅里叶变换，对快速傅里叶变换后的数据进行滤波和对数功率操作；在快速傅里叶变换的同时，对预处理后的音频数据进行常数Q变换，对常数Q变换后的数据进行对数功率操作并均匀重采样；将分支处理后得到的两种频域信号的功率信号进行离散余弦变换，分别得到MFCC特征和CQCC特征，拼接后作为声学模态特征。5.根据权利要求1所述的多模态深度学习模型脆弱性的分析方法，其特征在于，所述的步骤(3)包括：(3
‑
1)对步骤(2)得到的视觉模态特征、声学模态特征和文本模态特征划分训练集、验证集和测试集，根据不同模态下的训练集、验证集训练对应模态下的本地模型，记为视觉模态本地模型C
V
、音频模态本地模型C
A
、文本模态本地模型C
T
；(3
‑
2)在测试集上分别测试C
V
,C
A
,C
T
的准确率；
(3
‑
3)...

【专利技术属性】
技术研发人员：纪守领，李泽宇，张旭鸿，陈建海，
申请(专利权)人：尚蝉浙江科技有限公司，
类型：发明
国别省市：