数据处理方法、相关装置及存储介质制造方法及图纸

本申请实施例涉及情绪识别领域，提供一种数据处理方法、相关装置及存储介质，该方法包括：获取多模态候选对抗向量；其中，所述多模态候选对抗向量基于多模态数据和多模态候选扰动，在特征融合阶段或决策融合阶段得到；所述多模态数据包括情绪语义相同的多个单一模态数据，所述多个单一模态数据包括文本数据、图像数据和语音数据；基于所述多模态候选对抗向量获取目标情绪的预测概率值；若所述预测概率值不大于预设阈值，则更新所述多模态候选扰动；基于更新的多模态候选扰动，获取更新的多模态候选对抗向量，直至预测概率值大于所述预设阈值，并将此时的多模态候选扰动作为目标扰动。本申请实施例实现多模态情绪识别模型的对抗攻击。抗攻击。抗攻击。

【技术实现步骤摘要】
数据处理方法、相关装置及存储介质


[0001]本申请实施例涉及情绪识别领域，更具体地涉及一种数据处理方法、相关装置及存储介质。

技术介绍

[0002]对抗攻击研究如何针对深度学习模型生成对抗样本，对抗样本可以输入深度学习模型，基于深度学习模型对对抗样本的识别结果可以确定模型是否安全。这有助于及时发现深度学习模型的脆弱性，评估深度学习模型的鲁棒性。一些对抗攻击方法在数字世界中生成添加较小对抗扰动的对抗图像，无法被深度学习模型正确识别或将其识别为指定的标签。
[0003]多模态情绪识别通过分析语音信号、视觉信号和生理信号来识别人的情感状态，利用多通道情绪信息之间的互补性来提高情绪识别的准确率。例如，人们在高兴时说话节奏欢快，表现在说话的音调和语速上，同时面部会微笑，眯眼，此时语音和表情同时表达出高兴的情感状态；当一个人难过时，往往不会怎么说话，情感识别难以单靠语音单模态信息，难过体现在表情上往往伴随着面部嘴角下垂、皱眉等。由于多模态情绪识别利用多通道情绪信息之间的互补性来提高情绪识别的准确率，即模型鲁棒性较高，现有技术中没有行之有效的针对其进行对抗攻击的方式。如何衡量多模态情绪识别模型的安全性，挖掘其缺陷成为亟待解决的一个问题。

技术实现思路

[0004]本申请实施例提供一种数据处理方法、相关装置及存储介质,可以基于多模态数据，在特征融合或决策融合阶段，迭代更新多模态候选对抗向量，从而生成可以实现对抗攻击目标的目标扰动，切实有效的实现多模态情绪识别模型的对抗攻击，从而对模型进行安全性测试和缺陷挖掘。
[0005]第一方面，本申请实施例提供一种数据处理方法，该方法包括：
[0006]获取多模态候选对抗向量；其中，所述多模态候选对抗向量基于多模态数据和多模态候选扰动，在特征融合阶段或决策融合阶段得到；所述多模态数据包括情绪语义相同的多个单一模态数据，所述多个单一模态数据包括文本数据、图像数据和语音数据；
[0007]基于所述多模态候选对抗向量获取目标情绪的预测概率值；
[0008]若所述预测概率值不大于预设阈值，则更新所述多模态候选扰动；
[0009]基于更新的多模态候选扰动，获取更新的多模态候选对抗向量，直至预测概率值大于所述预设阈值，并将预测概率值大于所述预设阈值时的多模态候选扰动作为目标扰动。
[0010]第二方面，本申请实施例提供一种数据处理装置，具有实现对应于上述第一方面提供的数据处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或
硬件。
[0011]在一个实施方式中，所述数据处理装置包括：
[0012]输入输出模块，被配置为获取多模态数据；
[0013]处理模块，被配置为获取多模态候选对抗向量；其中，所述多模态候选对抗向量基于多模态数据和多模态候选扰动，在特征融合阶段或决策融合阶段得到；所述多模态数据包括情绪语义相同的多个单一模态数据，所述多个单一模态数据包括文本数据、图像数据和语音数据；
[0014]所述处理模块，还被配置为基于所述多模态候选对抗向量获取目标情绪的预测概率值；以及若所述预测概率值不大于预设阈值，则更新所述多模态候选扰动；
[0015]所述处理模块，还被配置为基于更新的多模态候选扰动，获取更新的多模态候选对抗向量，直至预测概率值大于所述预设阈值，并将预测概率值大于所述预设阈值时的多模态候选扰动作为目标扰动。
[0016]第三方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的数据处理方法。
[0017]第四方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的数据处理方法。
[0018]相较于现有技术，本申请实施例中，将多模态候选扰动与多模态数据在特征融合或决策融合阶段融合，得到多模态候选对抗向量，然后基于所述多模态候选对抗向量得到目标情绪的预测概率值，最后基于所述目标情绪的预测概率值确定是否得到符合预设要求的目标扰动。若所述预测概率值不大于预设阈值，则迭代更新所述多模态候选扰动，直至得到目标扰动。相较于现有技术，由于本申请实施例中提出了用于在特征融合或决策融合环节与相关数据融合的多模态候选扰动，而不是直接与多模态数据融合，即本申请实施例相当于在多模态情绪识别的两个关键环节直接实施对抗攻击，而不是在原始输入上进行扰动，通过模型处理得到包括对抗信息的特征，间接进行对抗攻击。因此，本申请实施例得到的目标扰动的攻击效果更加显著。另外，由于本申请实施例生成目标扰动可以与特征向量或决策向量结合，生成能够被识别为目标情绪的融合向量形式的多模态候选对抗向量；因此，在一些实施例中，可以基于所述目标扰动进行反向解码，生成可以输入多模态识别模型的对抗样本；即可以将所述对抗样本输入第三方的模型，进行黑盒模型的安全性测试和缺陷挖掘，提高本申请实施例的目标扰动的利用率。
附图说明
[0019]通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：
[0020]图1为本申请实施例中数据处理方法的一种数据处理系统示意图；
[0021]图2为本申请实施例的数据处理方法的一种流程示意图；
[0022]图3为本申请实施例的数据处理方法的一种基于更新候选扰动生成目标扰动的流程示意图；
[0023]图4为本申请实施例的数据处理方法的一种获取多模态候选对抗向量的流程示意
图；
[0024]图5为本申请实施例的数据处理方法的一种获取各个单一模态的候选对抗向量的流程示意图；
[0025]图6为本申请实施例的数据处理方法的又一种获取各个单一模态的候选对抗向量的流程示意图；
[0026]图7为本申请实施例的数据处理方法的一种基于一个单一模态的情绪识别结果得到预测向量的流程示意图；
[0027]图8为本申请实施例的数据处理方法的一种基于一个单一模态数据得到候选对抗向量的数据变化示意图；
[0028]图9为本申请实施例的数据处理方法的一种获取目标多模态对抗样本的流程示意图；
[0029]图10为本申请实施例的数据处理装置的结构示意图；
[0030]图11为本申请实施例的计算设备的一种结构示意图；
[0031]图12为本申请实施例中手机的一种结构示意图；
[0032]图13为本申请实施例中服务器的一种结构示意图。
[0033]在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0034]本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，所述方法包括：获取多模态候选对抗向量；其中，所述多模态候选对抗向量基于多模态数据和多模态候选扰动，在特征融合阶段或决策融合阶段得到；所述多模态数据包括情绪语义相同的多个单一模态数据，所述多个单一模态数据包括文本数据、图像数据和语音数据；基于所述多模态候选对抗向量获取目标情绪的预测概率值；若所述预测概率值不大于预设阈值，则更新所述多模态候选扰动；基于更新的多模态候选扰动，获取更新的多模态候选对抗向量，直至预测概率值大于所述预设阈值，并将预测概率值大于所述预设阈值时的多模态候选扰动作为目标扰动。2.如权利要求1所述的方法，其中，所述获取多模态候选对抗向量，包括：基于所述多模态数据，分别获取各个单一模态数据的特征；根据所述多模态候选扰动分别获取各个单一模态数据的候选扰动，其中，所述特征与所述候选扰动一一对应；在特征融合与决策融合中至少一个阶段，将各个特征与各个候选扰动分别对应拼接，得到各个单一模态的候选对抗向量；组合各个单一模态的候选对抗向量，得到所述多模态候选对抗向量。3.如权利要求2所述的方法，其中，所述多模态候选扰动包括各个单一模态的特征候选扰动和决策候选扰动；在特征融合与决策融合中至少一个阶段，将各个特征与各个候选扰动分别对应拼接，得到各个单一模态的候选对抗向量，包括：在特征融合阶段，将各个特征与各个特征候选扰动分别对应融合，得到各个单一模态的组合特征对抗向量；其中，所述特征与所述特征候选扰动一一对应；在决策融合阶段，将各个组合特征对抗向量与各个决策候选扰动分别对应融合，得到各个单一模态的候选对抗向量；其中，所述组合特征对抗向量与所述决策候选扰动一一对应。4.如权利要求3所述的方法，其中，将各个组合特征对抗向量与各个决策候选扰动分别对应融合，得到各个单一模态的候选对抗向量，包括：基于各个单一模态的组合特征对抗向量，分别获取各个单一模态的混淆矩阵和预测向量；其中，一个单一模态的混淆矩阵，包括该单一模态的组合特征对抗向量的多个情绪预测概率值；所述混淆矩阵、所述预测向量与所述组合特征对抗向量一一对应；将各个单一模态的混淆矩阵的对角线矩阵元素分别进行归一化，得到各个单一模态的预测向量的权重值，所述权重值与所述预测向量一一对应；根据各个权重值对各个预测向量分别进行加权融合，得到各个单一模态的融合向量；将各个单一模态的融合向量与各个决策候选扰动分别对应融合，得到各个单一模态的候选对抗向量。5.如权利要求4所述的方法，其中，...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：