一种基于多模态的深度学习信号个体识别模型防御方法技术

一种基于多模态的深度学习信号个体识别模型防御方法，包括以下步骤：S1：将原始数据集按比例分为训练集和测试集，并生成时域和频域两个信号域的多模态数据；S2：利用归一化后的两组模态数据，对多模态输入卷积神经网络模型进行训练，完成模型训练并得到模型对于测试集的个体识别分类准确率；S3：对原始信号攻击生成对抗样本，并利用对抗样本生成实部和虚部及短时傅里叶变换的两组多模态对抗样本。利用多模态对抗样本及训练所得模型，测试模型的攻击成功率，评价信号多模态输入个体识别模型的防御性能。所搭建的多模态输入的卷积神经网络模型相较于原始时域数据所训练的模型在提高个体识别分类性能的同时，大大增强了模型的防御性能。性能。性能。

【技术实现步骤摘要】
Adversarial Attacks in Automatic Modulation Classification,”IEEE Transactions and Cognitive Communication and Network,vol.8,no.1.Mar.2022,即R.Sahay,C.G.Brinton and D.J.Love,“一种基于深度集成的无线接收器架构”IEEE Transactions and Cognitive Communication and Network,vol.8,no.1.Mar.2022.)，对于信号时域的攻击，在时域信息转化为频域信息的过程中，攻击效果会大大降低，即对信号的攻击在信号域之间是不可迁移的。这引导我们使用不同信号域的多模态信息以强化个体识别分类模型的防御性能。
[0005]多模态信息是映射真实个体或现象的一组信息，由于不同的模态包含了丰富且互补的信息，因此具有取代传统单模态信息的趋势。近些年来，多模态方法在生物医学成像领域的成功应用为医学应用带来了独特的价值。基于多模态信息的模式识别也开始应用于信号领域(参考文献[6]:P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的深度学习信号个体识别模型防御方法，其特征在于：包括如下步骤：S1：将个体射频信号数据集按一定比例分为训练集和测试集，训练集用于训练模型，测试集用于测试训练所得模型的个体识别精度；利用原信号生成信号的实部和虚部及短时傅里叶变换的两组多模态数据，其中前者为信号时域的模态，后者为信号频域的模态，两者属于不同的信号域；S2：将生成所得的两组模态数据进行归一化处理，输入所搭建的适合于多模态输入的卷积神经网络模型进行训练，完成模型训练并得到模型对于测试集的个体识别分类准确率；S3：对原始信号进行攻击，生成对抗样本，并利用对抗样本生成实部和虚部及短时傅里叶变换的两组多模态对抗样本数据；利用多模态对抗样本数据及训练所得模型，测试模型的攻击成功率，评价信号多模态输入个体识别模型的防御性能。2.根据权利要求1所述的基于多模态的深度学习信号个体识别模型防御方法，其特征在于：所述步骤S1包含以下内容：S1.1：生成个体射频信号的实部和虚部这一属于时域的模态数据；提取信号每个采样点复数数值的实部和虚部数据，其中复数数值的实部定义为I
n
(n＝0,1,2,...,N
‑
1)，复数数值的虚部定义为Q
n
(n＝0,1,2,...,N
‑
1),N为每一条信号数据的采样点个数；S1.2：生成个体射频信号的短时傅里叶变化这一属于频域模态的数据；计算个体射频信号的短时傅里叶变换，由：3.根据权利要求1或2所述的基于多模态的深度学习信号个体识别模型防御方法，其特征在于：所述步骤S2包含以下内容：S2.1...

【专利技术属性】
技术研发人员：宣琦，凌书扬，陈芝昊，陈壮志，徐东伟，杨小牛，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：