一种基于Swin-Transformer的短波协议信号自动识别方法技术

本发明专利技术提供了一种基于Swin

【技术实现步骤摘要】
Swin
‑ꢀ
Transformer模块通过对输入特征图划分为多个窗口，在每个窗口内进行计算达到减小计算量的目的，Shift Window Swin
‑
Transformer 模块对Window Swin
‑
Transformer模块输出的特征图进行滑动窗口操作，增加窗口间的信息交互，实现对全局特征的建模。
[0014]进一步地，所述步骤S3具体包括：
[0015]步骤3.1：初始化Swin
‑
Transformer神经网络模型参数；
[0016]步骤3.2：通过Swin
‑
Transformer模块学习单个时频图样本的特征；
[0017]步骤3.3：通过Softmax分类器对学习到的特征进行分类；
[0018]步骤3.4：根据分类器输出结果与样本真实标签之间的差值计算交叉熵，通过更新最小化交叉熵获得梯度，反向传播梯度更新模型参数；
[0019]步骤3.5：对每一次迭代的所有输入样本执行步骤3.2至3.4，直到达到设定的迭代次数；
[0020]优选地，所述的步骤3.2具体包括：
[0021]两种Swin
‑
Transformer模块对输入的时频图样本进行特征学习， Swin
‑
Transformer模块的具体计算如下：
[0022]假定输入序列长度为L，batch size大小为B，则Transformer Encoder的输入张量可以表示为M首先经过Input Embedding 映射为一个d
x
维的embedding，然后再与位置编码相加即可得到 Transformer Block的输入这里的位置编码既可以采用正弦形式，也可以设为通过学习得到的参数。每个Transformer模块都由多头注意力(Multi
‑
Head Self
‑
Attention,MSA)模块和两层的前馈网络组成。其中MSA和FFN的输入输出都采用残差连接的方式，输出还需要经过Layer Normal，整个Transformer Block的过程可以表示为：
[0023]O
A
＝I+LayerNormal(MSA(I))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0024]O＝O
A
+LayerNormal(F2(ReLu(F1(O
A
)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0025]其中O
A
为MSA的输出，O为Transformer模块的输出，F1,F2分别代表前馈网络的第一层和第二层，其形式为F1＝W1x+b1，F2＝W2x+b2。W1、 W1、b1、b2分别为前馈网络权重参数。
[0026]Swin
‑
Transformer模块中，MSA的计算公式为：
[0027]Y＝Concat(A1,A2,
…
,A
h
)W
O
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0028][0029][0030]其中，Y为Multi
‑
Head Self
‑
Attention的输出，Q是查询矩阵，K 是关键字矩阵，V是值矩阵，是查询矩阵第i个Self
‑
Attention
ꢀ“
头”的权重矩阵，是关键字矩阵第i个Self
‑
Attention“头”的权重矩阵，是值矩阵第i个Self
‑
Attention“头”的权重矩阵。
[0031]优选地，所述的步骤3.4具体包括：
[0032]所述交叉熵损失函数J(W,b)为：
[0033][0034][0035]其中，p
i
为softmax函数对全连接层中第i类样本归一化的概率输出，C为类别数量，x
i
为前馈网络对第i类样本的输出值，x
j
为全连接层对第j类样本的输出值，y为样本标签向量，y
i
为样本标签向量中的第i类分量，若一个样本的真实标签为第i类，则y
i
＝1，否则等于0。
[0036]进一步地，所述步骤S4具体包括：
[0037]收敛模型的softmax层输出的类别预测向量中最大值的下标即为待识别短波协议信号的所属类别的预测标签，通过标签与真实协议名的映射关系即可预测得待识别信号的所属协议。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术实施例提供的一种基于Swin
‑
Transformer的短波协议信号自动识别方法流程示意图；
[0040]图2是本专利技术Transformer模块架构图；
[0041]图3是本专利技术设计的基于Swin
‑
Transformer的模型架构图；
[0042]图4是本专利技术实施的在高斯信道下，九种短波协议信号识别率随信噪比变化关系图；
[0043]图5是本专利技术实施在存在强干扰情况下，九种短波协议信号识别率随信噪比变化关系图；
[0044]图6是本专利技术实施例在短波Watterson信道下，九种短波协议信号识别率随信噪比变化关系图；
具体实施方式
[0045]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0046]一种基于Swin
‑
Transformer的短波协议信号自动识别方法，包括：
[0047]步骤S1：建立短波协议信号时频图数据集；
[0048]步骤S2：设计基于Swin
‑
Transformer的短波协议信号自动识别模型，并使用建立的时频图训练集进行训练；
[0049]步骤S3：使用训练完成的神经网络模型对测试集的信号进行识别；
[0050]步骤S4：将待识别短波协议信号的时频图输入至训练后的神经网络模型中得到识别结果；
[0051]具体地，步骤S1包括：
[0052]A.建立训练集
[0053]首先，在高斯白噪声环境下仿真得到待识别信号的九种信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Swin
‑
Transformer的短波协议信号自动识别方法，其特征在于，所述方法包括：步骤S1：对待识别短波信号进行预处理，构建信号时频图数据集；步骤S2：设计基于Swin
‑
Transformer的短波协议信号自动识别神经网络模型；步骤S3：使用预处理后的时频图数据集对神经网络模型进行训练至收敛；步骤S4：将待识别短波协议信号的时频图输入至训练后的神经网络模型中得到识别结果。2.根据权利要求1所述的基于Swin
‑
Transformer的短波协议信号自动识别方法，其特征在于，所述步骤S1具体包括：首先，对待识别信号的九种信号样本添加高斯白噪声，其中信噪比SNR范围为
‑
10～10dB，其次，对仿真信号随机截取0.5s～5s随机长度的子序列，最后对截取信号做短时傅里叶变换得到其灰度时频图，每种信号产生500个时频图样本来组成训练集。3.根据权利要求1所述的基于Swin
‑
Transformer的短波协议信号自动识别方法，其特征在于，所述步骤S2具体包括：所设计的基于Swin
‑
Transformer的神经网络模型主要分为四个阶段，每个阶段分别由2、2、6、2个Swin
‑
Transformer模块组成，其中Swin
‑
Transformer模块分为两种，为Window Swin
‑
Transformer模块以及Shift Window Swin
‑
Transformer模块，Window Swin
‑
Transformer模块通过对输入特征图划分为多个窗口，在每个窗口内进行计算达到减小计算量的目的，Shift Window Swin
‑
Transformer模块对Window Swin
‑
Transformer模块输出的特征图进行滑动窗口操作，增加窗口间的信息交互，实现对全局特征的建模。4.根据权利要求1所述的基于Swin
‑
Transformer的短波协议信号自动识别方法，其特征在于，所述步骤S3具体包括：步骤3.1：初始化Swin
‑
Transformer神经网络模型参数；步骤3.2：通过Swin
‑
Transformer模块学习单个时频图样本的特征；步骤3.3：通过Softmax分类器对学习到的特征进行分类；步骤3.4：根据分类器输出结果与样本真实标签之间的差值计算交叉熵，通过更新最小化交叉熵获得梯度，反向传播梯度更新模型参数；步骤3.5：对每一次迭代的所有输入样本执行步骤3.2至3.4，直到达到设定的迭代次数。5.根据权利要求4所述的基于Swin
‑
Transformer的短波协议信号自动识别的方法，其特征在于，所述的步骤3.2具体包括：两种Swin
‑
Transformer模块对输入的时频图样本进行特征学习，Swin
‑
Transformer模块的具体计算如下：假定输入序列长度为L，batch size大小为B，则Transformer Encoder的输入张量可以表示为M首先经过...

【专利技术属性】
技术研发人员：朱政宇，陈鹏飞，赵航冉，林宇，王家政，梁静，巩克现，王忠勇，王梓晅，
申请(专利权)人：郑州大学，
类型：发明
国别省市：