一种基于注意力机制与残差结构的联合调制识别方法技术

本发明专利技术涉及无线通信技术领域，尤其涉及一种基于注意力机制与残差结构的联合调制识别方法，针对现有技术中存在低信噪比条件下识别准确率过低、复杂度太高、相同条件下乘加次数多、网络可训练参数数量庞大等问题，现提出如下方案，包括以下步骤：步骤A:对于接收的待识别信号类型，利用特征值分解估计出信号子空间维度从而估计出接收信号的信噪比；本发明专利技术的目的是通过DeepSig开源数据集RadioML2018.01A的大量数据实验，验证了联合结构的识别有效性，低信噪比区间的识别准确率得到显著提高，高信噪比区间的识别率得到提升，通过网络可训练参数数量以及推理时间的仿真，验证得到BoTAMCNet具有相对较低的复杂度。BoTAMCNet具有相对较低的复杂度。BoTAMCNet具有相对较低的复杂度。

【技术实现步骤摘要】
一种基于注意力机制与残差结构的联合调制识别方法


[0001]本专利技术属于无线通信
，特别涉及一种基于注意力机制与残差结构的联合调制识别方法。

技术介绍

[0002]经典信噪比盲估计算法，通过构造接收信号的自协方差矩阵并作特征值分解得到矩阵的特征值，利用最小描述长度准则，英文原称Minimum Description Length，缩写MDL，估计信号子空间的维度从而估计信噪比。
[0003]多头自注意力机制，英文原称Multi
‑
Head Self Attention，缩写为MHSA，其主要思想是：无需任何卷积层或递归层，通过编码器
‑
解码器的模型实现，由注意力层判断输入序列不同部分在编码过程中每个位置上的注意力权重，再以权重和的形式来计算得到此部分的隐含向量表示。自注意力机制的优点是更加容易捕获句子中中长距离的相互依赖的特征，且对于增加计算的并行性也有直接帮助作用。
[0004]残差结构，英文原称Residual Network，缩写为ResNet，其主要思想是：为了解决深层网络中的退化问题，使用一种shortcut的连接方式，让特征矩阵隔层相加，弱化每层之间的强联系。通过对数据的预处理，使用更深的网络结构，残差模块，利用Batch Normalization加速训练。被证明，随着利用残差结构不断加深网络，不仅解决了网络的退化问题，而且网络的整体效果也有所提升。
[0005]深度可分离卷积，英文原称Deep Separable Convolution，缩写为DSC，其主要思想是：首先利用深度卷积层对输入的每个通道进行单独卷积运算，其次利用点卷积层对所有通道进行融合。深度卷积核是单通道的且卷积核个数等于输入的通道数，对于每个通道仅使用一个深度卷积核进行滤波。依次完成单通道滤波及多通道融合可以获得相同的输出维度。它的优点是与常用的标准卷积相比，在相同条件设置下DSC运算的乘加次数以及网络可训练参数数量与标准卷积相比有了显著减少，复杂度显著降低，会加速模型的前向推理。
[0006]全局深度卷积特征重构算法，英文原称Global Depthwise Convolution，缩写为GDWConv，其主要思想是：通过学习不同位置的特征重要性，经过ReLU激活函数和偏置项增强重构特征的分类能力。其本质是一个深度卷积层，卷积核维度等同于输入特征图大小。其优点是可以体现出特征图中单个通道内不同位置的特征的重要性差异，从而增强网络整体的分类能力，这种差异是由于传输信号的随机性与变化性导致信号样本在不同时间范围内呈现的不同特点从而产生的。
[0007]现有基于深度学习的调制识别方法取得了不错的效果，却存在复杂度太高，识别率可以进一步提升的问题，尤其存在低信噪比条件下识别准确率过低的问题，因此提出基于注意力机制与残差结构的联合调制识别方法显得十分重要。

技术实现思路

[0008]针对现有技术中存在低信噪比条件下识别准确率过低、复杂度太高、相同条件下
乘加次数多、网络可训练参数数量庞大等问题，而提出了一种基于注意力机制与残差结构的联合调制识别方法。
[0009]为了实现上述目的，本专利技术采用了如下技术方案：
[0010]一种基于注意力机制与残差结构的联合调制识别方法，包括如下步骤：
[0011]步骤A：对于接收的待识别信号类型，进行信噪比盲估计检测，利用特征值分解估计出信号子空间维度从而估计出接收信号的信噪比；
[0012]步骤B：在高信噪比区间，设计一种叠加优化的卷积神经网络BoTAMCNet，利用ResNet18的基础结构，利用深度可分离卷积代替标准卷积，利用多头自注意力(英文全称Multi
‑
Head Self Attention，缩写为MHSA)模块代替残差块中两个残差单元原有的卷积，以此来叠加残差结构用于特征提取，再利用全局深度卷积运算进行特征重构，提升特征维度；
[0013]步骤C：在低信噪比区间，设计一种Transformer架构，在Transformer Block的基础上添加不同全连接层与激活函数进行优化，利用多头自注意力机制进行识别，由注意力层判断输入序列中不同区域的重要性；
[0014]步骤D：将步骤A中通过信噪比盲估计的接收信号进行二值化分类，分为高信噪比(0dB至20dB)信号及低信噪比信号(
‑
20dB至0dB)两部分，高信噪比信号输入BoTAMCNet进行识别，低信噪比信号输入Transformer进行识别。
[0015]优选的，所述步骤A中具体包括如下步骤：
[0016]A1：构造接收信号的自协方差矩阵并进行特征值分解，提取特征值；
[0017]A2；通过最小描述长度准则估计信号子空间的维度；
[0018]A3：通过信号子空间的维度估计信号功率及噪声功率，从而估计出信噪比。
[0019]优选的，所述A1中具体包括如下：
[0020]设接收信号为y(n)，即：y(n)＝x(n)+σ(n)，构造接收信号的M阶自协方差矩阵R并分解为：
[0021][0022]其中I为M阶单位阵，为R的(M
‑
k)重特征值，R
ss
为调制信号的自相关矩阵，设其秩为d(d＜M)，对其作特征值分解得：R
ss
＝U∑U
H
，其中U为R
ss
的特征向量组成的正交矩阵，其对角元素为R
ss
的特征值。所以的对角元素为R的特征值：
[0023][0024]优选的，所述A2中具体包括如下步骤：
[0025]通过最小描述长度(Minimum Description Length，MDL)准则估计信号子空间的维度，首先定义检验函数：
[0026][0027]MDL准则通过对数似然函数与罚函数相结合，利用罚函数进行偏差修正使MDL准则具有一致性：
[0028][0029]所以信号子空间的维度可被估计为：
[0030][0031]优选的，所述A3中具体包括如下步骤：
[0032]由信号子空间的维度估计值可得出估计噪声功率为：
[0033][0034]估计信号功率为：
[0035][0036]以上估计信号功率与估计噪声功率的比值即为信噪比估计值：
[0037][0038]以上即为信噪比盲估计算法原理，在本专利技术提出的联合结构中利用此算法通过设定阈值将数据集中信噪比为
‑
20dB到0dB的24种信号数据划分到低信噪比信号，输入Transformer进行识别；数据集中0dB到20dB的24种信号数据划分到高信噪比信号，输入BoTAMCNet进行识别。
[0039]优选的，所述步骤B中具体包括如下步骤：
[0040]B1：在网络开始部署一个含有64个卷积核的标准卷积层，目的是从输入信号中提取足够的初始信息；
[0041]B2：利用深度可分离卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，包括如下步骤：步骤A:对于接收的待识别信号类型，进行信噪比盲估计检测，利用特征值分解估计出信号子空间维度从而估计出接收信号的信噪比；步骤B:在高信噪比区间，设计一种叠加优化的卷积神经网络BoTAMCNet，利用ResNet18的基础结构，利用深度可分离卷积代替标准卷积，利用多头自注意力模块代替残差块中两个残差单元原有的卷积，以此来叠加残差结构用于特征提取，再利用全局深度卷积运算进行特征重构，提升特征维度；步骤C:在低信噪比区间，设计一种Transformer架构，在Transformer Block的基础上添加不同全连接层与激活函数进行优化，利用多头自注意力机制进行识别，由注意力层判断输入序列中不同区域的重要性；步骤D:将步骤A中通过信噪比盲估计的接收信号进行二值化分类，分为高信噪比信号及低信噪比信号两部分，高信噪比信号输入BoTAMCNet进行识别，低信噪比信号输入Transformer进行识别。2.根据权利要求1所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述步骤A具体包括如下步骤：A1:构造接收信号的自协方差矩阵并进行特征值分解，提取特征值；A2:通过MDL准则估计信号子空间的维度；A3:通过信号子空间的维度估计信号功率及噪声功率，从而估计出信噪比。3.根据权利要求2所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述A1中具体包括如下：设接收信号为y(n)，即：y(n)＝x(n)+σ(n)，构造接收信号的M阶自协方差矩阵R并分解为：其中I为M阶单位阵，为R的(M
‑
k)重特征值，R
ss
为调制信号的自相关矩阵，设其秩为d(d＜M)，对其作特征值分解得：R
ss
＝U∑U
H
,其中U为R
ss
的特征向量组成的正交矩阵，其对角元素为R
ss
的特征值，所以的对角元素为R的特征值：4.根据权利要求2所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述A2中具体包括如下：通过MDL准则估计信号子空间的维度，首先定义检验函数：MDL准则通过对数似然函数与罚函数相结合，利用罚函数进行偏差修正使MDL准则具有一致性：
信号子空间的维度可被估计为：5.根据权利要求2所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述A3中具体包括如下：由信号子空间的维度估计值可得出估计噪声功率为：估计信号功率为：以上估计信号功率与估计噪声功率的比值即为信噪比估计值：以上即为信噪比盲估计算法原理，在联合结构中利用此算法通过设定阈值将数据集中信噪比为
‑
20dB到0dB的24种信号数据划分到低信噪比信号，输入Transformer进行识别；数据集中0dB到20dB的24种信号数据划分到高信噪比信号，输入BoTAMCNet进行识别。6.根据权利要求5所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述步骤B具体包括如下步骤：B1:在网络开始部署一个含有64个卷积核的标准卷积层，从输入信号中提取足够的初始信息；B2:利用深度可分离卷积引入跳越连接方法设计残差结构，多个DSC残差块串联使用；B3:在B2所设计残差结构中，利用多头自注意力模块代替最后一个残差块中两个残差单元之间原有的卷积，提取更有效的特征信息；B4:经过B2、B3的DSC运算后，利用全局深度卷积运算进行特征重构，学习不同位置的特征重要性，再经过ReLU激活函数以及偏置项来增强所重构特征的分类能力。7.根据权利要求6所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于,所述B2中具体包括如下：在特征提取部分，多个DSC残差块串联使用，在DSC残差块的开始部署一个线性1
×
1卷积对上一个残差块最大池化的输出进行通道融合，在残差块的最后部署最大池化操作降低特征维度；DSC运算过程分两步完成：第一步深度卷积层对输入的每个通道单独进行卷积运算；第二步点卷积层对所有通道进行融合，在深度卷积层中，深度卷积核是单通道的且卷积核个数等于输入的通道数，高和宽依然采用5
×
5；点卷积层是一种卷积核高和宽都为1的标准卷积层，单个卷积核大小为1
×1×
3，单个点卷积核运算的输入与输出的在高和宽维度上一致，但输出变为单通道的8
×8×
1形式。8.根据权利要求6所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述B3中具体包括如下：
在特征提取部分部署了4个DSC残差块，在第四个DSC残差块中利用MHSA模块代替原有的卷积，两个残差单元卷积后通过MHSA模块后再进行加和，最终经过最大池化；同时，在4个DSC残差块的前边和后边分别部署了一层标准卷积，前两个DSC残差块中的卷积核个数设计为32，从当前输入中提取到充足的信息进行特征提取，第一个标准卷积层与后两个DSC残差块中的卷积核个数均设计为64，即从32类特征提升至64类特征。9.根据权利要求6所述的一种基于注意力机制与残差结构的联合调制识别方法，其特征在于，所述B4中具体包括如下...

【专利技术属性】
技术研发人员：王忠勇，郑向阳，巩克现，孙鹏，陈家伟，杨晨旭，刘佳琪，
申请(专利权)人：郑州大学，
类型：发明
国别省市：