Laplace噪声下基于Transformer-DNN混合网络的多用户频谱感知方法技术

本发明专利技术设计Laplace噪声下基于Transformer

【技术实现步骤摘要】
Laplace噪声下基于Transformer
‑
DNN混合网络的多用户频谱感知方法


[0001]本专利技术涉及认知无线电领域、频谱感知领域以及深度学习领域。

技术介绍

[0002]近几年来，由于互联网的普及，通信用户日益增多，用户需求和频段资源的冲突日益爆发，频谱资源利用不合理现象也时常发生。认知无线电技术通过不断地学习和感知，能够智能的分析和调整信号传输过程中的参数，实现频谱资源共享，从而进一步提高频谱利用率。频谱感知技术作为认知无线电的关键技术之一，负责感知接收重要的数据信息，判断频段中主用户的通信状态，使得次级用户能够及时识别并充分使用频段中的空闲资源。
[0003]然而，传统的频谱感知技术不能够满足非高斯噪声下复杂条件的要求，因此，借助计算机强大的计算优势，将深度学习与频谱感知结合，以快速，智能的完成感知过程。本专利技术先采用Transformer，此模块抛弃了传统的卷积神经网络，循环神经网络结构，依赖注意力机制去获取输入和输出之间的相关性，能够加快网络并行运算的速度。随后，将Transformer的输出结果送入DNN，此模块能够通过反向传播从采集的大量样本数据中学习近似最优的数据分类策略。将两模块充分结合，在防止梯度消失的同时，能进一步提高频谱感知的检测性能。

技术实现思路

[0004]专利技术目的：在非高斯环境下，针对与深度学习结合的频谱感知技术出现的检测时间过长，效率低，性能差等问题，本专利技术提出一种Laplace噪声下基于Transformer
‑
DNN混合网络的多用户频谱感知方法。以深度神经网络和Transformer结合的方式，能够提高模型并行运算的能力，防止过拟合现象，从而进一步提高频谱感知的检测性能。
[0005]技术方案：本专利技术Laplace噪声下基于Transformer
‑
DNN混合网络的多用户频谱感知方法，用于提高非高斯环境下，次级用户对主用户的检测性能，主要包括以下步骤：
[0006]S1：针对待检测网络，本专利技术以Laplace作为背景噪声进行建模，同时采集不同信噪比下的基带数字调制信号作为接收样本；并将采集到的样本数据按照4：1的比例，划分为训练数据和测试数据；
[0007]S2：采用POM对训练集中的训练数据进行预处理，从而获得不同p阶统计量下的分数矩，即为样本集；随后，给样本集中的数据做相应的标签序列，即：信号加噪声样本记作[0，1]，用1表示，Laplace噪声样本记作[1，0]，用0表示；
[0008]S3：将标签集中的数据送入谱卷积层，以此来改变训练数据的形状；
[0009]S4：搭建Transformer
‑
DNN混合网络，此网络主要由两部分组成，分别为以多头注意力机制为主体的Transformer网络和DNN(深度神经网络)；Transformer主要包括位置编码层、注意力机制层和前馈网络层，DNN由输入层、隐藏层和输出层组成；初始化Transformer
‑
DNN神经网络的结构参数，包括Transformer网络的编码器数，编码器的单元
数目，损失函数，学习率，DNN输入层的节点数，隐藏层的节点数、层数等等；
[0010]S5：将经过处理的标签集进行分块处理、并对其进行位置编码；随后，将编码后的数据送入具有多头注意力机制的编码器进行并行处理和特征提取，将Transformer的输出结果送入DNN网络，以优化函数的梯度消失问题，和完成局部最优解；最后，将经过DNN处理后的结果送入全连接层，得到二分类结果；
[0011]S6：用标签集训练混合网络的过程中，需要根据训练的损失值绘制损失图像；通过研究损失图像的走势执行S4，及时分析并调整混合网络的参数，以获得更好的频谱检测效果；
[0012]S7：将测试数据送入已经学会分类的Transformer
‑
DNN混合网络进行测试，并由SOFTMAX模块得到输出结果，将此输出结果与阈值作比较；当输出结果小于阈值时，说明频段中主用户不存在，次级用户可以接入并通信；当输出结果大于阈值时，说明通信频段中，主用户正在通信，次级用户不得使用。
[0013]优选地，所述步骤S2包括：POM预处理是对训练数据进行P
‑
th阶矩处理，即：在Laplace噪声下，将分数低阶统计量p推广到大于0的无限大的数，如表达式(1)所示：
[0014][0015]此式中，Z
i
′
(j)表示经过POM处理过的数据，Z
i
(j)表示第i个次级用户在j时刻的数据信息；其中，p
i
为统计量的阶数，通过不断调整p
i
值的大小，可以进一步优化混合网络的感知性能。
[0016]优选地，所述步骤S3包括：此谱卷积层是本专利技术特有定义，它由三个相同大小为3X3的卷积核组成。此层可以对数据信息进行特征粗提取。
[0017]优选地，所述步骤S4包含以下内容：
[0018]S401：位置编码层：与RNN相比，Transformer不仅摒弃了它在时间序列上对数据的抽象，也抛弃了顺序提取数据特征的特点。这对信号的特征采集产生了很大的影响。为了保持数据之间的相关性信息，引入位置编码，以动态获悉信号在脉冲中的具体位置，使感知过程更加的智能化。
[0019]S402：多头注意力机制层：由于本专利技术只需要获取到信号之间的信息，和完成简单的二分类操作，所以仅需要用到编码器的提取特征。Transformer由六个相同结构的编码器组成，以一个编码器为例，它由多头注意力机制模块和前馈神经网络组成。为了提高Transformer并行运算的速度，我们使用八个缩放点积注意力机制组成的多注意力机制模型。缩放点积注意力机制如表达式(2)所示：
[0020][0021]参数Q为查询向量，K为键向量，V为值向量，这三个向量由输入向量与三个不同的权重矩阵相乘而得。此式中的d
K
为64，对其开平方，能够减小点积操作带来的数据波动，并且缩放后的数据具有更强的泛化能力。
[0022][0023]式中head
e
表示的是第e个缩放点积注意力机制，而Contact函数可以将这八个单独运行的点积注意力拼接起来，以此提高网络并行运算的能力。
[0024]S403：前馈网络层：本层由两个全连接层构成，每个全连接层中间都使用了激活函数，它起着整合信息的作用。
[0025]S404：DNN由输入层，隐藏层，输出层组成，每层都使用RELU激活函数，这样有助于网络在进行反向传播时，减少参数的相互依赖性，同时能够有效缓解过拟合问题。
[0026]优选地，所述S7包含：使用sklearn模块遍历所有阈值。通过roc_curve()函数自动获取并且返回检测概率，虚警概率和阈值的值。
[0027]区别于现有的处理方法，本专利技术的有益效果是：
[0028]1.在非高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明设计Laplace噪声下基于Transformer
‑
DNN混合网络的多用户频谱感知方法，其特征在于：包括以下步骤：S1：针对待检测网络，本发明以Laplace作为背景噪声进行建模，同时采集不同信噪比下的数字调制信号作为接收样本；并按4∶1的比例分成训练数据和测试数据；S2：采用P
‑
th阶矩(POM)对训练数据进行预处理，从而获得不同p值下的分数矩，即为样本集；随后，给样本集中的数据做相应的标签序列，获得标签集；S3：将标签集中的数据送入谱卷积层，以此进行特征粗提取；S4：搭建Transformer
‑
DNN网络，此网络主要由两部分组成，分别为以多头注意力机制为主体的Transformer网络和DNN(深度神经网络)；Transformer主要包括位置编码层、注意力机制层和前馈网络层；DNN由输入层、隐藏层和输出层组成；初始化Transformer
‑
DNN神经网络的结构参数，包括Transformer网络的编码器数、编码器的单元数目、损失函数、学习率，DNN输入层的节点数，隐藏层的节点数、层数等等；S5：将经过处理的标签集进行分块处理、并对其进行位置编码；随后，将编码后的数据送入具有多头注意力机制的编码器进行并行处理和特征提取，将Transformer的输出结果送入DNN网络，以优化函数的梯度消失问题，和完成局部最优解；最后，将经过DNN处理后的结果送入全连接层，得到二分类结果；S6：用标签集训练混合网络的过程中，需要根据训练的损失值绘制损失图像；通过研究损失图像的走势执行S4，及时分析并调整混合网络的参数，以获得更好的频谱检测效果；S7：将测试数据送入已经学会分类的Transformer
‑
DNN网络进行测试，并由SOFTMAX模块得到输出结果，将此输出结果与阈值作比较；当输出结果小于阈值时，说明频段中主用户不存在，次级用户可以接入并通信；当输出结果大于阈值时，说明通信频段中，主用户正在通信，次级用户不得使用。2.根据权利要求1所述的Laplace噪声下基于Transformer
‑
DNN混合网络的多用户频谱感知方法，其特征在于：S2包括：POM预处理是Laplace噪声将FLOM(分数低阶矩)推广到更高的阶次，如表达式(1)所示：此式中，Z
...

【专利技术属性】
技术研发人员：曹秀俐，朱晓梅，李想，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：