一种基于Transformer的多频点多步频谱预测方法技术

本发明专利技术公开了一种基于Transformer的多频点多步频谱预测方法，包括构建并训练基于Transformer的多频点多步频谱预测网络，包括编码器和解码器，编码器包括多个编码器层，每一个编码器层包括多头注意力模块和堆叠Bi

【技术实现步骤摘要】
一种基于Transformer的多频点多步频谱预测方法


[0001]本专利技术属于无线通信
，涉及一种基于Transformer的多频点多步频谱预测方法。

技术介绍

[0002]人工智能等新技术的发展使得电磁频谱空间面临诸多挑战。一方面，借助新兴技术，各类无线设备快速占据电磁频谱空间的频谱资源，进而可利用的频谱资源越来越短缺，同时，用频安全问题层出不穷。例如，非法用户恶意占用未被授权的频段，对其他授权用户造成干扰，更有甚者直接攻击授权用户，导致灾难发生，无线电秩序日益混乱。另一方面，短缺的资源迫使许多认知用户需要更多的能量消耗感知可用频段，甚至，迫使受到干扰的授权用户放弃授权频段而作为认知用户去感知新的空闲频段，这同样会带来额外的开销。同时，电磁频谱空间被认为为第六维作战空间，如今的热战早已向信息战、电子战等新型作战方式转变，而这都离不开无线信息交互，因此，制电磁权是决定现代战争的关键因素之一。为了更好的利用频谱资源，解决这些挑战，一些更适应真实需求的新技术也应运而生，而频谱预测技术就是其中之一。
[0003]频谱预测技术可以帮助用户提前获知未来的频谱态势，进而做出合理的频谱决定。具体的应用实例有频谱预测可以减少频谱感知的能量消耗，可以提高动态频谱接入的准确率，减少接入的时间损耗，在战场中，提前获知战场频谱态势变化方向，进而提前做好备战准备，还可获得先机，掌握战场主动权。
[0004]现有的频谱预测技术主要以传统机器学习，如移动平均自回归，传统深度学习，如卷积网络和递归网络。这些技术虽然能够完成预测，但复杂的频谱变化模式并没有被深度挖掘，预测性能有待进一步提升。传统机器学习方法仅能进行简单的单步预测，而传统深度学习方法受网络结构影响，并行性比较差。因此，迫切需要开发一种高效率、高性能的频谱预测方法。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于Transformer的多频点多步频谱预测方法，利用自注意力机制深度挖掘频谱数据的时频相关特征，在多频点频谱数据各个位置给与不同的权重因子，使得能够捕获到更有利于预测的特征信息，而剔除无关或不利特征信息，并利用这些语义特征来精准预测未来的频谱态势。
[0006]为实现上述技术目的，本专利技术采取的技术方案为：
[0007]一种基于Transformer的多频点多步频谱预测方法，包括：
[0008]构建并训练基于Transformer的多频点多步频谱预测网络，包括编码器和解码器；
[0009]其中，编码器包括多个编码器层，每一个编码器层包括多头注意力模块和堆叠Bi
‑
LSTM模块，且每个模块后紧跟一个归一化层；
[0010]解码器包括多个解码器层和一个单独的层归一化的线性层，每一个解码器层包括掩码多头注意力模块、多头注意力模块和堆叠Bi
‑
LSTM模块，且每个模块后紧跟一个归一化层；
[0011]采用训练后的所述网络进行多频点多步频谱预测。
[0012]为优化上述技术方案，采取的具体措施还包括：
[0013]上述的基于Transformer的多频点多步频谱预测网络架构在一台搭载3.00GHz Intel Corei7
‑
9700 CPU，NVIDIA Quadro P2200显卡和16GB RAM的PC上使用Pytorch 1.7.1实现。
[0014]上述的编码器的第n个编码器层实现过程为：
[0015][0016]上述公式被进一步总结为：
[0017][0018]其中，Encoder(
·
)代表第n个编码器的实现过程，n∈{1,...,N}，代表第n个编码器层的输出,N代表编码器层数；
[0019]当n＝1，为嵌入的编码器输入p
en
；
[0020]i∈{1,2}，代表在第n个编码器层经过第i个R
‑
Norm(
·
)的所提取的特征信息；
[0021]R
‑
Norm()代表一个残差连接后紧跟归一化层；
[0022]Mul
‑
HeadAtt()和Stack
‑
BiLSTM()分别代表多头注意力模块和堆叠Bi
‑
LSTM模块。
[0023]上述的解码器的第e个解码器层实现过程为：
[0024][0025]上述公式被进一步总结为：
[0026][0027]其中，Decoder(
·
)代表第e个解码器的实现过程，e∈{1,...,E}，代表第e解码器层的输出，E代表解码器层数；
[0028]当e＝1，为嵌入的解码器输入p
de
；
[0029]i∈{1,2,3}，代表在第e个解码器层经过第i个R
‑
Norm(
·
)模块后所提取的特征信息；
[0030]R
‑
Norm()代表一个残差连接后紧跟归一化层；
[0031]Mul
‑
HeadAtt()代表掩码多头注意力模块或多头注意力模块，掩码多头注意力模块或多头注意力模块结构相同，仅输入不同；
[0032]Stack
‑
BiLSTM()代表堆叠Bi
‑
LSTM模块。
[0033]解码器输出为：
[0034][0035]其中，代表第E个解码器层的输出；
[0036]Linear()代表一个线性层；
[0037]Norm(
·
)代表一个层归一化操作。
[0038]上述的多头注意力模块和掩码多头注意力模块，均包括多个单头注意力单元，其中单头注意力单元采用规范点积注意力机制；
[0039]模块的输入包括查询Q，键K和值V，Q，K的维度为d
k
，V的维度为d
v
；
[0040]规范点积注意力机制为：
[0041][0042]其中，Softmax()代表Softmax归一化函数；
[0043]多头注意力模块为：
[0044]Mul
‑
Head(Q,K,V)＝W
out
Concat(head1,...,head
o
)
[0045]其中，i∈{1,...,o}，o表示多头注意力的头数；
[0046]代表最后线性层的投影；
[0047]是经过线性层的投影；
[0048]d
model
代表模型的输入维度；
[0049]Concat()代表将张量拼接在一起。
[0050]上述的堆叠Bi
‑
LSTM模块由前向LSTM和反向LSTM堆叠而成，其实现过程为：
[0051][0052][0053][0054]其中，
“→”
和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的多频点多步频谱预测方法，其特征在于，包括：构建并训练基于Transformer的多频点多步频谱预测网络，包括编码器和解码器；其中，编码器包括多个编码器层，每一个编码器层包括多头注意力模块和堆叠Bi
‑
LSTM模块，且每个模块后紧跟一个归一化层；解码器包括多个解码器层和一个单独的层归一化的线性层，每一个解码器层包括掩码多头注意力模块、多头注意力模块和堆叠Bi
‑
LSTM模块，且每个模块后紧跟一个归一化层；采用训练后的所述网络进行多频点多步频谱预测。2.根据权利要求1所述的一种基于Transformer的多频点多步频谱预测方法，其特征在于，所述基于Transformer的多频点多步频谱预测网络架构在一台搭载3.00GHz Intel Core i7
‑
9700 CPU，NVIDIA Quadro P2200显卡和16GB RAM的PC上使用Pytorch 1.7.1实现。3.根据权利要求1所述的一种基于Transformer的多频点多步频谱预测方法，其特征在于，所述编码器的第n个编码器层实现过程为：将上述过程表述为：其中，Encoder(
·
)代表第n个编码器的实现过程，代表第n个编码器层的输出,N代表编码器层数；当n＝1，为嵌入的编码器输入p
en
；代表在第n个编码器层经过第i个R
‑
Norm(
·
)的所提取的特征信息；R
‑
Norm()代表一个残差连接后紧跟归一化层；Mul
‑
HeadAtt()和Stack
‑
BiLSTM()分别代表多头注意力模块和堆叠Bi
‑
LSTM模块。4.根据权利要求1所述的一种基于Transformer的多频点多步频谱预测方法，其特征在于，所述解码器的第e个解码器层实现过程为：将上述过程表述为：其中，Decoder(
·
)代表第e个解码器的实现过程，代表第e解码器层的输出，E代表解码器层数；当e＝1，为嵌入的解码器输入p
de
；代表在第e个解码器层经过第i个R
‑
Norm(
·
)模块后所提取的特征信息；
R
‑
Norm()代表一个残差连接后紧跟归一化层；Mul
‑
HeadAtt()代表掩码多头注意力模块或多头注意力模块，掩码多头注意力模块或多头注意力模块结构相同，仅输入不同；Stack
‑
BiLSTM()代表堆叠Bi
‑
LSTM模块；解码器输出为：其中，代表第E个解码器层的输出；Linear()代表一个线性层；Norm()代表一个层归一化操作。5.根据权利要求1所述的一种基于Transformer的多频点多步频谱预测方法，其特征在于，所述多头注意力模块和掩码多头注意力模块，均包括多个...

【专利技术属性】
技术研发人员：潘光良，李婕，吴启晖，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：