一种基于注意力生成式卷积模型的信道均衡方法技术

本发明专利技术提出一种基于注意力生成式卷积模型的信道均衡方法，本发明专利技术提出了根据注意力生成卷积核的方法，能够根据信息序列的注意力评分生成匹配的卷积核，从而自适应地进行信道均衡

【技术实现步骤摘要】
一种基于注意力生成式卷积模型的信道均衡方法


[0001]本专利技术属于信号处理
，尤其涉及一种基于注意力生成式卷积模型的信道均衡方法
。

技术介绍

[0002]随着基于注意力机制的
Transformer(Attention Is All YouNeed)、Bert(BERT:Pre
‑
training of Deep Bidirectional Transformers for Language Understanding)、ChatGpt(Improving Language Understanding by Generative Pre
‑
Training)
等深度学习架构的提出，自然语言处理
(NLP)
领域在近五年得到了极大的发展
。Transformer
的架构核心是将统计学中的注意力机制应用在了处理机器翻译问题的神经网络当中，通过计算“查询”和“键”的相似度作为注意力评分，对“值”进行加权平均
。
这一方法能使得在对句子中一个词元处理时，能够看到整个句子其他的词元，并根据注意力评分整合成与当前词元相关的语义空间信息
。
同时，这种架构的计算并行度高，使得能够处理长句子高复杂度问题的大模型成为可能
。
基于这种注意力机制，
Bert
架构应用了
Transformer
架构中的编码器，并在
11
项自然语言处理任务上取得最优
。ChatGpt
创造性地开发了交互式聊天应用，使得工作迅速出圈
。
[0003]Transformer
架构在
NLP
领域的优越性能，使得计算机视觉
(CV)
领域的研究人员也想要将注意力机制加入
CV
问题的网络结构中，由此提出了
ViT
等模型，并认为
CV
中注意力机制是广义的卷积
。ViT
和
MAE
等模型在各自的任务上取得了很好的效果
。
[0004]在通信领域，如自动调制识别
(AMC)
等任务中，目前也有研究人员尝试将注意力机制应用于其中，在基础注意力模型上加入偏置
(W.Kong,X.Jiao,Y.Xu,B.Zhang and Q.Yang,"A Transformer
‑
based Contrastive Semi
‑
Supervised Learning Framework for Automatic Modulation Recognition,"in IEEE Transactions on Cognitive Communications andNetworking,doi:10.1109/TCCN.2023.3264908.)、
双注意力模型
(H.Su,X.Fan and H.Liu,"Robust and Efficient Modulation Recognition with Pyramid Signal Transformer,"GLOBECOM 2022
‑
2022IEEE Global Communications Conference,Rio de Janeiro,Brazil,2022,pp.1868
‑
1874,doi:10.1109/GLOBECOM48099.2022.10001593.)
等，并取得了优于卷积神经网络，循环神经网络架构的效果
。
[0005]目前已知的模型和实验并没有与信号处理的方法进行结合
。
一种方法是基于
(MCformer:A Transformer Based Deep Neural Network for Automatic Modulation Classification)
通过卷积神经网络
(CNN)
与
Transformer
两步进行特征提取，第二种方法是直接使用修改后的
Transformer
模型进行训练，如双注意力
。
由于第一种方法没有进行很好的消融实验，信道的特征很有可能在
CNN
层中被学习到，训练完成后网络参数不再变化
。
网络计算过程中，使用多层
CNN
的多卷积核的组合起来对信道进行均衡与特征提取
。
当信道发生变化时，由于均衡与信道不匹配，导致信号的干扰进一步恶化，最终网络识别的结果是
错误的
。
第二种方法在多头注意力层加入了一个卷积核，同样的，由于训练完成后网络参数不再变化，卷积核也可能学习到了固定的信道特征，从而无法应对数据集之外的信道
。

技术实现思路

[0006]本专利技术目的是为了解决现有技术中的问题，从而提出一种基于注意力生成式卷积模型的信道均衡方法
。
所述方法能够从序列中计算出信道信息并得到用于信道均衡的卷积核，并对输入序列进行信道均衡
。
[0007]本专利技术是通过以下技术方案实现的，本专利技术提出一种基于注意力生成式卷积模型的信道均衡方法，所述方法包括以下步骤：
[0008]步骤
1、
对采样信息序列进行层归一化
Layer Normalization
，对输入的序列进行自动增益控制；
[0009]步骤
2、
对输入序列进行交错采样，分别设置采样间隔
Interval
和交错长度
Cross
；依照两值对输入序列进行采样成长度为
length
＝
Interval+Cross
的个序列，并将这些序列拼接成行
length
列的矩阵作为词元
token array
；
[0010]步骤
3、
对词元的行使用两个不同的线性层映射得到查询
queries
和键
keys
：
[0011]queries
＝
W
q
×
token array+bias
q
[0012]keys
＝
W
k
×
token array+bias
k
[0013]其中，是可训练参数；
hidden
为映射后的向量长度，为超参数；
[0014]步骤
4、
使用点积注意力计算注意力分数矩阵：
[0015]attention weight
＝
quaries
×
keys
T
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于注意力生成式卷积模型的信道均衡方法，其特征在于，所述方法包括以下步骤：步骤
1、
对采样信息序列进行层归一化
Layer Normalization
，对输入的序列进行自动增益控制；步骤
2、
对输入序列进行交错采样，分别设置采样间隔
Interval
和交错长度
Cross
；依照两值对输入序列进行采样成长度为
length
＝
Interval+Cross
的个序列，并将这些序列拼接成行
length
列的矩阵作为词元
token array
；步骤
3、
对词元的行使用两个不同的线性层映射得到查询
queries
和键
keys
：
queries
＝
W
q
×
token array+bias
q
keys
＝
W
k
×
token array+bias
k
其中，是可训练参数；
hidden
为映射后的向量长度，为超参数；步骤
4、
使用点积注意力计算注意力分数矩阵：
attention weight
＝
quaries
×
keys
T
其中，上标
T
表示矩阵转置；步骤
5、
将注意力分数矩阵
attntio weight
通过
Flatten
操作展平成一个行向量，作为下一步多层感知机
mlp
的输入：
attention array
＝
Flatten(attention weight)
也可以写成：
attention array
＝
attention weight.reshape(ba...

【专利技术属性】
技术研发人员：韩帅，郭承钰，孟维晓，吴尘雨，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：