一种基于轻量化Transformer的HRRP序列识别方法技术

本发明专利技术公开了一种基于轻量化Transformer的HRRP序列识别方法，包括以下步骤：S1、采用旋转位置编码为HRRP序列嵌入位置信息；S2、提出一种局部聚合注意力单元(LAU)，利用分组线性变换能够有效地聚合和提取局部特征，利用自注意力机制实现对全局信息地感知和增强；S3、利用轻量化前馈神经网络(LW

【技术实现步骤摘要】
一种基于轻量化Transformer的HRRP序列识别方法


[0001]本专利技术涉及雷达
，具体是指一种基于轻量化Transformer的HRRP序列识别方法。

技术介绍

[0002]雷达自动目标识别在军事和民用领域均具有广泛的应用。当前，高分辨距离像(HRRP)因为具有易于获取，便于处理和存储空间小的优势，被广泛应用于雷达自动目标识别。HRRP是目标回波沿雷达视线方向的矢量和，包含丰富的目标结构和散射点分布信息，对目标识别具有重要的应用价值，已经广泛用于飞机、舰船、弹道导弹、地面目标的识别。
[0003]雷达在探测运动目标时与目标发生相对运动，可以获得多个方位角的回波信息，连续方位角的HRRP即构成HRRP序列，通过对HRRP序列之间的相关性进行建模，能够有效提取目标的动态时间特征，进行高效地目标识别。HRRP序列是一种是特殊的多变量时间序列，因HRRP特征维度较大，且在真实场景中包含大量噪声信息，当前的方法HRRP识别方法对全局信息的感知能力受限，对目标信息的表示能力不强。所以，对全局信息进行特征增强和特征提取是进一步提高HRRP序列识别性能的关键问题。
[0004]传统的HRRP序列识别方法，依赖于人工提取可分辨性高的特征。例如，Timothy等人提出一种基于隐马尔可夫模型(HMM)的识别方法，从高分辨率(HRR)雷达信号幅度与目标距离剖面中提取了六个功率谱特征，使用HMM进行识别。Du等人提出一种基于双分布复合统计模型的识别方法，根据散射中心模型的距离单元中优势散射点的数量，将距离单元划分为三种统计类型，将不同类型距离单元的回波建模为对应的分布形式来完成识别任务。Molchanov等人提出一种基于微多普勒双相干特征的识别方法，所提方法从雷达回波中的微多普勒贡献中提取倒谱系数，使用双相干估计计算分类特征。人工提取的特征受人为主观因素影响较大，对特征的表达能力不强，所以识别性能有限。为了克服人工特征提取存在的局限性，将机器学习的方法引入HRRP识别任务。Lei等人提出一种基于支持向量机的识别方法，根据混淆矩阵给出的分类器之间的距离，定义不同的分类器置信度，然后将支持向量机的值和后验概率整合到基本概率分配中，实现了支持向量机与证据理论结合的识别方法。Wang等人提出了一个基于一维局部感受野的极限学习自动编码器(1DELM
‑
LRF
‑
AE)网络，用于对HRRP局部结构进行有意义表征学习，实现了高效地表征学习和识别。以上方法克服了科研人员主观因素的影响，实现了更加有效的自动特征提取，但是忽略了HRRP之间相关性和时序信息，造成了信息损失，且机器学习的方法提取深层特征能力较弱，识别性能仍然有待提高。
[0005]随着深度学习的发展，卷积神经网络和循环神经网络大量应用于HRRP序列识别，例如，Xiang等人提出一种基于one dimensional CNN(1D
‑
CNN)的识别方法，通过1D
‑
CNN提取HRRP中有效的目标结构信息，并引入aggregation
‑
perception
‑
recalibration模块进行特征增强。1D
‑
CNN能够有效提取HRRP序列的局部相关性，但是忽略了HRRP序列之间的时序信息，由于CNN受卷积核尺寸限制，对长序列的全局特征提取存在局限性，且实际场景下的
HRRP序列含大量噪声信息，局部信息因受噪声影响会损害模型的泛化性。Du等人提出一种基于Region
‑
factorizeDrecurrent attentional network with deep clustering的识别方法，利用递归神经网络(RNN)的时间依赖性，在HRRP样本中利用聚类机制自动寻找信息区域，对每个时间步骤的隐藏状态的不同识别贡献进行加权。但是对于长序列，RNN在提取长程信息时会因为记忆丢失问题丢失重要目标特征，且当网络堆叠较深时，可能出现原始重要信息丢失。为了进一步增强对全局信息的提取能力，Pan等人提出一种基于CNN
‑
Bi
‑
RNN with Attention Mechanism的识别方法，利用卷积神经网络得到更加丰富的嵌入表示，而后使用基于注意力机制的RNN提取时序信息，能够更加有效的利用局部和全局时序特征，对有限样本仍然保持较高的识别性能。随着Transformer框架的诞生，利用自注意力机制对序列的长程信息进行建模，通过计算序列之间的相关性自适应地赋予序列不同的权重，更加关注目标区域的重要信息，有效提取序列的全局信息。Zhang等人提出一种基于feature
‑
guideDTransformer的识别方法，通过在注意力模块中增加人工特征，引导模型聚焦于散射信息较多的距离单元，有效增强了模型对全局信息的提取，且降低了模型对样本数量的依赖。
[0006]当前针对HRRP序列识别的方法，无法有效地提取HRRP序列的深层和全局时序信息，所以在真实场景下的表现不佳，例如环境噪声，变体目标和样本有限。并且当前的方法大多忽略了方法的轻量化，通过堆叠大量的模块来提高识别性能，导致方法参数量大，计算复杂，难以满足在边缘设备上部署和应用。针对上述问题，本专利技术提出了一种基于旋转位置编码，局部聚合注意力单元(LAU)，轻量化前馈神经网络(LW
‑
FFN)的轻量化Transformer(RLAT)的HRRP序列识别方法。

技术实现思路

[0007]本专利技术要解决上述技术问题，提供一种基于轻量化Transformer的HRRP序列识别方法。
[0008]为解决上述技术问题，本专利技术提供的技术方案为：一种基于轻量化Transformer的HRRP序列识别方法，包括以下步骤：
[0009]S1、采用旋转位置编码为HRRP序列嵌入位置信息；
[0010]旋转位置编码是一种乘性编码，通过绝对位置编码的方式实现相对位置编码，旋转位置编码的计算如下：假设HRRP序列为X＝[x1,x2,...,x
N
]，其中N表示序列长度，传统的绝对位置编码在嵌入层之后增加位置信息，绝对位置编码嵌入位置信息的计算方式为
[0011]f(x
i
,i)＝W(x
i
+p
i
)(1)
[0012]其中i为x
i
的位置，是一个可训练的d维的位置向量，d取决于x
i
，相对位置编码是在自注意力机制中增加相对位置信息，嵌入相对位置的计算方式为
[0013][0014]其中其中是可训练的相对位置矩阵，c＝clip(m
‑
n,r
min
,r
max
)表示位置m和n的相对位置，随着相对位置之间距离的增加，数据之间的相关性减弱，故c设置了限制范围
r
max
，超过限制范围则认为相关性一致；增加位置矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化Transformer的HRRP序列识别方法，其特征在于，包括以下步骤：S1、采用旋转位置编码为HRRP序列嵌入位置信息；旋转位置编码是一种乘性编码，通过绝对位置编码的方式实现相对位置编码，旋转位置编码的计算如下：假设HRRP序列为X＝[x1,x2,...,x
N
]，其中N表示序列长度，传统的绝对位置编码在嵌入层之后增加位置信息，绝对位置编码嵌入位置信息的计算方式为f(x
i
,i)＝W(x
i
+p
i
)(1)其中i为x
i
的位置，是一个可训练的d维的位置向量，d取决于x
i
，相对位置编码是在自注意力机制中增加相对位置信息，嵌入相对位置的计算方式为其中是可训练的相对位置矩阵，c＝clip(m
‑
n,r
min
,r
max
)表示位置m和n的相对位置，随着相对位置之间距离的增加，数据之间的相关性减弱，故c设置了限制范围r
max
，超过限制范围则认为相关性一致；增加位置矩阵后，绝对位置矩阵在自注意力机制计算注意力权值过程为相对位置编码的核心思想是将第三项和第四项中嵌入的绝对位置向量p
n
替换为相对位置向量p
m
‑
n
，并将第三项和第四项中的替换为两个可训练的向量u
T
和v
T
，为了区分内容和位置，参数矩阵分别用W
k
和W
k
′
，所以在相对位置编码中自注意力机制计算权值方式变为旋转位置编码对相对位置编码进行改进，其计算为其中旋转矩阵为其中旋转位置编码在自注意力机制计算注意力权值时，可以得到
S2、提出一种局部聚合注意力单元(LAU)，利用分组线性变换能够有效地聚合和提取局部特征，利用自注意力机制实现对全局信息地感知和增强；LAU包括分组线性变换、非线性激活、层归一化、自注意力机制和残差连接，通过局部特征聚合和全局感知有效地进行特征增强，将经过编码的向量I＝g(X)作为LAU的输入，经过LAU进行局部特征聚合和全局特征增强，输出增强后的特征F，在局部特征聚合阶段，假设共有L层分组线性变换，在前层做升维操作，剩余的层进行降维，计算各层分组线性变换的分组数量具体的过程为式中n
l
为第l层分组线性变换的组的数量，n
max
为分组线性变换的组的数量的最大值，各层分组线性变换的计算为式中，M(
·
)表示进行残差拼接、非线性激活函数GELU和层归一化操作，局部特征聚合对局部特征通过先升维再降维的方式得到深层的局部特征，且在每一层分组线性变换中均采用残差拼接操作，避免模型加深丢失原始信息，低维的聚合特征更加易...

【专利技术属性】
技术研发人员：王鹏，王晓丹，宋亚飞，向前，李京泰，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：