基于复数区域图Transformer的机动空间目标识别方法技术

基于复数区域图Transformer的机动空间目标识别方法，涉及逆合成孔径雷达图像处理领域。本发明专利技术是为了解决空间目标快速机动会引起ISAR图像上的姿态变化大，并且由于ISAR图像通常以复数值的形式存在，一般的实数域网络会导致ISAR图像中关键相位信息的丢失的问题。本发明专利技术首先，对比学习模块训练ISAR图像块对以适应目标ISAR图像的变化。其次，PGT特征提取模块通过图推理方法和Transformer框架提取图像块的局部和全局上下文特征，以获得目标更有效的表示。最后图识别模块更新特征嵌入形成的节点和节点间边的特征，并输出目标的分类概率和分类结果。结果。结果。

【技术实现步骤摘要】
基于复数区域图Transformer的机动空间目标识别方法


[0001]本专利技术属于逆合成孔径雷达(Inverse Synthetic Aperture Radar，ISAR)图像处理领域。

技术介绍

[0002]ISAR具有高分辨率、全天时、远距离成像、对目标物质不敏感、能够在大气干扰下工作等优点，使其在空间目标探测及空间态势感知等领域均具有广阔的应用前景。但传统的分类方法依赖于人工设计的特征，这会导致无法获得目标特征的有效表示以及对新类别的鲁棒性差等问题。在空间目标分类任务中，空间目标的快速机动会引起较大的姿态变化，进一步使得ISAR成像机制中隐藏的对姿态变化的高敏感性使得所获得的图像具有更大的差异性。另外，ISAR图像通常以复数值的形式存在，当前深度学习网络的实值形式会导致相位信息的丢失。而相位信息指示了空间目标的轮廓、姿态和机动信息等重要特征。所以相位信息的丢失会导致空间目标分类的精度下降。

技术实现思路

[0003]本专利技术是为了解决空间目标快速机动会引起ISAR图像上的姿态变化大，并且由于ISAR图像通常以复数值的形式存在，导致ISAR图像中关键相位信息的丢失的问题，现提供基于复数区域图Transformer的机动空间目标识别方法。
[0004]基于复数区域图Transformer的机动空间目标识别方法，具体为：利用复数区域图Transformer模块提取机动空间中待识别的ISAR图像的识别特征矩阵，将识别特征矩阵中的每一个识别特征均与独热编码串联并作为待识别节点，利用图识别模块对待识别节点进行识别，获得所述ISAR图像中目标的类型；
[0005]所述复数区域图Transformer模块包括上下文特征提取单元、嵌入特征提取单元和特征融合单元；
[0006]所述上下文特征提取单元：用于通过阈值分割方法将所述ISAR图像分割为N2个图像块，将N2个图像块输入至训练好的复数域Resnet18网络框架，获得节点特征矩阵，基于设定的阈值在N2个图像块中筛选含有机动目标像素的图像块来创建邻近矩阵，并利用图推理方法对节点特征矩阵和邻近矩阵创建的目标局部特征图数据进行更新，更新后的图数据作为局部上下文特征，利用Transformer框架提取局部上下文特征中的全局上下文特征，所述N为正整数；
[0007]所述嵌入特征提取单元：用于利用CNN网络提取所述ISAR图像的整体嵌入特征；
[0008]所述特征融合单元：用于将所述全局上下文特征和所述整体嵌入特征进行融合，获得机动空间中待识别的ISAR图像的识别特征矩阵。
[0009]进一步的，通过阈值分割方法将所述ISAR图像分割为N2个图像块，包括：
[0010]对所述ISAR图像中包含目标的像素进行定位进而获得目标的外矩形轮廓，在该外矩形轮廓中分割出具有重叠部分的N2个图像块。
[0011]进一步的，所述复数域Resnet18网络框架的训练过程如下：
[0012]利用不同的成像参数分别对训练集中的每一个训练样本进行仿真扩展，获得2M个图像块，并将同一训练样本仿真扩展获得的2个图像块作为该训练样本的正图像块对；
[0013]利用2M个图像块对复数域Resnet18网络框架进行训练；
[0014]所述复数域Resnet18网络框架中正图像块对(p
i
,p
j
)的损失函数L
i,j
表达式为：
[0015][0016]其中，
[0017]exp[]表示以自然常数e为底的指数函数，T为温度系数，u
i
、u
j
、u
m
分别为图像块p
i
、p
j
、p
m
的特征，和分别表示复数域数据的实部和虚部，M为训练集中训练样本的数量，m＝1,2,...,M，i＝1,2,...,M，j＝1,2,...,M，
[0018]所述成像参数包括：影响ISAR图像分辨率的累积角、影响ISAR图像散焦程度的旋转加速度和随机图像旋转角度。
[0019]进一步的，基于设定的阈值在N2个图像块中筛选含有机动目标像素的图像块，将筛选后的每个图像块对应的节点特征均作为一个节点，在节点N
α
与节点N
β
之间创建一条边A
αβ
，从而创建目标局部特征图数据，所述节点N
α
和节点N
β
对应的图像块p
α
和图像块p
β
满足：图像块p
α
位于图像块p
β
的8邻域内，创建的所有边构成邻近矩阵
[0020]进一步的，通过下式将目标局部特征图数据中的节点N
β
更新为节点
[0021][0022]其中，CvReLU[]表示分别对输入数据的实部和虚部进行ReLU函数运算，CvBN1d()表示一维复数BatchNorm函数，
[0023][0024]w
β
为权重，和分别表示复数域数据的实部和虚部，α＝1,2,...,N2，β＝1,2,...,N2。
[0025]进一步的，利用Transformer框架提取局部上下文特征中的全局上下文特征，包括：
[0026]采用复数多头自注意力映射机制分别查询每一个图像块在所有图像块中的全局上下文特征。
[0027]进一步的，Transformer框架中复数多头自注意力映射机制函数MSA()表示为：
[0028][0029]SA(x)＝A
w
v，
[0030][0031]其中，x表示Transformer框架的输入，q、k、v分别为复数多头自注意力映射机制的查询词、关键词、数值词，为生成q、k、v的复数域全连接层的权重，SA()表示自注意力函数，A
w
为自注意力权重，为生成多头自注意力结果的复数域全连接层的权重，D
k
为复数多头自注意力映射机制中自注意力操作的数量。
[0032]进一步的，目标局部特征图数据至Transformer框架的映射关系为：
[0033][0034]其中，MLP[]表示多层感知函数，CvLN()表示复数LayerNorm函数，L为Transformer框架中层的数量，l＝1,2,...,L，o
l+1
和o
l
分别表示Transformer框架中第l+1和l层的输出，当l＝1时，Transformer框架中第l+1和l层的输出，当l＝1时，表示第N2个图像块的局部特征。
[0035]进一步的，通过下式将全局上下文特征和整体嵌入特征进行融合：
[0036][0037]其中，E
f
为全局上下文特征和嵌入特征的融合结果，E
w
为整体嵌入特征，E
p
为全局上下文特征，为生成融合特征的复数域全连接层的权重。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于复数区域图Transformer的机动空间目标识别方法，其特征在于，具体为：利用复数区域图Transformer模块提取机动空间中待识别的ISAR图像的识别特征矩阵，将识别特征矩阵中的每一个识别特征均与独热编码串联并作为待识别节点，利用图识别模块对待识别节点进行识别，获得所述ISAR图像中目标的类型；所述复数区域图Transformer模块包括上下文特征提取单元、嵌入特征提取单元和特征融合单元；所述上下文特征提取单元：用于通过阈值分割方法将所述ISAR图像分割为N2个图像块，将N2个图像块输入至训练好的复数域Resnet18网络框架，获得节点特征矩阵，基于设定的阈值在N2个图像块中筛选含有机动目标像素的图像块来创建邻近矩阵，并利用图推理方法对节点特征矩阵和邻近矩阵创建的目标局部特征图数据进行更新，更新后的图数据作为局部上下文特征，利用Transformer框架提取局部上下文特征中的全局上下文特征，所述N为正整数；所述嵌入特征提取单元：用于利用CNN网络提取所述ISAR图像的整体嵌入特征；所述特征融合单元：用于将所述全局上下文特征和所述整体嵌入特征进行融合，获得机动空间中待识别的ISAR图像的识别特征矩阵。2.根据权利要求1所述的基于复数区域图Transformer的机动空间目标识别方法，其特征在于，通过阈值分割方法将所述ISAR图像分割为N2个图像块，包括：对所述ISAR图像中包含目标的像素进行定位进而获得目标的外矩形轮廓，在该外矩形轮廓中分割出具有重叠部分的N2个图像块。3.根据权利要求1所述的基于复数区域图Transformer的机动空间目标识别方法，其特征在于，所述复数域Resnet18网络框架的训练过程如下：利用不同的成像参数分别对训练集中的每一个训练样本进行仿真扩展，获得2M个图像块，并将同一训练样本仿真扩展获得的2个图像块作为该训练样本的正图像块对；利用2M个图像块对复数域Resnet18网络框架进行训练；所述复数域Resnet18网络框架中正图像块对(p
i
,p
j
)的损失函数L
i,j
表达式为：其中，exp[]表示以自然常数e为底的指数函数，T为温度系数，u
i
、u
j
、u
m
分别为图像块p
i
、p
j
、p
m
的特征，和分别表示复数域数据的实部和虚部，M为训练集中训练样本的数量，m＝1,2,...,M，i＝1,2,...,M，j＝1,2,...,M，所述成像参数包括：影响ISAR图像分辨率的累积角、影响ISAR图像散焦程度的旋转加速度和随机图像旋转角度。4.根据权利要求1所述的基于复数区域图Transformer的机动空间目标识别方法，其特征在于，基于设定的阈值在N2个图像块中筛选含有机动目标像素的图像块，将筛选后的每
个图像块对应的节点特征均作为一个节点，在节点N
α
与节点N
β
之间创建一条边A
αβ
，从而创建目标局部特征图数据，所述节点N

【专利技术属性】
技术研发人员：袁浩轩，张云，李沐遥，李宏博，田金，庄海孝，闫雪梅，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：