一种基于时序外观特征聚合的视频SAR动目标阴影检测方法技术

本发明专利技术属于图像处理技术领域，公开了一种时序外观特征聚合的视频SAR动目标阴影检测方法。首先获取SAR视频，将SAR视频拆解成帧序列影像；然后将相邻两帧SAR影像输入到训练好的基于时序外观特征聚合的目标检测网络模型中，处理时依次通过网络模型中的编码器、环境信息补偿的可靠关联线索生成模块、关联线索引导的特征增强模块、检测头等模块处理，获取后一帧即当前帧SAR影像的动目标阴影检测结果；最后重复上一步骤，按时间顺序处理所有的相邻两帧SAR影像对，获得视频SAR动目标阴影检测结果。本发明专利技术提出的方法可解决动目标阴影外观不稳定性和实例目标间外观相似性造成的漏检和误检问题，实现较高精度的ViSAR动目标阴影检测。实现较高精度的ViSAR动目标阴影检测。实现较高精度的ViSAR动目标阴影检测。

【技术实现步骤摘要】
一种基于时序外观特征聚合的视频SAR动目标阴影检测方法


[0001]本专利技术涉及遥感图像处理
，尤其涉及一种基于时序外观特征聚合的视频SAR动目标阴影检测方法。

技术介绍

[0002]视频合成孔径雷达(Video Synthetic Aperture Radar,ViSAR)由于兼具全天时全天候和运动目标监测的对地观测能力，在灾害救援、交通管理和军事侦察中极具应用价值。由于ViSAR成像帧率较高，动目标回波的多普勒调制对其运动十分敏感，导致成像后的动目标后向散射体往往发生偏移和散焦，在其真实位置上形成阴影。因此，检测动目标阴影能够实现动目标持续监测。此外，相比由于遮挡产生的紧邻强散射体的静止目标阴影，与散射体存在间隔的动目标阴影存在视觉特征上的可区分性，因此基于数据驱动的深度学习方法在动目标阴影检测中具备较好的适用性和可行性。
[0003]然而，ViSAR动目标阴影存在以下视觉特性，使得目前应用于光学图像的目标检测深度学习方法不能直接套用到ViSAR数据中：(1)由于ViSAR载荷平台与运动目标之间存在多普勒效应，并且相干累积方式进行视频成像的缘故，动目标阴影在运动过程中存在被遮挡和成像模糊等外观变化的情况，导致目标视觉特征的不稳定造成阴影目标漏检问题；(2)阴影实例目标间存在外观相似性，使得依赖于光流估计深度学习模型的运动检测方法产生错误运动线索，造成阴影目标的漏检和误检问题。因此，目前面向ViSAR动目标阴影检测任务的深度学习方法亟待设计和发展。

技术实现思路

[0004]针对上述
技术介绍
提到的问题，本专利技术提出一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，实现较高精度的ViSAR动目标阴影检测。
[0005]本专利技术为解决其技术问题采用如下技术方案：
[0006]一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，包括以下步骤：
[0007]步骤1：获取SAR视频，将SAR视频拆解成帧序列影像；
[0008]步骤2：将相邻两帧SAR影像输入到训练好的基于时序外观特征聚合的目标检测网络模型中，处理时依次通过网络模型中的编码器、环境信息补偿的可靠关联线索生成模块、关联线索引导的特征增强模块、检测头等模块处理，获取后一帧即当前帧SAR影像的动目标阴影检测结果；
[0009]其中，权值共享的主干网络编码器用于提取原始图像的深度特征，输入原始图像，输出图像的深度特征；
[0010]环境信息补偿的可靠关联线索生成模块用于提取前一帧深度特征图各像素与后一帧深度特征图各像素的相似度矩阵，输入前一帧和后一帧图像的深度特征，输出一个四维的逐像素的相似度矩阵；
[0011]关联线索引导的特征增强模块用于采样前一帧特征图同名像素点与后一帧特征
图进行加权相加，输入前一帧特征图和四维的逐像素的相似度矩阵，输出前一帧特征图同名像素点与后一帧特征图的加权相加矩阵；
[0012]检测头用于输出检测任务相关的特征图，输入前一模块的加权相加矩阵，输出逐像素的与原始图像大小相同的位置、尺寸、分类特征图；
[0013]步骤3：重复步骤2，按时间顺序处理所有的相邻两帧SAR影像对，获得视频SAR动目标阴影检测结果。
[0014]而且，所述步骤2中基于时序外观特征聚合的目标检测网络模型的结构由权值共享的主干网络编码器(如ResNet、MobileNet或DLA
‑
34)、环境信息补偿的可靠关联线索生成模块、关联线索引导的特征增强模块以及检测头组成。
[0015]而且，所述步骤2中环境信息补偿的可靠关联线索生成模块由环境信息补偿模块和代价体组成，环境信息补偿模块包括三个扩张率不同的空洞卷积层，1
×
1卷积层和ReLU激活函数，两层3
×
3卷积归一化层ConvBN和一层3
×
3卷积层，代价体为前后两帧深度特征的逐像素相似度矩阵，通过环境信息补偿的可靠关联线索生成模块和主干网络编码器处理得到；关联线索引导的特征增强模块由一个偏移量矩阵、一个常规卷积层、一个可变形卷积层、一次矩阵乘法操作和一次Hadamard积操作组成。
[0016]而且，所述步骤2中环境信息补偿模块处理步骤包括如下2步：
[0017]步骤2.1.1：输入来自编码器的高维特征图(高、宽和通道数分别为h
F
、w
F
和64)记为E
target
，首先通过扩张率d分别为1、2和3的三种3
×
3空洞卷积层DConv对其提取特征，然后对所得到的三张特征图进行拼接得到拼接特征E
′
env
，通过1
×
1卷积层和ReLU激活函数对拼接特征进行处理得到环境信息特征图E
env
：
[0018][0019][0020]其中，下标3
×
3是卷积核大小，d表示扩张率；
[0021]步骤2.1.2：将环境信息特征图E
env
和E
target
作矩阵乘法得到环境信息补偿的特征图并依次通过两层3
×
3卷积归一化层ConvBN和一层3
×
3卷积层Conv得到环境信息补偿的嵌入向量E
target
：
[0022][0023][0024]而且，所述步骤2中代价体构建方法为：
[0025]步骤2.2.1：输入前一帧I
B
和当前帧I
C
，依次通过权值共享的编码器和环境信息补偿模块得到各自的嵌入特征图和对其做矩阵乘法得到代价体V
BC
：
[0026][0027]代价体V
BC
存储当前帧特征图各点像素(i，j)与前一帧特征图各点像素(k，l)的响应值。
[0028]而且，所述步骤2中关联线索引导的特征增强模块处理步骤包括如下5步：
[0029]步骤2.3.1：输入代价体V
BC
、前一帧检测结果R
B
(即前一帧的检测头输出，包括位
置、尺寸、分类特征图)、前一帧特征图和当前帧特征图首先，设检测目标交并比阈值为T
IOU
，利用R
B
中每个目标的宽w和高h计算得到对应目标(x，y)的高斯核半径r
g
，在对应位置上绘制高斯圆，最终生成前一帧检测结果的目标热力分布图H
B
：
[0030]r
g
＝min{r
g1
，r
g2
，r
g3
}
ꢀꢀ
(6)
[0031][0032]当i＝1时，a＝4*T
IOU
，b＝2*T
IOU
*(h+w)，c＝(T
IOU
‑
1)*(h*w)；
[0033]当i＝2时，a＝4，b＝...

【技术保护点】

【技术特征摘要】
1.一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于，包括以下步骤：步骤1，获取SAR视频，将SAR视频拆解成帧序列影像；步骤2，将相邻两帧SAR影像输入到训练好的基于时序外观特征聚合的目标检测网络模型中，处理时依次通过网络模型中的权值共享的主干网络编码器、环境信息补偿的可靠关联线索生成模块、关联线索引导的特征增强模块、检测头等模块处理，获取后一帧即当前帧SAR影像的动目标阴影检测结果；其中，权值共享的主干网络编码器用于提取原始图像的深度特征，输入原始图像，输出图像的深度特征；环境信息补偿的可靠关联线索生成模块用于提取前一帧深度特征图各像素与后一帧深度特征图各像素的相似度矩阵，输入前一帧和后一帧图像的深度特征，输出一个四维的逐像素的相似度矩阵；关联线索引导的特征增强模块用于采样前一帧特征图同名像素点与后一帧特征图进行加权相加，输入前一帧特征图和四维的逐像素的相似度矩阵，输出前一帧特征图同名像素点与后一帧特征图的加权相加矩阵；检测头用于输出检测任务相关的特征图，输入前一模块的加权相加矩阵，输出逐像素的与原始图像大小相同的位置、尺寸、分类特征图；步骤3，重复步骤2，按时间顺序处理所有的相邻两帧SAR影像对，获得视频SAR动目标阴影检测结果。2.如权利要求1所述的一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于：步骤2中权值共享的主干网络编码器包括ResNet、MobileNet、DLA
‑
34。3.如权利要求1所述的一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于：环境信息补偿的可靠关联线索生成模块由环境信息补偿模块和代价体组成，环境信息补偿模块包括三个扩张率不同的空洞卷积层，1
×
1卷积层和ReLU激活函数，两层3
×
3卷积归一化层和一层3
×
3卷积层；代价体为前后两帧深度特征的逐像素相似度矩阵，通过环境信息补偿的可靠关联线索生成模块和主干网络编码器处理得到。4.如权利要求3所述的一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于：环境信息补偿模块处理步骤包括如下2步；步骤2.1.1，输入来自编码器的高维特征图记为E
target
，高、宽和通道数分别为h
F
、w
F
和64，首先通过扩张率d分别为1、2和3的三种3
×
3空洞卷积层DConv对其提取特征，然后对所得到的三张特征图进行拼接，通过1
×
1卷积层和ReLU激活函数计算得到环境信息特征图E
env
：：其中，下标3
×
3是卷积核大小，d表示扩张率；步骤2.1.2，将环境信息特征图E
env
和E
target
作矩阵乘法得到环境信息补偿的特征图并依次通过两层3
×
3卷积归一化层ConvBN和一层3
×
3卷积层Conv得到环境信息补偿的嵌入向量E
′
target
：
5.如权利要求4所述的一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于：代价体的构建方法为：输入前一帧I
B
和当前帧I
C
，依次通过权值共享的主干网络编码器和环境信息补偿模块得到各自的嵌入特征图和对其做矩阵乘法得到代价体V
BC
：代价体V
BC
存储当前帧特征图各点像素(i，j)与前一帧特征图各点像素(k，l)的响应值。6.如权利要求1所述的一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于：关联线索引导的特征增强模块由一个偏移量矩阵、一个常规卷积层、一个可变形卷积层、一次矩阵乘法操作和一次Hadamard积操作组成。7.如权利要求5所述的一种基于时序外观特征聚合的视频SAR动目标阴影检测方法，其特征在于：关联线索引导的特征增强模块的处理步骤包括如下5步：步骤2.3.1，输入代价体V
BC
、前一帧检测结果R
B
、前一帧特征图和当前帧特征图首先，设检测目标交并比阈值为T
IOU
，利用R
B
中每个目标的宽w和高h计算得到对应目标(x，y)的高斯核半径r
g
，在对应位置上绘制高斯圆，最终生成前一帧检测结果的目标热力分布图H
B<...

【专利技术属性】
技术研发人员：汪韬阳，洪建智，
申请(专利权)人：武汉大学，
类型：发明
国别省市：