【技术实现步骤摘要】
本专利技术涉及视频目标检测跟踪，具体涉及一种联合时域运动特征的高速视频高可靠目标跟踪方法。
技术介绍
1、目标跟踪算法根据传感器(可见光或红外相机)采集的视频信息，根据初始时段标注的目标信息，对目标进行外观特征建模和运动特征建模，在后续视频帧中实现复杂背景下鲁棒的目标跟踪。当前，随着光学传感器技术的不断发展，高速相机能够以每秒数百帧的帧率捕捉目标运动，这有利于跟踪算法获取更多的目标信息从而提升跟踪性能，但也对算法的处理能力和效率提出了更高的要求。
2、在目标跟踪任务中，为防止运动目标移出传感器的视场范围，需要根据跟踪算法输出的目标坐标得到目标的图像脱靶量，输入到伺服系统以调整相机镜头的姿态，确保目标尽可能保持在拍摄图像的视场中心，完成目标的跟踪闭环。因此，实现高可靠的目标跟踪是光电跟踪系统对跟踪算法的现实需求。传统的目标跟踪算法仅依赖于目标在图像中的外观特征，例如wu等(h.wu,w.li,w.li,and g.liu,"a real-time robust approach fortracking uavs in infrared videos,"in ieee conference on computer vision andpattern recognition workshops,2020,pp.4448-4455)利用深度学习网络提取目标的外观特征以跟踪红外视频的无人机，而在实际应用中，山地、云层、海面等复杂背景会严重影响基于外观特征的目标判别。因此，需要联合时域运动特征以提高目标跟踪的可靠性，例如siam
技术实现思路
1、本专利技术提出一种联合时域运动特征的高速视频鲁棒目标跟踪方法，用以提高复杂场景中运动目标跟踪的可靠性。
2、本专利技术的技术方案：
3、一种联合时域运动特征的高速视频高可靠目标跟踪方法，首先利用基于深度学习的快速全局目标跟踪模块，根据目标外观特征，产生高帧率的候选目标跟踪结果；然后使用联合时域运动特征的目标跟踪模块，根据候选目标的运动轨迹特征，对高帧率的跟踪结果进行验证，输出更加可靠的目标跟踪结果；最后将目标图像位置转换为脱靶量并输入到伺服系统中，以控制传感器对准目标，从而实现目标跟踪闭环。具体步骤如下：
4、(1)基于深度学习的快速全局目标跟踪：
5、(1.1)特征提取：使用参数共享的resnet50网络提取视频首帧和当前帧的4层不同分辨率的特征，分辨率为[h/stride,w/stride]，记h＝h/stride和w＝w/stride，其中h和w分别为视频帧的高度和宽度，stride∈{4,8,16,32}；然后使用fpn(feature pyramidnetwork)进行特征增强，分辨率等级l的特征图分别对应处理尺寸大小为[0,10)、[10,20)、[20,40)和[40,+∞)的目标，其中l＝0,1,2,3与stride相对应。
6、(1.2)信息融合：通过互相关操作以实现首帧与当前帧的信息融合，也可以视作指定目标对当前帧的全局查询。具体来说，对于首帧，根据真值使用roi(region-of-interest)对齐操作提取目标的特征，得到7×7×c的张量z，其中c为通道数。假设l表示由大到小4个尺寸等级的特征索引，则互相关操作的具体计算方法如下：
7、
8、其中，xl为当前帧的特征，为一个1×1的卷积层用于变换通道数，为一个3×3的卷积层用于预处理特征xs，为卷积操作，为一个padding为0的7×7卷积层用于将z转换为1×1×c的卷积核。
9、使用注意力模块做进一步增强融合后的特征，注意力模块包含通道注意力模块和空间注意力模块，特征x′l依次经过通道注意力模块和空间注意力模块的处理后得到最终的融合特征x″′l。其中，通道注意力模块的计算方法如公式(2)所示，空间注意模块的计算方法如公式(3)所示。
10、
11、
12、其中，⊙表示按元素点乘操作，mlp(multi-layer perceptron)为多层感知机，和分别为最大池化和平均池化，[·]表示连接操作。通道注意力模块产生1×1×c维的张量权重，而空间注意力模块产生h×w×1维的张量权重。
13、(1.3)输出部分：在输出头模块中，x″′l经过一个3×3的卷积层后，分别进入一个分类分支得到h×w×1维的分数图sl，和一个回归分支得到h×w×4维的目标框张量bl，其中bl的最后一维表示目标的左上和右下角点(x0,y0,x1,y1)。需要注意的是对于4个层级的特征x″′l，输出头的参数是共享的。分类分支中，4个层级的分数图中最大值位置对应着候选目标的位置o，并根据回归分支的对应位置得到候选目标的预测尺寸。
14、(2)联合时域运动特征的目标跟踪
15、基于高帧率视频中少数帧间的目标运动可近似为匀速直线运动的假设，根据每n-1帧的候选目标位置，通过ransac方法拟合目标运动轨迹，用以判断第n帧中目标预测位置的准确性，再经过分析处理后仅将第n帧的目标位置作为结果输出，因此n可视为输出帧率降低倍数。其具体步骤如下：
16、(2.1)将1到n-1帧的候选目标位置o映射到同一坐标系中，计算方法如下：
17、
18、其中，(x,y)表示原坐标系中候选目标的位置oi，(δx,δy)表示伺服系统控制的平台运动补偿，表示运动补偿后映射到同一坐标系的候选目标位置。
19、(2.2)对进行ransac处理，得到拟合的目标运动轨迹，进而得到基于运动特征的预测目标位置如果基于外观的预测候选目标位置与基于运动特征的预测目标位置的位置差值小于阈值η，则认为基于外观的预测目标位置准确，否则认为不准确，并使用基于运动特征的预测目标位置on作为当前帧的目标位置。
20、(3)脱靶量计算
21、传感器的伺服系统需要脱靶量作为系统输入，将目标图像位置转换为脱靶量并输入到伺服系统中，以控制传感器对准目标；
22、将目标位置转为脱靶量δ的计算方法如下：
23、δ＝(本文档来自技高网...
【技术保护点】
1.一种联合时域运动特征的高速视频高可靠目标跟踪方法，其特征在于，首先利用基于深度学习的快速全局目标跟踪模块，根据目标外观特征，产生高帧率的候选目标跟踪结果；然后使用联合时域运动特征的目标跟踪模块，根据候选目标的运动轨迹特征，对高帧率的跟踪结果进行验证，输出更加可靠的目标跟踪结果；最后将目标图像位置转换为脱靶量并输入到伺服系统中，以控制传感器对准目标，从而实现目标跟踪闭环；具体步骤如下：
【技术特征摘要】
1.一种联合时域运动特征的高速视频高可靠目标跟踪方法，其特征在于，首先利用基于深度学习的快速全局目标跟踪模块，根据目标外观特征，产生高帧率的候选目标跟踪结果；然后使用联合时域运动特征的目标跟踪模块...
【专利技术属性】
技术研发人员：张锐，艾葳，王玉坤，崇元，贾娜，徐淑卿，刘建男，
申请(专利权)人：中国人民解放军九一五五零部队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。