一种基于域适应特征融合的视频多目标跟踪方法技术

一种基于域适应特征融合的视频多目标跟踪方法，属于计算机视觉中的目标跟踪领域，要点是包括向基于域适应特征融合的视频多目标跟踪模型中输入待进行跟踪的红外视频；得到每个目标的位置信息和类别信息；得到每个目标的预测位置信息和预测类别信息；通过级联匹配方法进行匹配；更新匹配成功的目标在卡尔曼滤波器的状态，并增加匹配成功的目标的轨迹的长度；匹配失败的目标进行IOU匹配，判断匹配失败的目标是新出现的目标还是遗失的目标，为新出现的目标分配一个新轨迹，为遗失的目标增加遗失的目标丢失次数，丢失次数超过阈值后终止遗失的目标的轨迹；输出视频中所有目标的跟踪轨迹。本发明专利技术跟踪精度较高，且适用于多种目标跟踪的情况。

【技术实现步骤摘要】

本专利技术属于计算机视觉中的目标跟踪领域，具体公开了一种基于域适应特征融合的视频多目标跟踪方法。

技术介绍

1、随着经济和科技的飞速发展，红外热成像系统的体积和成本都有所下降，逐渐被民用化，无人汽车驾驶、无人飞机巡检和红外全景监测等多个民用领域也开始广泛采用红外目标检测与跟踪技术。无人驾驶的车辆在行车途中，除了捕捉静态信息之外，同时需要联合其他传感器，如红外传感器，根据目标的历史轨迹进行合理的轨迹预测，制定用于避障的策略。红外热成像仪搭载在多旋翼无人机上被用于跟踪输电线路，采用红外热成像仪对线路特征较清晰的红外图像进行分析处理后，调整控制信号，以保证持续跟踪输电线目标。油田监控预警也采用了全景红外成像来达到准确可靠、搜跟一体、全天候和全方位的安防要求。因此，红外目标智能检测跟踪技术的发展具有非常重要的理论意义和应用价值，有助于丰富军事侦察手段，提高军事侦察能力，具有较为广阔的应用前景。红外目标的检测跟踪技术中，已有传统算法很难适用于所有情况，且检测跟踪精度较低，因此应用深度学习理论优化红外地面目标智能检测跟踪技术是一个值得研究的方向，也是一项十分紧迫的任务本文档来自技高网...

【技术保护点】

1.一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，所述傅里叶风格迁移模块中傅里叶变换如公式（1）所示：

3.根据权利要求2所述的一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，所述学生网络模块包括学生特征提取网络、注意力特征融合模块、图像级对抗特征对齐模块和实例级原型对齐模块；所述学生特征提取网络用于对输入的所述目标域图像数据集和类目标域图像数据集进行特征提取，得到目标域图像特征集和类目标域图像特征集，所述目标域图像特征集包括高阶语义目标域特征图和低阶...

【技术特征摘要】

1.一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，所述傅里叶风格迁移模块中傅里叶变换如公式（1）所示：

3.根据权利要求2所述的一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，所述学生网络模块包括学生特征提取网络、注意力特征融合模块、图像级对抗特征对齐模块和实例级原型对齐模块；所述学生特征提取网络用于对输入的所述目标域图像数据集和类目标域图像数据集进行特征提取，得到目标域图像特征集和类目标域图像特征集，所述目标域图像特征集包括高阶语义目标域特征图和低阶语义目标域特征图，所述类目标域图像特征集包括高阶语义类目标域特征图和低阶语义类目标域特征图；所述注意力特征融合模块用于对所述高阶语义目标域特征图和低阶语义目标域特征图的信息进行融合，得到目标域特征图，对所述高阶语义类目标域特征图和低阶语义类目标域特征图进行融合，得到类目标域特征图；所述图像级对抗特征对齐模块用于进行图像级对抗特征对齐训练；所述实例级原型对齐模块用于进行实例级原型对齐训练。

4.根据权利要求3所述的一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，所述注意力特征融合模块对所述高阶语义目标域特征图和低阶语义目标域特征图的信息进行融合得到目标域特征图包括：在通道方向上将高阶语义目标域特征图p1和低阶语义目标域特征图p0连接得到特征图，将所述特征图传入1×1卷积实施通道和3×3卷积实施通道并整合跨通道信息获得初步合成目标域特征图，如公式（7）所示：

5.根据权利要求4所述的一种基于域适应特征融合的视频多目标跟踪方法，其特征在于，所述图像级对抗特征对齐模块包括梯度反转层和域分类网络，所述梯度反转层用于使所述学生特征提取网络与域分类网络之间形成对抗的关系；所述域分类网...

【专利技术属性】
技术研发人员：刘雪莉，卢湖川，尹宝才，齐恒，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：