基于注意力特征融合的无人机视频多目标跟踪方法技术

本发明专利技术公开了基于注意力特征融合的无人机视频多目标跟踪方法，针对无人机多目标跟踪视频中由于复杂背景因素干扰、遮挡、视点高度和角度多变等问题。构建无人机多目标跟踪算法网络模型并进行训练，网络的骨干网络选择了34层残差网络，特征提取部分设计了结合三元组注意力机制的特征提取网络，上采样部分设计了级联特征融合模块组成；本发明专利技术设计的注意力机制所带来的优化特征令多目标的表达能力更强，设计的多尺度信息融合通道更有利于对无人机航拍视频中小目标的跟踪，优化特征使关联算法对无人机视频中多目标轨迹预测的精准度进一步提高。提高。提高。

【技术实现步骤摘要】
基于注意力特征融合的无人机视频多目标跟踪方法


[0001]本专利技术涉及一种视频多目标跟踪方法，融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术，特别涉及一种注意力特征融合的无人机视频多目标跟踪算法。

技术介绍

[0002]相比于载人飞机，无人机因其体积小、隐蔽性强、反应快速、对作战环境要求低和能迅速到达现场等优势，被广泛应用于军事和民用领域。而无人机的广泛应用需要目标跟踪技术，它能极大增强无人机的自主飞行和监控能力，使得无人机能够完成更多种类的任务，并且适应更复杂多变的环境。因此，研究有效而稳定的多目标跟踪算法对于无人机的应用具有重大的意义。无人机在飞行过程中拍摄视角和飞行速度经常会发生改变，导致目标易发生形变、遮挡等情况，经典跟踪算法效果较差。随着人工智能技术在近几年来的的飞速发展，多目标跟踪在现有基于卷积神经网络的机器视觉技术支持下，建立了一套以目标检测为底层技术的任务模式，通过对于目标检测的结果进行数据关联，来实现对多个目标的在一段视频流内的检测结果的轨迹绘制，满足对多个跟踪需求。多目标跟踪技术的发展主要体现在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力特征融合的无人机视频多目标跟踪方法，其特征在于：该方法包括以下步骤，S1：选取大量无人机航拍视频，并对其中多目标进行标注，构建标准多目标跟踪数据集；S2：构建无人机多目标跟踪算法网络模型并进行训练，网络的骨干网络选择了34层残差网络，特征提取部分设计了结合三元组注意力机制的特征提取网络，上采样部分设计了级联特征融合模块组成；S3：设置检测置信度阈值，并将无人机视频转化为图像帧输入系统，并读入第1帧；S4：利用训练好的算法模型提取对于第一帧的目标检测结果，保存多目标的目标框及每个目标重识别特征，创建目标框的数据关联样本集G
bbox
与重识别特征组G
ReID
，并分别通过卡尔曼滤波器得到两个预测值；S5：读取下一帧；S6：对当前帧进行特征提取，得到含有优化权重的三元组注意力特征，再将特征进行级联融合上采样，得到有丰富语义信息与位置信息的特征头，并对特征头进行处理；S7：将当前帧重识别特征组与上一帧的卡尔曼滤波预测结果进行匈牙利算法匹配，在G
ReID
中关联中多个目标的重识别特征，组成初步的多目标轨迹；S8：将当前帧检测框集合与上一帧卡尔曼滤波预测结果进行匈牙利算法匹配，在G
bbox
中关联中多个目标的检测框，完善多目标轨迹；S9：对G
ReID
与G
bbox

【专利技术属性】
技术研发人员：刘芳，浦昭辉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：