一种面向无人机平台的红外车辆目标检测及跟踪方法技术

本发明专利技术涉及一种面向无人机平台的红外车辆目标检测及跟踪方法，包括以下步骤：构建YOLOv3的优化红外目标检测网络模型；对红外车辆目标数据集进行数据增强；在数据增强后的数据集上完成红外目标检测网络模型训练，并保存；加载红外目标检测网络模型，采用光流法进行相邻前后帧图片匹配，对目标检测结果进行校正；通过运动估计算法完成红外车辆目标跟踪。本发明专利技术使用轻量级的Mobilenetv3骨干网络，减少了模型运算量，便于在无人机嵌入式平台上移植。添加空间金字塔池化层实现了局部特征和全局特征，丰富了特征表达能力。解耦检测头的分类和定位部分极大的改善收敛速度并带来性能提升。提升。提升。

【技术实现步骤摘要】
一种面向无人机平台的红外车辆目标检测及跟踪方法


[0001]本专利技术涉及机器视觉目标检测跟踪领域，具体涉及一种面向无人机平台的红外车辆目标检测及跟踪方法。

技术介绍

[0002]随着多旋翼无人机智能系统技术研究的兴起，人工智能和模式识别技术在无人机系统的应用是近年来科技领域特别关注的话题。无人机轻便灵活，可以提供更广阔、更灵活的天空视角，能够实现远距离信息传输，飞至人员无法到达的区域，因此广泛应用于军事、农业、交通航拍、巡检、勘查、货运物流、农牧业等领域。
[0003]当光源不足或目标暴露在恶劣天气下时，可见光成像会严重影响目标成像质量。任何温度大于绝对零度的物体都会发出热辐射。红外成像技术通过光电技术接收这种热辐射的红外信号，从而在成像系统中显示出人类可以识别的图像。通常红外目标信号强度较弱，容易被淹没在背景中，而且红外目标缺乏纹理特征，传统的检测算法通过纹理特征往往不能正确的识别红外目标。此外，在上述环境中存在许多干扰，会影响目标的识别，导致误跟踪和跟踪丢失的发生。随着硬件计算资源的提高，基于深度学习的方法对复杂视觉场景的理解和目标识别能力取得显著进步。在无人机上搭载视觉系统，利用深度学习技术，对拍摄的图片和视频信息进行相关处理，实现特定环境中红外目标的检测和跟踪。
[0004]目前面向无人机平台的红外车辆目标检测算法较少，直接将可见光深度学习目标检测方法用在红外目标检测上效果不好。目标交汇与遮挡时容易跟踪错误或者丢失。另外，需要解决无人机平台运动带来图像抖动对跟踪的影响。

技术实现思路

[0005]本专利技术针对现有技术的不足，专利技术一种面向无人机平台的红外车辆目标检测及跟踪方法，该方法有效解决了无人机平台采集的红外车辆目标由于背景复杂，目标轮廓不清楚、纹理细节少引起的错检漏检，提高了红外车辆目标检测识别的能力。同时根据目标检测结果实现对目标的稳定跟踪。
[0006]本专利技术为实现上述目的所采用的技术方案是：一种面向无人机平台的红外车辆目标检测及跟踪方法，包括以下步骤：
[0007]步骤1：构建YOLOv3的优化红外目标检测网络模型；
[0008]步骤2：对红外车辆目标数据集进行数据增强；
[0009]步骤3：在数据增强后的数据集上完成红外目标检测网络模型训练，并保存；
[0010]步骤4：加载红外目标检测网络模型，采用光流法进行相邻前后帧图片匹配，对目标检测结果进行校正；
[0011]步骤5：通过运动估计算法完成红外车辆目标跟踪。
[0012]所述步骤1中的YOLOv3的优化红外目标检测网络模型，使用Mobilenetv3替代YOLOv3网络模型中的骨干网络Darknet53；
[0013]在Mobilenetv3与特征融合层之间采用空间金字塔池化层，以提取不同尺度的特征；
[0014]所述空间金字塔池化层由四个并行的分支构成，分别是kernel size为5
×
5,9
×
9,13
×
13的最大池化和一个跳跃连接。
[0015]所述步骤1中的YOLOv3的优化红外目标检测网络模型，解耦检测头的分类和定位部分包括计算分类、定位损失；所述计算分类采用二分类交叉熵损失训练类别与置信度分支，定位损失使用IOU相关损失函数训练定位分支。
[0016]所述使用IOU相关损失函数训练定位分支为采用DIOU方法训练定位损失。
[0017]所述步骤2对红外车辆目标数据集进行数据增强包括马赛克增强方法和混合叠加增强方法；
[0018]马赛克增强方法具体如下：
[0019]对数据集中任意四张图片进行拼接，每一张图片都有其对应的目标框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的目标框，将一张新的图片传入到红外目标检测网络模型中进行训练；
[0020]混合叠加增强方法具体如下：
[0021]指数据集中随机抽取两个图片进行随机加权求和，同时图片的标签也对应加权求和；经红外目标检测网络模型得到包括分类和定位的预测结果、与加权求和之后的标签求损失，再反向求导更新参数，实现红外目标检测网络模型中进行训练。
[0022]步骤3在数据增强后的数据集上完成检测网络模型训练，采用SGD优化算法，使用余弦退火算法进行学习率更新。
[0023]所述步骤4中采用光流法进行相邻前后帧图片匹配，对目标检测结果进行校正，包括以下步骤：
[0024]采用光流法进行相邻前后帧图片匹配，对检测结果校正采用稀疏光流算法对前后帧图像进行匹配；
[0025]根据匹配结果，将后一帧检测结果坐标进行调整，将其映射前一帧图像坐标中，实现跟踪坐标系的功能。
[0026]所述步骤5通过运动估计算法完成红外车辆目标跟踪，具体如下：
[0027]步骤5.1、对检测到的目标，根据卡尔曼滤波算法构建跟踪器；
[0028]当前帧的目标状态表示为[u,v,s,r,u',v',s']T
；其中，(u,v)是边界框中心位置的坐标，(s,r)是边界框的比例和纵横比，u'、v'分别表示预测的边界框中心位置的坐标，s'表示预测的边界框的比例；
[0029]对于新一帧，通过跟踪器对新一帧的运动状态进行预测；
[0030]步骤5.2、将每帧检测到的目标与跟踪器预测目标进行匹配，以达到跟踪目的。
[0031]步骤5.2具体如下：
[0032]利用匈牙利算法匹配跟踪器预测目标和当前帧的检测目标；
[0033]若匹配成功，将检测目标更新为跟踪器预测目标；
[0034]否则，不匹配的目标作为新的候选目标，并为其建立候选跟踪器；如果这些候选跟踪器在连续多帧中匹配到检测目标，则将被用作新的跟踪器。
[0035]一种面向无人机平台的红外车辆目标检测及跟踪方法，还包括步骤5.3，具体如
下：
[0036]1)设定计数器统计每一检测目标的累计出现次数，在连续帧间获得关联目标时让计数器的数值累加1，当累计值高于阈值时，以该检测目标创建新的运动轨迹，并停止累加，以得到新生目标的跟踪器；
[0037]2)对于处于跟踪状态的目标，其轨迹在每帧中获得新的检测目标与之关联，当该关联的代价大于跟踪半径时，仍认为轨迹没有获得更新，否则，使用检测目标更新该目标轨迹的状态；
[0038]3)处于跟踪状态中的目标，若其运动轨迹没有获得新检测目标位置，则以跟踪器预测目标更新该目标轨迹的状态，同时，令该运动轨迹的累计计数减1；
[0039]4)在每一帧目标关联结束后，统计所有目标的运动轨迹；若某一轨迹中最后位置的计数值低于零，则将该运动轨迹移除，该目标跟踪器消失。
[0040]本专利技术具有以下有益效果及优点：
[0041](1)使用轻量级的Mobilenetv3骨干网络，减少了模型运算量，便于在无人机嵌入式平台上移植。
[0042](2)添加空间金字塔池化曾实现了局部特征和全局特征，丰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向无人机平台的红外车辆目标检测及跟踪方法，其特征在于，包括以下步骤：步骤1：构建YOLOv3的优化红外目标检测网络模型；步骤2：对红外车辆目标数据集进行数据增强；步骤3：在数据增强后的数据集上完成红外目标检测网络模型训练，并保存；步骤4：加载红外目标检测网络模型，采用光流法进行相邻前后帧图片匹配，对目标检测结果进行校正；步骤5：通过运动估计算法完成红外车辆目标跟踪。2.根据权利要求1所述的一种面向无人机平台的红外车辆目标检测及跟踪方法，其特征在于，所述步骤1中的YOLOv3的优化红外目标检测网络模型，使用Mobilenetv3替代YOLOv3网络模型中的骨干网络Darknet53；在Mobilenetv3与特征融合层之间采用空间金字塔池化层，以提取不同尺度的特征；所述空间金字塔池化层由四个并行的分支构成，分别是kernel size为5
×
5,9
×
9,13
×
13的最大池化和一个跳跃连接。3.根据权利要求1所述的一种面向无人机平台的红外车辆目标检测及跟踪方法，其特征在于，所述步骤1中的YOLOv3的优化红外目标检测网络模型，解耦检测头的分类和定位部分包括计算分类、定位损失；所述计算分类采用二分类交叉熵损失训练类别与置信度分支，定位损失使用IOU相关损失函数训练定位分支。4.根据权利要求3所述的一种面向无人机平台的红外车辆目标检测及跟踪方法，其特征在于，所述使用IOU相关损失函数训练定位分支为采用DIOU方法训练定位损失。5.根据权利要求1所述的一种面向无人机平台的红外车辆目标检测及跟踪方法，其特征在于，所述步骤2对红外车辆目标数据集进行数据增强包括马赛克增强方法和混合叠加增强方法；马赛克增强方法具体如下：对数据集中任意四张图片进行拼接，每一张图片都有其对应的目标框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的目标框，将一张新的图片传入到红外目标检测网络模型中进行训练；混合叠加增强方法具体如下：指数据集中随机抽取两个图片进行随机加权求和，同时图片的标签也对应加权求和；经红外目标检测网络模型得到包括分类和定位的预测结果、与加权求和之后的标签求损失，再反向求导更新参数，实现红外目标检测网络模型中进行训练。6.根据权利要求1所述的一种面向无人机平台的红外车辆目标检测及跟踪方法，其特征在于，步骤3在数据增强后的数据集...

【专利技术属性】
技术研发人员：史泽林，向伟，刘云鹏，蓝德岩，邬抒航，刘鑫，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：