一种小型低飞目标视觉检测跟踪系统及其方法技术方案

本发明专利技术公开了一种小型低飞目标视觉检测跟踪系统及其方法，系统包括：视频数据输入单元、视频预处理单元、训练数据构建单元、检测模型训练单元、目标比对筛选单元、检测校正单元、基准帧初始化单元、样本库动态构建单元、在线学习单元、位置精修单元、决策控制单元和跟踪结果输出单元。方法包括：目标检测网络构建，目标比对筛选；目标跟踪在线学习；动态构建分类器训练样本库，目标跟踪位置精修；本发明专利技术的优点是：能够有效缓解跟踪目标由于遮挡、尺度变化、光照等因素造成的跟踪漂移状况的发生，可以实现鲁棒的目标跟踪。具备根据目标变化及时更新基准帧特征的能力，同时引入特征点匹配算法又可以避免由于更新基准帧特征带来的错误跟踪。

【技术实现步骤摘要】
一种小型低飞目标视觉检测跟踪系统及其方法
本专利技术涉及飞行目标跟踪
，特别涉及一种基于神经网络和在线学习的小型低飞目标检测与跟踪系统及其检测与跟踪方法。
技术介绍
目前已经存在一些联合检测与跟踪的相关方法和一些适用于低慢小目标的跟踪方法。现有方法通过相关滤波类方法实现短时目标跟踪，在跟踪失败时采用基于神经网络的目标检测方法实现重定位目标的功能。相关专利和研究技术如下：中国专利技术专利，名称为：一种基于相关滤波与目标检测的鲁棒性长期跟踪方法，申请号：CN201910306616.4；该专利技术通过相关滤波方法实现目标跟踪，使用一阶段目标检测器YOLO进行目标检测，得到检测结果后使用SURF特征点匹配方法选定匹配点数最高的候选框作为重新初始化跟踪器的目标包围框，最终达到长期跟踪的效果。然而这种方法没有考虑到检测器中目标与背景极端不平衡的问题，而且无法适用于小目标长期跟踪场景中。中国专利技术专利，名称为：一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法，申请号：201910117155.6；它在较小搜索区域使用相关滤波类方法得到预测响应图以确定预测目标的中心位置，在较大搜索区域使用显著性检测方法来确定预测目标的尺度，实现了一种适应于低空慢速无人机的跟踪方法。然而该方法在目标跟踪失败后没有做出进一步处理，精度有待进一步提高。综合上述现有技术，它们都没有解决单目标检测跟踪中出现的目标背景极端不平衡的问题，网络性能还没有达到最优，针对小目标的跟踪精度还有进一步提高的空间。专利技术内容本专利技术针对现有技术的缺陷，提供了一种小型低飞目标视觉检测跟踪系统及其方法，解决了现有技术中存在的缺陷。为了实现以上专利技术目的，本专利技术采取的技术方案如下：一种小型低飞目标检测跟踪系统，其包括：视频数据输入单元、视频预处理单元、训练数据构建单元、检测模型训练单元、目标比对筛选单元、检测校正单元、基准帧初始化单元、样本库动态构建单元、在线学习单元、位置精修单元、决策控制单元和跟踪结果输出单元。所述视频数据输入单元用于：输入包含目标的若干视频序列，并随机分成两部分，一部分用于训练目标检测模型，一部分用于目标跟踪模型的在线测试。所述视频预处理单元用于：根据目标检测和跟踪单元的需要完成前期视频预处理工作，具体包含删减掉长时间没有目标的视频片段，剔除明显不符合低空空域以缓慢时速飞行的小型目标特点的视频片段等。所述训练数据构建单元用于：保证训练数据的完备性和丰富性，采取等间隔抽取视频帧的方式构建训练集和验证集，并进行数据的标注，即确定图像中目标的中心位置、宽和高信息，用于有监督的训练目标检测模型。所述检测模型训练单元用于：创建金字塔结构的目标检测网络，并使用焦点损失来缓解目标背景不平衡的问题。观测训练损失函数趋于稳定后停止训练过程，保存验证过程中性能最优的模型文件，用于在目标跟踪失败时提供重置框信息。所述目标比对筛选单元用于：使用SURF特征匹配算法对所跟踪视频第一帧真值框和检测结果进行比对，剔除明显不是低慢小目标的虚警，进一步保障长时稳定跟踪的鲁棒性。所述检测校正单元用于：当出现以下两种情况时启动检测校正单元，一是当跟踪框位置置信度低于设定阈值时，说明当前帧目标跟踪失败则启动检测校正单元；二是到达指定帧数间隔自动启动检测校正单元，保证当前正在跟踪目标与基准帧目标特征不会差距过大。所述基准帧初始化单元用于：根据接收到的基准框目标位置和尺度信息，按目标尺寸的5倍大小裁剪出搜索区域，并经过图像放缩到指定大小288*288，将指定尺寸的搜索区域图像块和目标位置尺度信息等输入到分类器动态构建样本库中。所述样本库动态构建单元用于：对基准帧样本进行数据增强，包括旋转、缩放、抖动和模糊的基本操作，并接收在跟踪过程中新增的样本。所述在线学习单元使用深度网络ResNet18网络对样本库中保存的样本进行特征提取，再经过两个全连接层之后获得预测高斯响应图，同时根据样本库中的标签信息以目标中心为高斯分布的峰值点生成真值高斯标签，以缩小预测高斯响应图和真值高斯标签间的差距为优化目标在线调整两个全连接层的参数，达到在没有标签的情况下通过特征提取网络和全连接层实现预测高斯响应图和获得预测目标位置中心的目的。所述位置精修单元用于：对在线学习单元获得的初始跟踪结果进行位置精修，以当前帧在线学习单元获得的预测目标位置中心和上一帧得到的目标尺度宽高为参考，获得若干抖动框，并映射到当前帧搜索区域上使用精准感兴趣区域池化层进行抖动框的特征提取，和由基准帧获得的调制特征进行拼接最后经过全连接层得到各个抖动框的预测位置置信度，将置信度最高的3个抖动框的结果进行合并，即为精修后当前帧的跟踪结果。所述决策控制单元用于：在跟踪过程中通过跟踪框的预测位置置信度与设定阈值关系来判断目标跟踪状态，如果目标被稳定跟踪，则继续进行下一帧的跟踪，如果已经跟丢，则激活检测校正单元进行当前帧的目标检测，并更新基准帧，以实现低慢小目标的长时稳定跟踪。所述跟踪结果输出单元用于：在遍历完视频所有帧后，输出各帧位置和尺度信息。本专利技术还公开了一种小型低飞目标视觉检测跟踪方法，包括如下步骤：步骤1，目标检测网络构建；1)构建网络结构，包括：主干网络、分类子网和回归子网；2)损失函数，使用焦点损失解决目标检测中正负样本比例严重失衡的问题，降低简单负样本在训练中所占的权重。步骤2，目标比对筛选；在送入检测校正单元之前，先进行一次SURF特征点匹配，将当前视频的的第一帧目标与检测结果进行特征匹配，当匹配点数大于设定值时，说明检测结果确实是当前需要跟踪的目标，说明检测成功，此时将检测框送入检测校正单元，进行后续过程。步骤3，目标跟踪在线学习；预测目标中心位置，包含初始化分类器和在线分类过程两部分：1)初始化分类器对样本库中经过数据增强的基准帧，利用特征提取网络提取特征，同时以基准帧目标中心位置为峰值生成与特征图相同大小的二维高斯真值标签ygt，根据特征和标签初始化分类器，用最小二乘优化算法尽量缩小实际值和真实值之间的距离，并用高斯牛顿迭代法求解非线性最小二乘问题；公式如下：在(1)式中，x∈{1，…，M}表示基准帧目标中心点的水平方向坐标，M为特征图的宽；y∈{1，…，N}表示基准帧目标中心点的竖直方向坐标，N为特征图的高；σ为高斯带宽。2)在线分类过程根据前一帧(第t-1帧)跟踪结果(xt-1，yt-1，wt-1，ht-1)(其中(xt-1，yt-1)为估计目标的中心坐标，(wt-1，ht-1)为估计目标的宽和高)，以前一帧目标中心位置为当前帧(第t帧)目标搜索区域中心，按指定比例k扩展宽、高，生成当前帧搜索区域(xt-1，yt-1，k*wt-1，k*ht-1)。然后，使用特征提取网络提取搜索区域的特征ft，经过两个全连接层后生成与搜索区域尺寸一致的预测高斯响应图(表示全连接层的映射函数；weight1,weight2表本文档来自技高网...

【技术保护点】
1.一种小型低飞目标检测跟踪系统，其特征在于，包括：视频数据输入单元、视频预处理单元、训练数据构建单元、检测模型训练单元、目标比对筛选单元、检测校正单元、基准帧初始化单元、样本库动态构建单元、在线学习单元、位置精修单元、决策控制单元和跟踪结果输出单元；/n所述视频数据输入单元用于：输入包含目标的若干视频序列，并随机分成两部分，一部分用于训练目标检测模型，一部分用于目标跟踪模型的在线测试；/n所述视频预处理单元用于：根据目标检测和跟踪单元的需要完成前期视频预处理工作，具体包含删减掉长时间没有目标的视频片段，剔除明显不符合低空空域以缓慢时速飞行的小型目标特点的视频片段等；/n所述训练数据构建单元用于：保证训练数据的完备性和丰富性，采取等间隔抽取视频帧的方式构建训练集和验证集，并进行数据的标注，即确定图像中目标的中心位置、宽和高信息，用于有监督的训练目标检测模型；/n所述检测模型训练单元用于：创建金字塔结构的目标检测网络，并使用焦点损失来缓解目标背景不平衡的问题；观测训练损失函数趋于稳定后停止训练过程，保存验证过程中性能最优的模型文件，用于在目标跟踪失败时提供重置框信息；/n所述目标比对筛选单元用于：使用SURF特征匹配算法对所跟踪视频第一帧真值框和检测结果进行比对，剔除明显不是低慢小目标的虚警，进一步保障长时稳定跟踪的鲁棒性；/n所述检测校正单元用于：当出现以下两种情况时启动检测校正单元，一是当跟踪框位置置信度低于设定阈值时，说明当前帧目标跟踪失败则启动检测校正单元；二是到达指定帧数间隔自动启动检测校正单元，保证当前正在跟踪目标与基准帧目标特征不会差距过大；/n所述基准帧初始化单元用于：根据接收到的基准框目标位置和尺度信息，按目标尺寸的5倍大小裁剪出搜索区域，并经过图像放缩到指定大小288*288，将指定尺寸的搜索区域图像块和目标位置尺度信息等输入到分类器动态构建样本库中；/n所述样本库动态构建单元用于：对基准帧样本进行数据增强，包括旋转、缩放、抖动和模糊的基本操作，并接收在跟踪过程中新增的样本；/n所述在线学习单元使用深度网络ResNet18网络对样本库中保存的样本进行特征提取，再经过两个全连接层之后获得预测高斯响应图，同时根据样本库中的标签信息以目标中心为高斯分布的峰值点生成真值高斯标签，以缩小预测高斯响应图和真值高斯标签间的差距为优化目标在线调整两个全连接层的参数，达到在没有标签的情况下通过特征提取网络和全连接层实现预测高斯响应图和获得预测目标位置中心的目的；/n所述位置精修单元用于：对在线学习单元获得的初始跟踪结果进行位置精修，以当前帧在线学习单元获得的预测目标位置中心和上一帧得到的目标尺度宽高为参考，获得若干抖动框，并映射到当前帧搜索区域上使用精准感兴趣区域池化层进行抖动框的特征提取，和由基准帧获得的调制特征进行拼接最后经过全连接层得到各个抖动框的预测位置置信度，将置信度最高的3个抖动框的结果进行合并，即为精修后当前帧的跟踪结果；/n所述决策控制单元用于：在跟踪过程中通过跟踪框的预测位置置信度与设定阈值关系来判断目标跟踪状态，如果目标被稳定跟踪，则继续进行下一帧的跟踪，如果已经跟丢，则激活检测校正单元进行当前帧的目标检测，并更新基准帧，以实现低慢小目标的长时稳定跟踪；/n所述跟踪结果输出单元用于：在遍历完视频所有帧后，输出各帧位置和尺度信息。/n...

【技术特征摘要】
1.一种小型低飞目标检测跟踪系统，其特征在于，包括：视频数据输入单元、视频预处理单元、训练数据构建单元、检测模型训练单元、目标比对筛选单元、检测校正单元、基准帧初始化单元、样本库动态构建单元、在线学习单元、位置精修单元、决策控制单元和跟踪结果输出单元；
所述视频数据输入单元用于：输入包含目标的若干视频序列，并随机分成两部分，一部分用于训练目标检测模型，一部分用于目标跟踪模型的在线测试；
所述视频预处理单元用于：根据目标检测和跟踪单元的需要完成前期视频预处理工作，具体包含删减掉长时间没有目标的视频片段，剔除明显不符合低空空域以缓慢时速飞行的小型目标特点的视频片段等；
所述训练数据构建单元用于：保证训练数据的完备性和丰富性，采取等间隔抽取视频帧的方式构建训练集和验证集，并进行数据的标注，即确定图像中目标的中心位置、宽和高信息，用于有监督的训练目标检测模型；
所述检测模型训练单元用于：创建金字塔结构的目标检测网络，并使用焦点损失来缓解目标背景不平衡的问题；观测训练损失函数趋于稳定后停止训练过程，保存验证过程中性能最优的模型文件，用于在目标跟踪失败时提供重置框信息；
所述目标比对筛选单元用于：使用SURF特征匹配算法对所跟踪视频第一帧真值框和检测结果进行比对，剔除明显不是低慢小目标的虚警，进一步保障长时稳定跟踪的鲁棒性；
所述检测校正单元用于：当出现以下两种情况时启动检测校正单元，一是当跟踪框位置置信度低于设定阈值时，说明当前帧目标跟踪失败则启动检测校正单元；二是到达指定帧数间隔自动启动检测校正单元，保证当前正在跟踪目标与基准帧目标特征不会差距过大；
所述基准帧初始化单元用于：根据接收到的基准框目标位置和尺度信息，按目标尺寸的5倍大小裁剪出搜索区域，并经过图像放缩到指定大小288*288，将指定尺寸的搜索区域图像块和目标位置尺度信息等输入到分类器动态构建样本库中；
所述样本库动态构建单元用于：对基准帧样本进行数据增强，包括旋转、缩放、抖动和模糊的基本操作，并接收在跟踪过程中新增的样本；
所述在线学习单元使用深度网络ResNet18网络对样本库中保存的样本进行特征提取，再经过两个全连接层之后获得预测高斯响应图，同时根据样本库中的标签信息以目标中心为高斯分布的峰值点生成真值高斯标签，以缩小预测高斯响应图和真值高斯标签间的差距为优化目标在线调整两个全连接层的参数，达到在没有标签的情况下通过特征提取网络和全连接层实现预测高斯响应图和获得预测目标位置中心的目的；
所述位置精修单元用于：对在线学习单元获得的初始跟踪结果进行位置精修，以当前帧在线学习单元获得的预测目标位置中心和上一帧得到的目标尺度宽高为参考，获得若干抖动框，并映射到当前帧搜索区域上使用精准感兴趣区域池化层进行抖动框的特征提取，和由基准帧获得的调制特征进行拼接最后经过全连接层得到各个抖动框的预测位置置信度，将置信度最高的3个抖动框的结果进行合并，即为精修后当前帧的跟踪结果；
所述决策控制单元用于：在跟踪过程中通过跟踪框的预测位置置信度与设定阈值关系来判断目标跟踪状态，如果目标被稳定跟踪，则继续进行下一帧的跟踪，如果已经跟丢，则激活检测校正单元进行当前帧的目标检测，并更新基准帧，以实现低慢小目标的长时稳定跟踪；
所述跟踪结果输出单元用于：在遍历完视频所有帧后，输出各帧位置和尺度信息。


2.根据权利要求1所述的一种小型低飞目标检测跟踪系统的检测跟踪方法，其特征在于，包括如下步骤：
步骤1，目标检测网络构建；
1)构建网络结构，包括：主干网络、分类子网和回归子网；
2)损失函数，使用焦点损失解决目标检测中正负样本比例严重失衡的问题，降低简单负样本在训练中所占的权重；
步骤2，目标比对筛选；
在送入检测校正单元之前，先进行一次SURF特征点匹配，将当前视频的的第一帧目标与检测结果进行特征匹配，当匹配点数大于设定值时，说明检测结果确实是当...

【专利技术属性】
技术研发人员：陶然，李伟，黄展超，马鹏阁，揭斐然，
申请(专利权)人：北京理工大学，郑州航空工业管理学院，中国航空工业集团公司洛阳电光设备研究所，
类型：发明
国别省市：北京;11