一种基于对比学习的飞行目标跟踪方法和系统技术方案

本发明专利技术给出了一种基于对比学习的飞行目标跟踪方法和系统，属于计算机视觉技术领域，包括：获取不同气候和光照条件下的飞行目标图像序列；获取负样本图像集、正样本图像集和锚点样本；构建三重孪生网络；并对三重孪生网络进行参数调整，得到飞行目标深度特征提取器；获取飞行目标模板图像和邻近背景区域图像各自对应的飞行目标深度特征后，进行分类器训练；根据其余待检测飞行目标图像、飞行目标模板图像的位置、飞行目标深度特征提取器和在线分类器，进行飞行目标在线分类，以获取待检测飞行目标的运动轨迹。本发明专利技术能够保证飞行目标的跟踪定位的准确性，且无需对海量飞行目标图像数据进行标注。像数据进行标注。像数据进行标注。

【技术实现步骤摘要】
一种基于对比学习的飞行目标跟踪方法和系统


[0001]本专利技术属于计算机视觉
，尤其涉及一种基于对比学习的飞行目标跟踪方法和系统。

技术介绍

[0002]目标跟踪技术作为计算机视觉领域的基础研究内容，在视频监控、机器人和视线追踪等实际应用领域得到了大幅发展。为了实现对以天空背景图像的长时目标跟踪，目标跟踪算法除了需要解决的存在着目标运动模糊、遮挡和背景干扰等因素之外，还要解决受到气象、光照变化等多种因素造成的背景变化复杂等问题。由于在极端恶劣的雨雪天气难以实现运动目标的准确检测，使得以卡尔曼滤波器为代表的传统贝叶斯后验估计方法难以胜任长时目标跟踪。
[0003]现有的KCF、Struck和TLD等直接利用目标在当前视频序列中的图像表征进行跟踪的方法，但很难处理相对复杂的背景变化情况。基于深度学习的端到端(End
‑
to
‑
End)跟踪模型，采用从海量视频序列中提取目标深度特征训练深度网络实现目标，以孪生网络(Siamese CNN)为代表的深度跟踪器采用有监督学习方法，对海量有标签的视频序列依次进行训练、建模，但上述有监督学习方法需要人为海量数据集进行样本标注，耗时耗力。基于半监督学习的跟踪方法在采集少量、部分目标样本的前提下，根据度量图像相似性或者目标运动一致、显著特征，实现目标跟踪，但对视频的质量和视频内容中运动目标类别有指定限制。

技术实现思路

[0004]本专利技术的目的之一，在于提供一种基于对比学习的飞行目标跟踪方法，该飞行目标跟踪方法能够准确地区分运动目标和天空背景，保证了飞行目标的跟踪定位的准确性，且无需对飞行目标数据进行标注处理，不受图像质量和飞行目标类别的限制，适用性强。
[0005]本专利技术的目的之二，在于提供一种基于对比学习的飞行目标跟踪系统。
[0006]为了达到上述目的之一，本专利技术采用如下技术方案实现：
[0007]一种基于对比学习的飞行目标跟踪方法，所述飞行目标跟踪方法包括：
[0008]步骤S1、获取不同气候和光照条件下的飞行目标图像序列；
[0009]步骤S2、从所述飞行目标图像序列中提取每个飞行目标图像的有效运动目标图像和背景图像；并将每个有效运动目标图像对应的背景图像集作为负样本图像集；
[0010]步骤S3、将每个有效运动目标图像进行数据增强处理后作为正样本图像集；并将每个有效运动目标图像作为锚点样本；
[0011]步骤S4、采用结构相同的三个主干网络，构建一个三重孪生网络；并将所述锚点样本、对应的正样本图像集和负样本图像集输入所述三重孪生网络中进行参数调整，并将参数调整后的其中一个主干网络作为飞行目标深度特征提取器；
[0012]步骤S5、获取待检测飞行目标图像序列；并对所述待检测飞行目标图像序列中的
初始待检测飞行目标图像进行目标图像和背景图像识别，以获取所述初始待检测飞行目标图像中的飞行目标模板图像及其位置和邻近背景区域图像；
[0013]步骤S6、将所述飞行目标模板图像和邻近背景区域图像输入所述飞行目标深度特征提取器中，以获取所述飞行目标模板图像和邻近背景区域图像各自对应的飞行目标深度特征；
[0014]步骤S7、将所述飞行目标模板图像和邻近背景区域图像对应的飞行目标深度特征输入在线分类器中进行分类训练；
[0015]步骤S8、根据所述待检测飞行目标图像序列中剩余待检测飞行目标图像、飞行目标模板图像的位置、飞行目标深度特征提取器和训练后的在线分类器，进行飞行目标在线分类，以获取所述待检测飞行目标的运动轨迹。
[0016]进一步的，在所述步骤S2中，所述提取的具体过程包括：
[0017]步骤S21、对所述飞行目标图像序列中起始阶段的相邻飞行目标图像分别依次进行运动像素点检测和尺度不变位置特征点检测后进行位置匹配，得到位置特征点对集；
[0018]步骤S22、计算所述位置特征点对集中每对位置特征点对的像素位置的欧式距离，以确定属于目标运动区域中的位置特征点；
[0019]步骤S23、根据属于目标运动区域中的位置特征点，确定飞行目标在飞行目标图像中的有效运动区域模板；
[0020]步骤S24、根据所述飞行目标在飞行目标图像中的运动区域模板，对后续的飞行目标图像依次进行运动区域模板匹配和尺度变换处理，以获取各个飞行目标图像中的有效运动目标图像；
[0021]步骤S25、从每个飞行目标图像中随机选取非有效运动目标区域并进行尺度变换处理，以获取各个飞行目标图像中的背景图像。
[0022]进一步的，在步骤S3中，所述数据增强包括色彩变换、仿射变换、尺度变换、旋转变换、锐化、模糊处理和形态学处理的一种或几种组合；所述形态学处理的具体过程包括：
[0023]步骤S31、将每个有效运动目标图像处理成黑白图像后分别进行水平方向卷积运算和竖直方向卷积运算，得到各个有效运动目标图像中飞行目标轮廓梯度；
[0024]步骤S32、计算所述各个有效运动目标图像中飞行目标轮廓梯度的最大外接矩形；
[0025]步骤S33、对每个最大外接矩形中的所有像素点是否属于飞行目标轮廓进行判断，以获取各个外接矩阵；
[0026]步骤S34、对各个外接矩阵进行奇异分解，得到各个外接矩阵的最大特征值对应的切向量方向和法向量方向；
[0027]步骤S35、确定所述各个外接矩阵的最大特征值对应的切向量方向和法向量方向，以对各个飞行目标轮廓进行分割；
[0028]步骤S36、对每个飞行目标轮廓依次进行腐蚀/膨胀和边缘卷积处理。
[0029]进一步的，所述三重孪生网络包括并联的三个主干网络和三元对比损失模块；所述三元对比损失模块的输入端与所述三个主干网络的输出端连接；
[0030]所述三个主干网络，用于对各自接收到的图像进行图像深度特征提取后输入到所述三元对比损失模块；
[0031]所述三元对比损失模块，用于采用三元损失函数，对所述三个主干网络输出的图
像深度特征进行相似度比较；并根据相似度比较结构，对所述三重孪生网络进行主干网络参数调整。
[0032]进一步的，在所述步骤S8中，所述飞行目标在线分类的具体实现过程包括：
[0033]步骤S81、根据所述飞行目标模板图像的位置，按照循环矩阵方式，对所述剩余待检测飞行目标图像进行采样后，输入到所述飞行目标深度特征提取器中，得到各个采样区域的飞行目标深度特征；
[0034]步骤S82、将所述各个采样区域的飞行目标深度特征输入到所述在线分类器，以获得所述飞行目标模板图像在对应的剩余待检测飞行目标图像中的相似度响应图谱；
[0035]步骤S83、对每个相似性响应图谱进行噪声抑制处理；
[0036]步骤S84、从噪声抑制处理后的每个相似度响应图谱中选取最大峰值所在位置作为飞行目标在对应的待检测飞行目标图像中的跟踪位置；
[0037]步骤S85、判断所有的剩余待检测飞行目标图像是否均完成分类，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的飞行目标跟踪方法，其特征在于，所述飞行目标跟踪方法包括：步骤S1、获取不同气候和光照条件下的飞行目标图像序列；步骤S2、从所述飞行目标图像序列中提取每个飞行目标图像的有效运动目标图像和背景图像；并将每个有效运动目标图像对应的背景图像集作为负样本图像集；步骤S3、将每个有效运动目标图像进行数据增强处理后作为正样本图像集；并将每个有效运动目标图像作为锚点样本；步骤S4、采用结构相同的三个主干网络，构建一个三重孪生网络；并将所述锚点样本、对应的正样本图像集和负样本图像集输入所述三重孪生网络中进行参数调整，并将参数调整后的其中一个主干网络作为飞行目标深度特征提取器；步骤S5、获取待检测飞行目标图像序列；并对所述待检测飞行目标图像序列中的初始待检测飞行目标图像进行目标图像和背景图像识别，以获取所述初始待检测飞行目标图像中的飞行目标模板图像及其位置和邻近背景区域图像；步骤S6、将所述飞行目标模板图像和邻近背景区域图像输入所述飞行目标深度特征提取器中，以获取所述飞行目标模板图像和邻近背景区域图像各自对应的飞行目标深度特征；步骤S7、将所述飞行目标模板图像和邻近背景区域图像各自对应的飞行目标深度特征输入在线分类器中进行分类训练；步骤S8、根据所述待检测飞行目标图像序列中剩余待检测飞行目标图像、飞行目标模板图像的位置、飞行目标深度特征提取器和训练后的在线分类器，进行飞行目标在线分类，以获取所述待检测飞行目标的运动轨迹。2.根据权利要求1所述的飞行目标跟踪方法，其特征在于，在所述步骤S2中，所述提取的具体过程包括：步骤S21、对所述飞行目标图像序列中起始阶段的相邻飞行目标图像分别依次进行运动像素点检测和尺度不变位置特征点检测后进行位置匹配，得到位置特征点对集；步骤S22、计算所述位置特征点对集中每对位置特征点对的像素位置的欧式距离，以确定属于目标运动区域中的位置特征点；步骤S23、根据属于目标运动区域中的位置特征点，确定飞行目标在飞行目标图像中的有效运动区域模板；步骤S24、根据所述飞行目标在飞行目标图像中的运动区域模板，对后续的飞行目标图像依次进行运动区域模板匹配和尺度变换处理，以获取各个飞行目标图像中的有效运动目标图像；步骤S25、从每个飞行目标图像中随机选取非有效运动目标区域并进行尺度变换处理，以获取各个飞行目标图像中的背景图像。3.根据权利要求2所述的飞行目标跟踪方法，其特征在于，在步骤S3中，所述数据增强包括色彩变换、仿射变换、尺度变换、旋转变换、锐化、模糊处理和形态学处理的一种或几种组合；所述形态学处理的具体过程包括：步骤S31、将每个有效运动目标图像处理成黑白图像后分别进行水平方向卷积运算和竖直方向卷积运算，得到各个有效运动目标图像中飞行目标轮廓梯度；步骤S32、计算所述各个有效运动目标图像中飞行目标轮廓梯度的最大外接矩形；
步骤S33、对每个最大外接矩形中的所有像素点是否属于飞行目标轮廓进行判断，以获取各个外接矩阵；步骤S34、对各个外接矩阵进行奇异分解，得到各个外接矩阵的最大特征值对应的切向量方向和法向量方向；步骤S35、确定所述各个外接矩阵的最大特征值对应的切向量方向和法向量方向，以对各个飞行目标轮廓进行分割；步骤S36、对每个飞行目标轮廓依次进行腐蚀/膨胀和边缘卷积处理。4.根据权利要求3所述的飞行目标跟踪方法，其特征在于，所述三重孪生网络包括并联的三个主干网络和三元对比损失模块；所述三元对比损失模块的输入端与所述三个主干网络的输出端连接；所述三个主干网络，用于对各自接收到的图像进行图像深度特征提取后输入到所述三元对比损失模块；所述三元对比损失模块，用于采用三元损失函数，对所述三个主干网络输出的图像深度特征进行相似度比较；并根据相似度比较结构，对所述三重孪生网络进行主干网络参数调整。5.根据权利要求4所述的飞行目标跟踪方法，其特征在于，在所述步骤S8中，所述飞行目标在线分类的具体实现过程包括：步骤S81、根据所述飞行目标模板图像的位置，按照循环矩阵方式，对所述剩余待检测飞行目标图像进行采样后，输入到所述飞行目标深度特征提取器中，得到各个采样区域的飞行目标深度特征；步骤S82、将所述各个采样区域的飞行目标深度特征输入到所述在线分类器，以获得所述飞行目标模板图像在对应的剩余待检测飞行目标图像中的相似度响应图谱；步骤S83、对每个相似性响应图谱进行噪声抑制处理；步骤S84、从噪声抑制处理后的每个相似度响应图谱中选取最大峰值所在位置作为飞行目标在对应的待检测飞行目标图像中的跟踪位置；步骤S85、判断所有的剩余待检测飞行目标图像是否均完成分类，如是，则输出所有的剩余待检测飞行目标图像中的跟踪位置，结束；如否，则将所述跟踪位置所在的区域作为新的飞行目标模板图像，进入步骤S86；步骤S86、根据所述飞行目标模板图像的位置，按照循环矩阵方式，对所述剩余待检测飞行目标图像进行采样后，输入到所...

【专利技术属性】
技术研发人员：欧阳志宏，薛磊，丁锋，谭龙，房明星，孟令杰，李达，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：