一种跨尺度目标跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种跨尺度目标跟踪方法和装置，方法包括：搭建训练数据采集装置并训练得到跨尺度目标跟踪模型；搭建跨尺度全景感知系统并进行图像的采集，计算得到全局感知图像的相邻图像的变换矩阵；利用相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360

【技术实现步骤摘要】
一种跨尺度目标跟踪方法和装置


[0001]本申请涉及深度学习
，特别是涉及一种跨尺度目标跟踪方法和装置。

技术介绍

[0002]现有的大场景全景成像方式一般利用多摄像机拼接全景成像，或者利用多鱼眼镜头全景成像。这两种方式都存在小尺度目标感知分辨率低、边缘成像质量差的缺点，导致在运动模糊、背景相似干扰、存在遮挡或光照变化情况下进行跨尺度目标跟踪时，精度低且适用性差；另外上述部署方式均存在价格昂贵，部署成本过高等问题。
[0003]因此专利技术人认识到，针对大场景的全景目标跟踪的需求，亟需一种结构简单、部署方便且具备跨尺度高精度目标跟踪性能的大场景全景成像算法。

技术实现思路

[0004]基于此，针对上述技术问题，提供一种跨尺度目标跟踪方法和装置。
[0005]第一方面，一种跨尺度目标跟踪方法，包括：
[0006]步骤一，搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；
[0007]步骤二，搭建跨尺度全景感知系统，利用跨尺度全景感知系统进行图像的采集，得到多张全局感知图像和多张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360
°
全景拼接图像I
G
；
[0008]步骤三，对步骤二中采集到的多张局部感知图像，分别利用步骤一训练得到的跨尺度目标跟踪模型进行处理，得到目标在局部感知图像中的坐标位置定位结果；基于卡尔曼滤波算法计算目标在局部感知图像中的跟踪轨迹，并根据目标在局部感知图像中的跟踪轨迹得到目标在对应全局感知图像中的跟踪轨迹；将多张全局感知图像中的目标轨迹利用所述全局感知图像的相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像I
G
中目标的具体轨迹。
[0009]可选地，所述跨尺度全景感知系统包括排布成正十二边形的十二组固定装置，每组固定装置上均固定有一个相机阵列固定支架，每个相机阵列固定支架上均固定有一组相机阵列；十二组相机阵列分别对应覆盖正十二边形周向的十二个外围区域；
[0010]每组相机阵列均包括三台感知成像相机，所述三台感知成像相机包括两台局部感知成像相机和一台全局感知成像相机，所述全局感知成像相机固定在两台局部感知成像相机的中间；
[0011]相邻两组相机阵列的全局感知成像相机的成像区域具有重叠部分；对于每组相机阵列，全局感知成像相机的视场角大于两台局部感知成像相机的视场角之和，全局感知成像相机的垂直视场角大于局部感知成像相机的垂直视场角的2倍，所述局部感相机的视场
光轴能够任意调整角度。
[0012]进一步可选地，所述训练数据采集装置包括一个所述相机阵列固定支架和固定在所述相机阵列固定支架上的一组所述相机阵列。
[0013]进一步可选地，在跨尺度全景感知系统中，所有感知成像相机的视场光轴均与所述正十二边形共面，所有全局感知成像相机的视场光轴的反向延长线均经过所述正十二边形的中心；所有全局感知成像相机的水平视场角均大于或等于45
°
，所有全局感知成像相机和所有局部感知成像相机的成像分辨率均大于或等于900万像素。
[0014]进一步可选地，步骤一中对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型具体包括：
[0015]对训练数据采集装置中的两台局部感知成像相机和全局感知成像相机进行位置标定，并利用特征点匹配方法得到两台局部感知成像相机分别相对于全局感知成像相机的映射矩阵和
[0016]利用搭建的训练数据采集装置在特定地点进行图像数据的采集，得到局部感知图像数据集和全局感知图像数据集，并对局部感知图像数据集和全局感知图像数据集中采集到的目标进行定位框标注；将带有标注的局部感知图像数据集按照预设比例划分成训练集、测试集和验证集；
[0017]利用现有的目标跟踪算法及其对应的损失函数对训练集进行训练，并根据预先设定的训练策略迭代训练模型，直至损失函数收敛，得到跨尺度目标跟踪模型。
[0018]进一步可选地，所述特征点匹配方法为surf特征点匹配算法；所述特定地点包括步行街广场和十字路口。
[0019]进一步可选地，所述预设比例为8:1:1；所述目标跟踪算法为ByteTrack算法。
[0020]进一步可选地，所述步骤二具体包括：
[0021]搭建跨尺度全景感知系统，并使用方波同步触发方法进行12组相机阵列的图像数据的同步采集，将t时刻12组相机阵列感知到的全局感知图像记为以及将感知到的局部感知图像记为i表示一组相机阵列的索引，i∈{1,2,
…
,12}；
[0022]对于t时刻下全局感知图像序列使用基于图像特征的匹配算法分别对序列中的相邻图像和进行特征提取和匹配，得到全局感知图像的相邻图像的变换矩阵i∈{1,2,
…
,11}，j＝i+1；
[0023]利用全局感知图像的相邻图像的变换矩阵，将12张全局感知图像进行拼接融合，得到360
°
全景拼接图像I
G
。
[0024]进一步可选地，所述步骤三具体包括：
[0025]对于t时刻下12组相机阵列感知到的24张局部感知图像，利用步骤一训练得到的跨尺度目标跟踪模型分别进行处理，得到目标在局部感知图像中的坐标位置定位结果；
[0026]基于卡尔曼滤波算法预测t
‑
1时刻保存的目标轨迹在t时刻的位置，并基于IoU策略或外观表征向量进行相似度矩阵计算，然后利用匈牙利算法进行匹配；
[0027]对匹配到的轨迹，结合匹配结果和t时刻的目标定位结果，利用卡尔曼滤波算法进
行t时刻轨迹更新，然后将更新后的轨迹作为t时刻的目标跟踪轨迹；对于未匹配到的轨迹，放到未丢失轨迹集中，在下一时刻再进行匹配；对于未匹配到的定位结果，作为新的轨迹加入到当前跟踪轨迹集，并根据卡尔曼滤波算法进行轨迹的更新；
[0028]根据映射矩阵和将目标在局部感知图像中的跟踪轨迹，映射回对应的全局感知图像中，得到目标在全局感知图像中的跟踪轨迹；
[0029]针对全局感知图像的获取的目标轨迹，利用所述全局感知图像的相邻图像的变换矩阵将12张全局感知图像的目标轨迹进行变换，得到360
°
全景拼接图像I
G
中目标的具体轨迹，实现亿像素级全景图像的跨尺度目标跟踪。
[0030]第二方面，一种跨尺度目标跟踪装置，包括：
[0031]跨尺度目标跟踪模型训练模块，用于搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；
[0032本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨尺度目标跟踪方法，其特征在于，包括：步骤一，搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；步骤二，搭建跨尺度全景感知系统，利用跨尺度全景感知系统进行图像的采集，得到多张全局感知图像和多张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360
°
全景拼接图像I
G
；步骤三，对步骤二中采集到的多张局部感知图像，分别利用步骤一训练得到的跨尺度目标跟踪模型进行处理，得到目标在局部感知图像中的坐标位置定位结果；基于卡尔曼滤波算法计算目标在局部感知图像中的跟踪轨迹，并根据目标在局部感知图像中的跟踪轨迹得到目标在对应全局感知图像中的跟踪轨迹；将多张全局感知图像中的目标轨迹利用所述全局感知图像的相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像I
G
中目标的具体轨迹。2.根据权利要求1所述的跨尺度目标跟踪方法，其特征在于，所述跨尺度全景感知系统包括排布成正十二边形的十二组固定装置，每组固定装置上均固定有一个相机阵列固定支架，每个相机阵列固定支架上均固定有一组相机阵列；十二组相机阵列分别对应覆盖正十二边形周向的十二个外围区域；每组相机阵列均包括三台感知成像相机，所述三台感知成像相机包括两台局部感知成像相机和一台全局感知成像相机，所述全局感知成像相机固定在两台局部感知成像相机的中间；相邻两组相机阵列的全局感知成像相机的成像区域具有重叠部分；对于每组相机阵列，全局感知成像相机的视场角大于两台局部感知成像相机的视场角之和，全局感知成像相机的垂直视场角大于局部感知成像相机的垂直视场角的2倍，所述局部感相机的视场光轴能够任意调整角度。3.根据权利要求2所述的跨尺度目标跟踪方法，其特征在于，所述训练数据采集装置包括一个所述相机阵列固定支架和固定在所述相机阵列固定支架上的一组所述相机阵列。4.根据权利要求3所述的跨尺度目标跟踪方法，其特征在于，在跨尺度全景感知系统中，所有感知成像相机的视场光轴均与所述正十二边形共面，所有全局感知成像相机的视场光轴的反向延长线均经过所述正十二边形的中心；所有全局感知成像相机的水平视场角均大于或等于45
°
，所有全局感知成像相机和所有局部感知成像相机的成像分辨率均大于或等于900万像素。5.根据权利要求4所述的跨尺度目标跟踪方法，其特征在于，步骤一中对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型具体包括：对训练数据采集装置中的两台局部感知成像相机和全局感知成像相机进行位置标定，并利用特征点匹配方法得到两台局部感知成像相机分别相对于全局感知成像相机的映射矩阵和利用搭建的训练数据采集装置在特定地点进行图像数据的采集，得到局部感知图像数
据集和全局感知图像数据集，并对局部感知图像数据集和全局感知图像数据集中采集到的目标进行定位框标注；将带有标注的局部感知图像数据集按照预设比例划分成训练集、测试集和验证集；利用现有的目标跟踪算法及其对应的损失函数对训练集进行训练，并根据预先设定的训练策略迭代训练模型，直至损失函数收敛，得到跨尺度目标跟踪模型。6.根据权利要求5所述的跨尺度目标跟踪方法，其特征在...

【专利技术属性】
技术研发人员：高坤，邵航，夏晗，刘威，
申请(专利权)人：浙江未来技术研究院嘉兴，
类型：发明
国别省市：