一种基于孪生网络单目标图像跟踪器的模板更新方法技术

本发明专利技术公开了一种基于孪生网络单目标图像跟踪器的模板更新方法，包括采集图像数据，进行数据裁切，获取训练数据集；构建图像跟踪模型，用于提取特征；将训练数据集输入到图像跟踪模型中进行训练，得到训练后的图像跟踪模型；计算候选模板特征；通过训练后的图像跟踪模型为候选模板特征进行评价，计算更新的模板和下一帧的真值特征之间的欧式距离，并对欧式距离进行排序；选择欧式距离最小的锚框，并对当前图像中选取的目标进行跟踪。本发明专利技术利用累计模板的特征，使得物体每帧变化的内容会在累计模板体现，预测下一帧模板比简单的线性插值更加准确。更加准确。更加准确。

【技术实现步骤摘要】
一种基于孪生网络单目标图像跟踪器的模板更新方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于孪生网络单目标图像跟踪器的模板更新方法。

技术介绍

[0002]在单目标跟踪中，大多数跟踪器要么使用简单的线性插值来更新每一帧的模板，要么就不去更新初始模板。这样的更新机制在大多数跟踪情况下是不够的。因为目标物体可能会因为变形、快速运动或遮挡而出现外观变化。另外，一成不变的更新规则会导致物体模板会更关注最近的帧，而忘记了物体的历史外形变化。
[0003]但是大多数更新技术都是基于一个假设：物体的外观在连续帧中变化平稳。这种模板平均法提供了一种整合新信息的手段，但是存在如下问题：1、对每个视频都采用一个恒定的更新率，但是多种元素会导致不同的更新需求额；2、更新函数被限制在前一个的外观模板，严重限制了更新机制的灵活性。当目标发生复杂变化时，这种更新机制可能无法产生作用，跟踪不准确，效率低。

技术实现思路

[0004]本专利技术的目的在于提供一种基于孪生网络单目标图像跟踪器的模板更新方法，该方法能够灵活进行更新，对单目标的跟踪快速准确。
[0005]本专利技术提供的这种基于孪生网络单目标图像跟踪器的模板更新方法，包括如下步骤：
[0006]S1.采集图像数据，进行数据裁切，获取训练数据集；
[0007]S2.构建图像跟踪模型，用于提取特征；
[0008]S3.将训练数据集输入到图像跟踪模型中进行训练，得到训练后的图像跟踪模型；
[0009]S4.计算候选模板特征；
[0010]S5.通过训练后的图像跟踪模型为候选模板特征进行评价，计算更新的模板和下一帧的真值(Ground
‑
Truth)特征之间的欧式距离，并对欧式距离进行排序；
[0011]S6.选择欧式距离最小的锚框，并对当前图像中选取的目标进行跟踪。
[0012]所述的步骤S1，训练数据集包括LaSOT数据集。
[0013]所述的步骤S2，采用AlexNet结构构建图像跟踪模型。
[0014]所述的步骤S4，包括如下步骤：
[0015]A1.以每个像素为中心，选定锚框的面积大小，并设置锚框的宽高比率，计算锚框的宽x和锚框的高y；
[0016]A2.对于图像中每一个像素点，根据宽高比，生成面积相等的若干个不同锚框；
[0017]A3.对锚框和该帧的Ground
‑
Truth计算交并比，选择交并超过设定阈值的若干个锚框；
[0018]A4.将选择的锚框用网络提取特征，求得N个候选模板特征
[0019]所述的步骤A1包括，设锚框的面积大小s，s∈(0,1]，并设置锚框的宽高比率r＞0，图像高为h，宽为w；求得锚框的宽x和锚框的高y，
[0020]所述的步骤A2，包括设定一组锚框的面积大小为[s1,...,s
n
]，共有n种不同的面积，设定一组锚框的宽高比率[r1,...,r
m
]，共有m个不同的宽高比率，锚框的面积大小和锚框的宽高比率共有m
·
n种组合，图像的像素个数为w
·
h，共有w
·
h
·
m
·
n个锚框。
[0021]所述的步骤A3，包括交并比为设定阈值为0.6，若交并比则保留锚框，若交并比则舍弃锚框；获得N个超过设定阈值的锚框，则获得N个锚框中的最优特征T
i
，i表示视频的帧数。
[0022]所述的步骤A4，包括N个候选模板特征为：
[0023][0024]其中，Φ(
·
)表示训练好的框架；表示历史累积模板的特征；T
i
表示锚框中的最优特征；表示初始帧的Ground
‑
Truth特征；i表示视频的帧数；GT表示真值。
[0025]所述的步骤S5，评价包括5层卷积神经网络和3层全连接层；5层卷积神经网络包括卷积第一层、卷积第二层、卷积第三层、卷积第四层和卷积第五层；卷积第一层包括卷积层1和最大池化层1；卷积第二层包括卷积层2和最大池化层2；卷积第三层包括卷积层3；卷积第四层包括卷积层4；卷积第五层包括卷积层5；卷积层1的卷积核为11*11，跳格平移为2；最大池化层1的卷积核为3*3，跳格平移为4；卷积层2的卷积核为5*5；最大池化层2的卷积核为3*3，跳格平移为2；卷积层3的卷积核为3*3；卷积层4的卷积核为3*3卷积层5的卷积核为3*3；3层全连接层包括全连接层1、丢弃层1，全连接层2、丢弃层2，全连接层3；
[0026]将求得的结果和第i+1帧的Ground
‑
Truth特征求欧式距离：
[0027][0028]其中，|
·
|2表示两个值的欧式距离；Φ(
·
)表示训练好的框架；表示历史累积模板的特征；T
i
表示锚框中的最优特征；表示初始帧的Ground
‑
Truth特征；表示第i+1帧的Ground
‑
Truth特征；i表示视频的帧数；GT表示真值。
[0029]本专利技术提供的这种基于孪生网络单目标图像跟踪器的模板更新方法，利用累计模板的特征，使得物体每帧变化的内容会在累计模板体现，预测下一帧模板就会比简单的线性插值更加准确。
附图说明
[0030]图1为本专利技术方法的流程示意图。
[0031]图2
‑
3为本专利技术实施例得到的图像跟踪器在篮球比赛中对队员的跟踪示意图。
具体实施方式
[0032]如图1为本专利技术系统的结构示意图：本专利技术提供的这种基于孪生网络单目标图像跟踪器的模板更新方法，包括如下步骤：
[0033]S1.采集图像数据，进行数据裁切，获取训练数据集；
[0034]S2.构建图像跟踪模型，用于提取特征；
[0035]S3.将训练数据集输入到图像跟踪模型中进行训练，得到训练后的图像跟踪模型；
[0036]S4.计算候选模板特征；
[0037]S5.通过训练后的图像跟踪模型为候选模板特征进行评价，计算更新的模板和下一帧的真值(Ground
‑
Truth)特征之间的欧式距离，并对欧式距离进行排序；
[0038]S6.选择欧式距离最小的锚框，并对当前图像中选取的目标进行跟踪。
[0039]所述的步骤S1，训练数据集包括LaSOT数据集；
[0040]所述的步骤S2，采用AlexNet结构构建图像跟踪模型；
[0041]所述的步骤S4，包括如下步骤：
[0042]A1.以每个像素为中心，选定锚框的面积大小s，s∈(0,1]，并设置锚框的宽高比率r＞0，计算锚框的宽x和锚框的高y；包括，设图像高为h，宽为w；
[0043]根据锚框的性质，得出xy＝s，r＝x/y，求得归一化后锚框的宽x和锚框的高y，计算出的归一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生网络单目标图像跟踪器的模板更新方法，其特征在于包括如下步骤：S1.采集图像数据，进行数据裁切，获取训练数据集；S2.构建图像跟踪模型，用于提取特征；S3.将训练数据集输入到图像跟踪模型中进行训练，得到训练后的图像跟踪模型；S4.计算候选模板特征；S5.通过训练后的图像跟踪模型为候选模板特征进行评价，计算更新的模板和下一帧的Ground
‑
Truth特征之间的欧式距离，并对欧式距离进行排序；S6.选择欧式距离最小的锚框，并对当前图像中选取的目标进行跟踪。2.根据权利要求1所述的基于孪生网络单目标图像跟踪器的模板更新方法，其特征在于所述的步骤S1，训练数据集包括LaSOT数据集。3.根据权利要求2所述的基于孪生网络单目标图像跟踪器的模板更新方法，其特征在于所述的步骤S2，采用AlexNet结构构建图像跟踪模型。4.根据权利要求3所述的基于孪生网络单目标图像跟踪器的模板更新方法，其特征在于所述的步骤S4，包括如下步骤：A1.以每个像素为中心，选定锚框的面积大小，并设置锚框的宽高比率，计算锚框的宽x和锚框的高y；A2.对于图像中每一个像素点，根据宽高比，生成面积相等的若干个不同锚框；A3.对锚框和该帧的Ground
‑
Truth计算交并比，选择交并超过设定阈值的若干个锚框；A4.将选择的锚框用网络提取特征，求得N个候选模板特征5.根据权利要求4所述的基于孪生网络单目标图像跟踪器的模板更新方法，其特征在于所述的步骤A1包括，设锚框的面积大小s，s∈(0,1]，并设置锚框的宽高比率r＞0，图像高为h，宽为w；求得锚框的宽x和锚框的高y，为h，宽为w；求得锚框的宽x和锚框的高y，6.根据权利要求5所述的基于孪生网络单目标图像跟踪器的模板更新方法，其特征在于所述的步骤A2，包括设定一组锚框的面积大小为[s1,
…
,s
n
]，共有n种不同的面积，设定一组锚框的宽高比率[r1,...,r
m
]，共有m个不同的宽高比率，锚框的面积大小和锚框的宽高比率共有m
·
n种组合，图像的像素个数为w
·
h，...

【专利技术属性】
技术研发人员：李智勇，张奎，
申请(专利权)人：湖南大学，
类型：发明
国别省市：