一种目标跟踪方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种目标跟踪方法及装置，所述方法包括：利用N个训练任务对第一跟踪模型的第一参数进行学习，得到第一跟踪模型的第一参数；所述第一参数为第一跟踪模型的初始化网络参数；利用与第一图像帧对应的第一模板图像以及第一搜索图像对具有第一参数的第一跟踪模型进行训练，得到第二跟踪模型；所述第一图像帧为待进行目标跟踪的多个图像帧中的一帧图像；利用所述多个图像帧中的第二图像帧确定第二模板图像；基于所述多个图像帧中的第三图像帧中的目标对象的第一位置信息确定所述多个图像中的第四图像帧对应的第二搜索图像；将所述第二模板图像、所述第二搜索图像输入至第二跟踪模型中，得到所述第四图像帧中的目标对象的位置预测信息。象的位置预测信息。象的位置预测信息。

【技术实现步骤摘要】
一种目标跟踪方法、装置、电子设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及一种目标跟踪方法、装置、电子设备及存储介质。

技术介绍

[0002]视觉目标跟踪是计算机视觉的基本任务之一，其在安防监控、智慧交通、军事制导等领域都有着广泛的应用。视觉目标跟踪任务中所要跟踪的目标是任意的，目前的目标跟踪器通过大量的离线训练来提取各种类别物体的通用特征，从而能够跟踪任意的物体，但是在遇到具有语义的干扰物时，干扰物的特征与模板特征也会具有较高的匹配度，从而导致目标跟踪器辨别能力下降。

技术实现思路

[0003]为解决上述技术问题，本申请实施例提供了一种一种目标跟踪方法、装置、电子设备及存储介质。
[0004]第一方面，本申请实施例提供了一种目标跟踪方法，所述方法包括：
[0005]利用N个训练任务对第一跟踪模型的第一参数进行学习，得到所述第一跟踪模型的第一参数；所述第一参数为所述第一跟踪模型的初始化网络参数；
[0006]利用与第一图像帧对应的第一模板图像以及第一搜索图像对具有所述第一参数的第一跟踪模型进行训练，得到第二跟踪模型；所述第一图像帧为待进行目标跟踪的多个图像帧中的一帧图像；
[0007]利用所述多个图像帧中的第二图像帧确定第二模板图像；基于所述多个图像帧中的第三图像帧中的目标对象的第一位置信息确定所述多个图像中的第四图像帧对应的第二搜索图像；
[0008]将所述第二模板图像、所述第二搜索图像输入至所述第二跟踪模型中，得到所述第四图像帧中的目标对象的位置预测信息。
[0009]本申请一可选实施方式中，所述利用N个训练任务对第一跟踪模型的第一参数进行学习，得到所述第一跟踪模型的第一参数，包括：
[0010]初始化所述第一跟踪模型的参数为第二参数；
[0011]从训练数据集中采样N个训练任务；其中，所述N个训练任务中的各训练任务对应的目标类别不完全相同；所述N个训练任务中的每个训练任务中包括与该训练任务对应的目标类别的一个模板图像和一个搜索图像；
[0012]以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数，并基于所述第三参数更新所述第二参数；
[0013]按照设定次数迭代执行如下步骤，得到所述第一跟踪模型的第一参数：
[0014]从训练数据集中采样N个训练任务；
[0015]以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，
得到所述第一跟踪模型的第三参数，并基于所述第三参数更新所述第二参数。
[0016]本申请一可选实施方式中，所述第一跟踪模型中包括分类分支和回归分支；所述以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数，包括：
[0017]基于所述分类分支的损失函数以及所述回归分支的损失函数确定对所述第一跟踪模型进行训练的目标损失函数；
[0018]以所述N个训练任务为训练数据，基于所述目标损失函数对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数。
[0019]本申请一可选实施方式中，所述第一跟踪模型中包括分类分支和回归分支，所述利用与第一图像帧对应的第一模板图像以及第一搜索图像对具有所述第一参数的第一跟踪模型进行训练，得到第二跟踪模型，包括：
[0020]确定所述第一图像帧中的目标对象的第二位置信息；基于所述第二位置信息对所述第一图像帧进行裁剪，得到所述第一图像帧对应的第一模板图像以及第一搜索图像；
[0021]将所述第一模板图像以及所述第一搜索图像输入至具有所述第一参数的第一跟踪模型中，得到与所述第一图像帧对应的第一分类响应图和第一回归响应图；
[0022]基于所述第一分类响应图、所述第一回归响应图以及所述第二位置信息对所述具有第一参数的第一跟踪模型的第一参数进行更新，得到第二跟踪模型。
[0023]本申请一可选实施方式中，所述第二跟踪模型包括孪生网络以及区域推荐网络；所述区域推荐网络包括分类分支和回归分支。
[0024]本申请一可选实施方式中，所述将所述第二模板图像、所述第二搜索图像输入至所述第二跟踪模型中，得到所述第四图像帧中的目标对象的位置预测信息，包括：
[0025]将所述第二模板图像以及所述第二搜索图像输入至所述孪生网络中，得到所述第二模板图像的特征图以及所述第二搜索图像的特征图；
[0026]将所述第二模板图像的特征图以及所述第二搜索图像的特征图输入至所述区域网络中，得到所述第四图像帧的第二分类响应图以及第二回归响应图；
[0027]基于所述第二分类响应图以及所述第二回归响应图得到所述第四图像帧中的目标对象的位置预测信息。
[0028]本申请一可选实施方式中，所述将所述第二模板图像的特征图以及所述第二搜索图像的特征图输入至所述区域网络中，得到所述第四图像帧的第二分类响应图以及第二回归响应图，包括：
[0029]利用所述区域网络将所述第二模板图像的特征图映射为第一分类分支图和第一回归分支图；利用所述区域网络将所述第二搜索图像的特征图映射为第二分类分支图和第二回归分支图；
[0030]将所述第一分类分支图和第二分类分支图进行互相关操作，得到所述第四图像帧的第二分类响应图；
[0031]将所述第一回归分支图和第二回归分支图进行互相关操作，得到所述第四图像帧的第二回归响应图。
[0032]第二方面，本申请实施例提供了一种目标跟踪装置，所述装置包括：
[0033]学习单元，用于利用N个训练任务对第一跟踪模型的第一参数进行学习，得到所述
第一跟踪模型的第一参数；所述第一参数为所述第一跟踪模型的初始化网络参数；
[0034]训练单元，用于利用与第一图像帧对应的第一模板图像以及第一搜索图像对具有所述第一参数的第一跟踪模型进行训练，得到第二跟踪模型；所述第一图像帧为待进行目标跟踪的多个图像帧中的一帧图像；
[0035]确定单元，用于利用所述多个图像帧中的第二图像帧确定第二模板图像；基于所述多个图像帧中的第三图像帧中的目标对象的第一位置信息确定所述多个图像中的第四图像帧对应的第二搜索图像；
[0036]预测单元，用于将所述第二模板图像、所述第二搜索图像输入至所述第二跟踪模型中，得到所述第四图像帧中的目标对象的位置预测信息。
[0037]本申请一可选实施方式中，所述学习单元，具体用于：初始化所述第一跟踪模型的参数为第二参数；
[0038]从训练数据集中采样N个训练任务；其中，所述N个训练任务中的各训练任务对应的目标类别不完全相同；所述N个训练任务中的每个训练任务中包括与该训练任务对应的目标类别的一个模板图像和一个搜索图像；以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数，并基于所述第三参数更新所述第二参数；按照设定次数迭代执行如下步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，所述方法包括：利用N个训练任务对第一跟踪模型的第一参数进行学习，得到所述第一跟踪模型的第一参数；所述第一参数为所述第一跟踪模型的初始化网络参数；利用与第一图像帧对应的第一模板图像以及第一搜索图像对具有所述第一参数的第一跟踪模型进行训练，得到第二跟踪模型；所述第一图像帧为待进行目标跟踪的多个图像帧中的一帧图像；利用所述多个图像帧中的第二图像帧确定第二模板图像；基于所述多个图像帧中的第三图像帧中的目标对象的第一位置信息确定所述多个图像中的第四图像帧对应的第二搜索图像；将所述第二模板图像、所述第二搜索图像输入至所述第二跟踪模型中，得到所述第四图像帧中的目标对象的位置预测信息。2.根据权利要求1所述的方法，其特征在于，所述利用N个训练任务对第一跟踪模型的第一参数进行学习，得到所述第一跟踪模型的第一参数，包括：初始化所述第一跟踪模型的参数为第二参数；从训练数据集中采样N个训练任务；其中，所述N个训练任务中的各训练任务对应的目标类别不完全相同；所述N个训练任务中的每个训练任务中包括与该训练任务对应的目标类别的一个模板图像和一个搜索图像；以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数，并基于所述第三参数更新所述第二参数；按照设定次数迭代执行如下步骤，得到所述第一跟踪模型的第一参数：从训练数据集中采样N个训练任务；以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数，并基于所述第三参数更新所述第二参数。3.根据权利要求2所述的方法，其特征在于，所述第一跟踪模型中包括分类分支和回归分支；所述以所述N个训练任务为训练数据对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数，包括：基于所述分类分支的损失函数以及所述回归分支的损失函数确定对所述第一跟踪模型进行训练的目标损失函数；以所述N个训练任务为训练数据，基于所述目标损失函数对具有第二参数的所述第一跟踪模型进行训练，得到所述第一跟踪模型的第三参数。4.根据权利要求1所述的方法，其特征在于，所述第一跟踪模型中包括分类分支和回归分支，所述利用与第一图像帧对应的第一模板图像以及第一搜索图像对具有所述第一参数的第一跟踪模型进行训练，得到第二跟踪模型，包括：确定所述第一图像帧中的目标对象的第二位置信息；基于所述第二位置信息对所述第一图像帧进行裁剪，得到所述第一图像帧对应的第一模板图像以及第一搜索图像；将所述第一模板图像以及所述第一搜索图像输入至具有所述第一参数的第一跟踪模型中，得到与所述第一图像帧对应的第一分类响应图和第一回归响应图；基于所述第一分类响应图、所述...

【专利技术属性】
技术研发人员：王康豪，赵一磊，赵媛，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：