一种基于目标检测的目标跟踪方法及系统技术方案

本发明专利技术公开了一种基于目标检测的目标跟踪方法及系统，模式识别技术领域，包括：为待跟踪目标建立包括主干网络和推理网络的目标跟踪模型，主干网络为目标检测模型中已训练好的特征提取网络；在目标视频中的第一帧F

A target tracking method and system based on target detection

【技术实现步骤摘要】
一种基于目标检测的目标跟踪方法及系统
本专利技术属于模式识别
，更具体地，涉及一种基于目标检测的目标跟踪方法及系统。
技术介绍
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力；目标跟踪，即在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。由于基于深度学习的目标检测算法具有强大的判别能力和回归能力，目标检测算法中的一些技术在基于深度学习的跟踪算法中得到了越来越多的关注和应用。然而，直接将基于深度学习的目标检测算法应用于跟踪任务是不可行的。这是因为单目标跟踪任务，有两个不同于目标检测任务的难点。一是训练样本有限。单目标跟踪是一个无类别先验的任务，即在进行在线跟踪之前不知道目标的具体类别和形态，这使得在离线训练过程中难以找到有效的训练样本。二是单目标跟踪任务具有复杂的运动属性。不同于只需要处理静态图片的目标检测任务，单目标跟踪任务的对象是视频序列中运动的物体，物体会产生各种复杂的形态变化。总的来说，由于目标跟踪任务与目标检测任务存在上述不同，现有的应用了目标检测技术的目标跟踪方法，并不能很好地利用目标检测算法的判别能力和回归能力，跟踪效果较差，很有可能在目标跟踪过程中丢失目标。
技术实现思路
针对现有技术的缺陷和改进需求，本专利技术提供了一种基于目标检测的目标跟踪方法，其目的在于，在执行目标跟踪任务时，充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪。为实现上述目的，按照本专利技术的第一方面，提供了一种基于目标检测的目标跟踪方法，包括：为待跟踪目标建立目标跟踪模型，目标跟踪模型包括主干网络和推理网络；主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；主干网络为目标检测模型中用于提取特征的网络，且已训练好；获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练目标跟踪模型，以初始化推理网络；在推理网络初始化之后，依次获取目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：(S1)利用目标跟踪模型获得待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；(S3)若目标区域的跟踪得分Score>ThS，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若ThF≤Score≤ThS，则判定当前帧跟踪成功；若Score<ThF，则判定当前帧跟踪失败，并利用样本库中的样本对目标跟踪模型进行重新训练，以对推理网络进行在线更新；其中，ThS为预设的成功阈值，ThF为预设的失败阈值；样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。在目标跟踪任务中，目标具有复杂的运动属性，并且可能产生各种复杂的形态变化。上下文信息是目标跟踪任务的特殊属性，目标的空间位置和大小尺寸在连续两帧之间变化不大。本专利技术根据上下文信息提出了短时的空间约束，在利用目标检测模型中的特征提取网络(即主干网络)得到候选区域的检测得分后，基于根据空间约束对检测得分进行修正，再根据修正得到的跟踪得分完成对目标的跟踪，能够实现对目标的准确跟踪。在某一帧中，目标跟踪失败，说明目标相对于初始状态已经发生了较大的变化，当前的目标跟踪模型已经不再适用。本专利技术引入了长时的在线更新策略，在跟踪过程中，会将置信度较高的样本实时存储到样本库中，并且在跟踪失败时，利用样本库中的样本对目标跟踪模型进行在线跟踪，从而目标跟踪模型能够适应目标的状态变化，继续实现对目标的准确跟踪。总的来说，本专利技术根据目标的运动属性，引入短时的空间约束，能够有效防止跟踪漂移；引入长时的在线更新策略，能够适应目标的变化。因此，本专利技术能充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪。进一步地，主干网络的训练方法包括：建立多分支目标检测模型，其中包括特征提取网络以及离线训练网络；特征提取网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；离线训练网络包括多个分支网络，每个分支网络与一个跟踪目标相对应；分支网络，用于根据区域特征为每一个候选区域进行打分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；利用标准数据集对离线训练网络进行训练，在训练结束后，将特征提取网络作为主干网络；其中，标准数据集中，各目标实际所在的区域得分及坐标位置已知。本专利技术所建立的多分支目标检测模型，包含多个目标一一对应的多个分支网络，由特征提取网络提取目标的通用特征，由各分支网络提取目标的个体特征，从而在主干网络(即多分支目标检测模型中的特征提取网络)的训练过程中，不局限于特定的目标，而是可以利用不同目标的训练样本，因此，本专利技术能够突破训练样本不足的限制，训练得到性能优良的主干网络，从而在执行目标跟踪任务时，能够准确提取到目标的通用特征。进一步地，步骤(S2)中，根据空间约束对检测得分进行修正，其修正表达式为：p＝p0*p1*p2；其中，p和p0分别表示检测得分和跟踪得分；p1表示空间约束中的距离约束，目标在当前帧及前一帧中的距离越大，距离约束p1越小；p2表示空间约束中的尺度约束，目标在当前帧及前一帧中的尺度变化越大，尺度约束p2越小。目标跟踪任务中，目标在的空间位置和尺度在连续两帧之间的变化不大，本专利技术根据距离约束p1和尺度约束p2对候选区域的检测得分进行修正，使得目标在当前帧及前一帧之间的距离越大、尺度变化越大，相应的候选区域的跟踪得分越小，从而该候选区域是目标区域的概率越小，与目标的运动属性相符，保证了目标跟踪的准确性。进一步地，其中，Ct和Ct-1分别表示待跟踪目标在当前帧和前一帧的中心点坐标，d＝||Ct-Ct-1||表示两个中间点之间的欧式距离，R表示预设的中心点距离的变化范围，k1＞0表示控制距离约束衰减速度的控制因子。进一步地，其中，γt和γt-1分别表示待跟踪目标在当前帧和前一帧的宽高比，st和st-1分别表示待跟踪目标在当前帧和前一帧的面积，k2＞0表示控制尺度约束衰减速度的控制因子。本专利技术在计算尺度约束p2时，同时考虑目标的面积和宽高比在当前帧及前一帧中的变化程度，能够全面、准确地捕捉到目标的尺度变化。进一步地，在任意一帧中，待跟踪目标的面积计算公式为：其中，s表示待跟踪目标的面积，ω和h分别表示待跟踪目标的宽和高。本专利技术根据上述公式计算目标的面积，本文档来自技高网...

【技术保护点】
1.一种基于目标检测的目标跟踪方法，其特征在于，包括：/n为待跟踪目标建立目标跟踪模型，所述目标跟踪模型包括主干网络和推理网络；所述主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；所述推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；所述主干网络为目标检测模型中用于提取特征的网络，且已训练好；/n获取待处理的目标视频中的第一帧F

【技术特征摘要】
1.一种基于目标检测的目标跟踪方法，其特征在于，包括：
为待跟踪目标建立目标跟踪模型，所述目标跟踪模型包括主干网络和推理网络；所述主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；所述推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；所述主干网络为目标检测模型中用于提取特征的网络，且已训练好；
获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练所述目标跟踪模型，以初始化所述推理网络；
在所述推理网络初始化之后，依次获取所述目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：
(S1)利用所述目标跟踪模型获得所述待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；
(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；
(S3)若目标区域的跟踪得分Score>ThS，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若ThF≤Score≤ThS，则判定当前帧跟踪成功；若Score<ThF，则判定当前帧跟踪失败，并利用所述样本库中的样本对所述目标跟踪模型进行重新训练，以对所述推理网络进行在线更新；
其中，ThS为预设的成功阈值，ThF为预设的失败阈值；所述样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；所述空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。


2.如权利要求1所述的基于目标检测的目标跟踪方法，其特征在于，所述主干网络的训练方法包括：
建立多分支目标检测模型，其中包括特征提取网络以及离线训练网络；
所述特征提取网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；
所述离线训练网络包括多个分支网络，每个分支网络与一个跟踪目标相对应；所述分支网络，用于根据区域特征为每一个候选区域进行打分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；
利用标准数据集对所述离线训练网络进行训练，在训练结束后，将所述特征提取网络作为所述主干网络；
其中，所述标准数据集中，各目标实际所在的区域得分及坐标位置已知。


3.如权利要求1或2所述的基于目标检测的目标跟踪方法，其特征在于，所述步骤(S2)中，根据空间约束对检测得分进行修正，其修正表达式为：p＝p0*p1*p2；
其中...

【专利技术属性】
技术研发人员：秦淮，高常鑫，桑农，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42