一种目标跟踪方法及装置制造方法及图纸

本发明专利技术提供一种目标跟踪方法及装置，其中一种目标跟踪方法包括：获取跟踪目标在当前帧图像上的待跟踪区域；在所述当前帧图像中确定多个关键点，获取每个所述关键点的位置；基于所述每个所述关键点的位置，得到当前帧图像上的辅助跟踪区域；依据所述待跟踪区域和所述辅助跟踪区域的运动轨迹，将所述待跟踪区域和所述辅助跟踪区域划分成多个群组；对每个所述群组建立空间结构模型，根据所述空间结构模型得到所述待跟踪区域在下一帧图像中的位置。在得到待跟踪区域在下一帧图像中的位置后，位于待跟踪区域内的跟踪目标在下一帧图像中的位置也被得到。相对于现有基于模型的目标跟踪方法来说，本发明专利技术实施例无需离线训练，从而实现在线跟踪。

【技术实现步骤摘要】
一种目标跟踪方法及装置
本专利技术涉及信息处理
，更具体地说，涉及一种目标跟踪方法及装置。
技术介绍
目标跟踪是视频内容理解的基础性技术，随着视频处理向智能化方向发展，目标 跟踪的应用也愈加广泛，例如在视频监控方面对群体或个体的运动模式分析和交通模式分 析；在家庭应用方面的体感游戏、手势识别和手指跟踪；新闻录影方面对关键人物的持续 跟踪拍摄以及动物种群跟踪及行为分析等等。 其中目标跟踪是指输入一段包含若干个运动物体的视频，输出某个或多个指定运 动物体（跟踪目标）在视频每一帧当中的位置。目前在目标跟踪方面运用的主要方法是基 于模型的目标跟踪方法，包括：对视频中的每一帧建立光流场，其中光流场反映了每个图像 帧中每一像素灰度的变化趋势，可以通过光流场确定当前帧上每一个像素在下一帧上相应 的位置；利用光流场对场景的结构或长期的运动模式建立数学模型；利用数学模型辅助目 标跟踪。 但是上述基于模型的目标跟踪方法在建立光流场时，需要将整段视频录制后再对 录制后的视频进行分析来建立光流场，即现有基于模型的目标跟踪方法需要离线训练来建 立光流场，无法在线跟踪目标。
技术实现思路
有鉴于此，本专利技术实施例目的在于提供一种目标跟踪方法及装置，用于在线跟踪 目标。 为实现上述目的，本专利技术实施例提供如下技术方案： 第一方面，本专利技术实施例提供一种目标跟踪方法，包括： 获取跟踪目标在当前帧图像上的待跟踪区域； 在所述当前帧图像中确定多个关键点，获取每个所述关键点的位置； 基于所述每个所述关键点的位置，得到当前帧图像上的辅助跟踪区域，所述辅助 跟踪区域用于辅助跟踪所述跟踪目标在后续帧上的位置； 依据所述待跟踪区域和所述辅助跟踪区域的运动轨迹，将所述待跟踪区域和所述 辅助跟踪区域划分成多个群组； 对每个所述群组建立空间结构模型，根据所述空间结构模型得到所述待跟踪区域 在下一帧图像中的位置。 在第一方面的第一种可行方式中，基于每个所述关键点的位置，得到当前帧图像 上的辅助跟踪区域，包括： 基于每个所述关键点的位置，计算所述当前帧图像的运动矩阵； 依据所述当前帧图像的所述运动矩阵，得到所述当前帧图像的图模型； 基于所述图模型将所述关键点划分成多个集合； 为每个集合构建一个辅助跟踪区域，其中所述辅助跟踪区域的中心点的X轴坐标 为所述集合内的所有关键点的X轴坐标的均值，所述辅助跟踪区域的中心点的y轴坐标为 所述集合内的所有关键点的y轴坐标的均值，所述辅助跟踪区域在X轴方向的宽度为所述 集合内的所有关键点的X轴坐标的标准差的N倍，所述辅助跟踪区域在y轴方向的宽度为 所述集合内的所有关键点的y轴坐标的标准差的N倍，N为大于1的实数。 结合第一种可行方式，在第一方面的第二种可行方式中，基于每个所述关键点的 位置，计算所述当前帧图像的运动矩阵，包括： 寻找当前帧图像中每个关键点的不变邻域，其中不变邻域是：在连续的预设数量 的帧图像中每个所述关键点的第一预设个数的最近邻关键点的交集，所述最近邻关键点为 距离所要寻找不变邻域的所述关键点最近的关键点； 为当前帧图像构建运动矩阵，并计算运动矩阵中每个元素Ci,」的取值，其中计算步 骤包括： IT^dV1 V1 如果第j个关键点属于第i个关键点的不变邻域，则Σ %，其中 ?τ=?ντ Vjt t和t+d为第二预设时间内连续跟踪的开始帧和结束帧，V丨表示第i个关键点在第τ帧 的瞬时运动速度矢量，V丨表示第j个关键点在第τ帧的瞬时运动速度矢量； 如果第j个关键点不属于第i个关键点的不变邻域，则Cy= 0。 结合第二种可行方式，在第一方面的第三种可行方式中，依据所述当前帧图像的 所述运动矩阵，得到当前帧图像的图模型，包括： 将当前帧图像中的所述关键点作为当前帧图像的图模型的节点； 计算任意两个节点之间的连线构成的所述图模型的边长，其中所述边长的计算步 骤包括： 如果所述运动矩阵中第i行第j列的元素Cq和第j列第i行的元素Cj, 1都大于第一阈值，则第i个关键点和第j个关键点之间的边Gq= 1，图模型的边 长G；；. =expf-V)1，dist(i，j)是第i个关键点和第j个关键点之间的距离， 'Vσ ) σ2 =Yj (dist(i, jf·Gu) 〇{i, j); Uj /Uj 如果所述运动矩阵中第i行第j列的元素Cm和/或第j列第i行的元素Cj,i小 于等于第一阈值，则图模型的边长GG_=〇。 结合第一种可行方式，在第一方面的第四种可行方式中，依据所述待跟踪区域和 所述辅助跟踪区域的运动轨迹，将所述待跟踪区域和所述辅助跟踪区域划分成多个群组， 包括： 计算当前帧图像上每个关键点的瞬时运动矢量，并基于所述瞬时运动矢量，计算 每个所述关键点与第二预设个数的最近邻关键点之间的运动相关性，其中最近邻关键点 是：在连续的预设数量的帧图像中与所述关键点距离最近的关键点； 当当前帧图像上任意两个所述关键点之间的运动相关性大于第二阈值时，为大于 第二阈值的两个所述关键点标记为相同的运动轨迹； 将所述待跟踪区域和所述辅助跟踪区域作为跟踪区域，并获取每个所述跟踪区域 的运动轨迹，所述跟踪区域的运动轨迹为所述跟踪区域内最多关键点所标记的运动轨迹； 计算当前帧图像的连通矩阵Lt，所述连通矩阵Lt中第i行第j列元素Lt (i，j)的 计算步骤为：如果第i个跟踪区域和第j个跟踪区域的运动轨迹相同，则Lt (i，j)= 1，否 则Lt(i，j) = 0 ; 对第二预设时间内所有帧图像的所述连通矩阵Lt进行逐元素相加并对相加结果 进行阈值化，得到当前帧图像的矩阵Lsum，矩阵Lsum中元素LSUffl(i，j)的计算步骤为：如果阈 值化结果大于第三阈值，则Lsum(i，j) = 1，否则Lsum(i，j) = 0,Lsum(i，j) = 1表示第i个 跟踪区域与第j个跟踪区域之间存在连接； 依据矩阵Lsmi将存在连接的至少两个所述跟踪区域划分成一个群组，以得到多个 群组。 结合第四种可行方式，在第一方面的第五种可行方式中，对每个所述群组建立空 间结构模型，根据所述空间结构模型得到所述待跟踪区域在下一帧图像中的位置，包括： 将当前帧图像中的每个群组划分为两层，其中第1层为：当前帧图像中聚成所述 群组的所述跟踪区域，第2层为：分别对每个群组中包含的关键点，以大于不变邻域中第一 预设个数的数值，重新构建得到的当前帧图像上的所述跟踪区域，不变邻域中第一预设个 数为计算所述第1层的跟踪区域的运动矩阵使用的数值； 对每个群组构建树型结构，所述树型结构通过对同一群组各层中的所述跟踪区域 构建最小生成树，以及对同一群组不同层之间的具有重叠的跟踪区域相连接得到； 对所述树型结构进行约束，以得到所述跟踪区域在下一帧图像中的位置，对所述 树型结构进行约束包括： 采用公式竞堂乃(/^)=|：堂~(^._/(/^))对所述树型结构进行表观约束， w=l /=1 w=l /=1 其中m表示层数，Nm为当前帧第m层的跟踪区域总数，；表示第m层的第i个跟踪区域， 是从；中提取的视觉特征本文档来自技高网...

【技术保护点】
一种目标跟踪方法，其特征在于，包括： 获取跟踪目标在当前帧图像上的待跟踪区域； 在所述当前帧图像中确定多个关键点，获取每个所述关键点的位置； 基于所述每个所述关键点的位置，得到当前帧图像上的辅助跟踪区域，所述辅助跟踪区域用于辅助跟踪所述跟踪目标在后续帧上的位置； 依据所述待跟踪区域和所述辅助跟踪区域的运动轨迹，将所述待跟踪区域和所述辅助跟踪区域划分成多个群组； 对每个所述群组建立空间结构模型，根据所述空间结构模型得到所述待跟踪区域在下一帧图像中的位置。

【技术特征摘要】
1. 一种目标跟踪方法，其特征在于，包括： 获取跟踪目标在当前帧图像上的待跟踪区域； 在所述当前帧图像中确定多个关键点，获取每个所述关键点的位置； 基于所述每个所述关键点的位置，得到当前帧图像上的辅助跟踪区域，所述辅助跟踪 区域用于辅助跟踪所述跟踪目标在后续帧上的位置； 依据所述待跟踪区域和所述辅助跟踪区域的运动轨迹，将所述待跟踪区域和所述辅助 跟踪区域划分成多个群组； 对每个所述群组建立空间结构模型，根据所述空间结构模型得到所述待跟踪区域在下 一帧图像中的位置。2. 根据权利要求1所述的方法，其特征在于，基于每个所述关键点的位置，得到当前帧 图像上的辅助跟踪区域，包括： 基于每个所述关键点的位置，计算所述当前帧图像的运动矩阵； 依据所述当前帧图像的所述运动矩阵，得到所述当前帧图像的图模型； 基于所述图模型将所述关键点划分成多个集合； 为每个集合构建一个辅助跟踪区域，其中所述辅助跟踪区域的中心点的X轴坐标为所 述集合内的所有关键点的X轴坐标的均值，所述辅助跟踪区域的中心点的y轴坐标为所述 集合内的所有关键点的y轴坐标的均值，所述辅助跟踪区域在X轴方向的宽度为所述集合 内的所有关键点的X轴坐标的标准差的N倍，所述辅助跟踪区域在 y轴方向的宽度为所述 集合内的所有关键点的y轴坐标的标准差的N倍，N为大于1的实数。3. 根据权利要求2所述的方法，其特征在于，基于每个所述关键点的位置，计算所述当 前帧图像的运动矩阵，包括： 寻找当前帧图像中每个关键点的不变邻域，其中不变邻域是：在连续的预设数量的帧 图像中每个所述关键点的第一预设个数的最近邻关键点的交集，所述最近邻关键点为距离 所要寻找不变邻域的所述关键点最近的关键点；为当前帧图像构建运动矩阵，并计算运动矩阵中每个元素 Cu的取值，其中计算步骤包 括： 如果第j个关键点属于第i个关键点的不变邻域，贝I 其中t和 t+d为第二预设时间内连续跟踪的开始帧和结束帧，< 表示第i个关键点在第τ帧的瞬时 运动速度矢量，^表示第j个关键点在第τ帧的瞬时运动速度矢量； 如果第j个关键点不属于第i个关键点的不变邻域，则Cu = 0。4. 根据权利要求3所述的方法，其特征在于，依据所述当前帧图像的所述运动矩阵，得 到当前帧图像的图模型，包括： 将当前帧图像中的所述关键点作为当前帧图像的图模型的节点； 计算任意两个节点之间的连线构成的所述图模型的边长，其中所述边长的计算步骤包 括： 如果所述运动矩阵中第i行第j列的元素 Cu和第j列第i行的元素 Cli都 大于第一阈值，则第i个关键点和第j个关键点之间的边Gu = 1，图模型的边长，dist (i，j)是第i个关键点和第j个关键点之间的距离，如果所述运动矩阵中第i行第j列的元素 Cu和/或第j列第i行的元素 Cy小于等 于第一阈值，则图模型的边长G/,1/ =O?5. 根据权利要求2所述的方法，其特征在于，依据所述待跟踪区域和所述辅助跟踪区 域的运动轨迹，将所述待跟踪区域和所述辅助跟踪区域划分成多个群组，包括： 计算当前帧图像上每个关键点的瞬时运动矢量，并基于所述瞬时运动矢量，计算每个 所述关键点与第二预设个数的最近邻关键点之间的运动相关性，其中最近邻关键点是：在 连续的预设数量的帧图像中与所述关键点距离最近的关键点； 当当前帧图像上任意两个所述关键点之间的运动相关性大于第二阈值时，为大于第二 阈值的两个所述关键点标记为相同的运动轨迹； 将所述待跟踪区域和所述辅助跟踪区域作为跟踪区域，并获取每个所述跟踪区域的运 动轨迹，所述跟踪区域的运动轨迹为所述跟踪区域内最多关键点所标记的运动轨迹； 计算当前帧图像的连通矩阵Lt，所述连通矩阵Lt中第i行第j列元素 Lt (i，j)的计算步 骤为：如果第i个跟踪区域和第j个跟踪区域的运动轨迹相同，则Lt (i，j) = 1，否则Lt (i，j) =〇 ； 对第二预设时间内所有帧图像的所述连通矩阵Lt进行逐元素相加并对相加结果进行 阈值化，得到当前帧图像的矩阵Lsum，矩阵Lsmi中元素 L_(i，j)的计算步骤为：如果阈值化 结果大于第三阈值，则Lsum(i, j) = 1，否则Lsum(i, j) = 0,Lsum(i, j) = 1表示第i个跟踪区 域与第j个跟踪区域之间存在连接； 依据矩阵Lsmi将存在连接的至少两个所述跟踪区域划分成一个群组，以得到多个群组。6. 根据权利要求5所述的方法，其特征在于，对每个所述群组建立空间结构模型，根据 所述空间结构模型得到所述待跟踪区域在下一帧图像中的位置，包括： 将当前帧图像中的每个群组划分为两层，其中第1层为：当前帧图像中聚成所述群组 的所述跟踪区域，第2层为：分别对每个群组中包含的关键点，以大于不变邻域中第一预设 个数的数值，重新构建得到的当前帧图像上的所述跟踪区域，不变邻域中第一预设个数为 计算所述第1层的跟踪区域的运动矩阵使用的数值； 对每个群组构建树型结构，所述树型结构通过对同一群组各层中的所述跟踪区域构建 最小生成树，以及对同一群组不同层之间的具有重叠的跟踪区域相连接得到； 对所述树型结构进行约束，以得到所述跟踪区域在下一帧图像中的位置，对所述树型 结构进行约束包括： 采用公?:寸所述树型结构进行表观约束，其中m 表示层数，Nm为当前帧第m层的跟踪区域总数，jjf表示第m层的第i个跟踪区域，/(^f ) 是从pi*中提取的视觉特征向量，Pf是视觉特征向量/bf)训练得到的线性支持向量机 的权重，在训练线性支持向量机时，正样本为当前帧第m层的跟踪区域，负样本是正样本周 围随机选择的背景区域； 采用公式：寸所述树型结构进行层内空 间约束，其中Em表示所述树型结构中第m层中相连接的跟踪区域对总数，和x；f表示下一 帧中第m层的第i个跟踪区域和第j个跟踪区域的位置坐标，％为第一预设常数，< 为第 i个跟踪区域和第j个跟踪区域之间的期望距离，< 的初始值为第i个跟踪区域与第j个 跟踪区域在当前帧图像上的距离，在后续图像帧中动态更新为第i个跟踪区域与第j个跟 踪区域在当前帧的距离与前一次更新得到的期望距离的均值 采用公另对所述树型结构进行层间空间约 束，其中E。表示所述树型结构中第1层和第2层之间相连接的跟踪区域对总数，^和.<表 示下一帧第1层的第i个跟踪区域和第2层相连的第j个跟踪区域的位置坐标，λ u为第 二预设常数，为第1层的第i个跟踪区域和第2层相连的第j个跟踪区域之间的期望距 离，的初始值为第1层的第i个跟踪区域与第2层相连的第j个跟踪区域在当前帧图像 上的距离，在后续图像帧中动态更新为第1层的第i个跟踪区域与第2层相连的第j个跟 踪区域在当前帧的距离与前一次更新得到的期望距离的均值。7. -种目标跟踪装置，其特征在于，包括：...

【专利技术属性】
技术研发人员：朱烽，王晓刚，俞能海，梁炎，刘健庄，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44