一种基于消亡弥留的保证多目标视频跟踪中的目标连续性的方法技术

本发明专利技术公开了一种基于消亡弥留的保证多目标视频跟踪中的目标连续性的方法，旨在针对视频监控、动作捕获等多目标跟踪的机器视觉场景，提供一种保证所跟踪的同一目标的连续性(即目标在每一帧中都能被识别到)的方法。主要是针对同一目标在某些帧中可能会被漏检的问题，提出一种基于消亡弥留的方法，当一个动态目标稳定存在一定时间之后(因为如果只是瞬间出现，有可能是噪点)，使其具有弥留的能力——即使在某些帧中未被识别出来，仍然认为其存在，并在之前被识别的位置制造该目标的留影，直至其又被识别出来(此时将被认为目标仍然存活)或连续多帧不再出现(此时将被认为目标已经消亡)。本发明专利技术算法简单、执行效率很高，能保证视频跟踪中动态目标的连续性，对视频监控、动作捕获等机器视觉方案的稳定性具有重要意义。

【技术实现步骤摘要】

本专利技术涉及一种多目标视频跟踪技术，特别涉及一种可以保证多目标视频跟踪中的目标连续性的方法。 
技术介绍
基于摄像头的视频监控与动作捕获已经成为当前视频处理领域的研发热点，如何让动态目标的识别结果更加准确和稳定是各种视频跟踪算法的共同目标。 视频跟踪算法的关键就是对目标也就是前景物体的识别，这本质上是一个模式识别问题。但与单张图片的目标识别不同，视频存在多帧数据，帧间的数据差异成为检测动态目标的首选信息。因此，帧间减影技术是几乎所有视频跟踪算法都愿意采用的方法，通过不同帧之间图像的相减，可以将画面中处于低频段的背景信息(因为其变化速度慢)剔除掉，只留下处于高频段的前景信息(因为其变化速度快)。然后在前景信息中进行针对性的筛选，利用空域/频域滤波或模板/特征匹配以及机器学习的方法，抑制不感兴趣的信息，最后留下目标物体。为了提高识别的精度，很多算法会在最后利用机器学习(比如SVM或BP神经网络)进行目标的筛选，剔除其中的假阳性目标。 无论使用什么样的视频跟踪算法，对其精度都可以用敏感性与特异性两种指标来表征，敏感性表示被成功识别的真实目标数占总的真实物体数的比例，特异性表示被成功识别的真实目标数占被识别出来的总目标(里面包含了一定量的假阳性)数的比例。敏感性与特异性之间存在矛盾，即敏感性高时特异性会降低，反之亦然，所有跟踪算法都要根据具体的场景与方案需要来调整这两者之间的平衡点。无论是多么成熟的视频跟踪算法，都会产生漏检或误检的情况。 对于误检，由于往往出现在某几帧中，而其前后的帧中不会出现，因此可以 用基于多帧的去噪技术将其抑制；而对于漏检，一个动态目标在某几帧中突然消失，对于视频监控与动作捕获就会产生跟踪中断、动作结束等，对于后续的处理就会产生负面影响。因此需要一种方法，来对某些帧中目标被漏检的问题进行弥补：如果这些目标最后真的消失了，还是让它消失；如果这些目标只是在那几帧临时漏检一下，接下去又会出现，那么要把它当成从未消失过来处理。 
技术实现思路
本专利技术的目的是保证多目标视频跟踪中的目标连续性，防止由于少数帧中目标被漏检而导致多目标跟踪算法失效或误跟踪。 为了实现上述目的，本专利技术提供了一种技术方案，主要包括以下步骤： (1)采用与当前机器视觉方案相称的模式识别方法从视频或摄像中提取目标。 (2)对于任意新的一帧F(n+1)(n是帧序号)，取出其毗邻的前一帧F(n)，然后 a)对于帧F(n)中的每一个目标On(i)(0≤i＜N(n)，N(n)是帧F(n)的目标总数)，根据其位置Pn(i)、速度Vn(i)和加速度An(i)三个矢量与帧间隔时间TF(n)，预测其在帧F(n+1)中的可能位置 b)然后对于帧F(n+1)中的每一个目标On+1(j)(0≤j＜N(n+1)，N(n+1)是帧F(n+1)的目标总数)，分别计算其Pn+1(j)与每一个 之间的欧式距离即 并根据D(i，j)取值最小的原则确定帧F(n)中的每一个目标On(i)到帧F(n+1)中的每一个目标On+1(j)的对应关系；如果多个不同的On(i)对应到了同一个On+1(j)，即产生了冲突，则将D(i，j)取值最小的设为对应，然后其他On(i)需要重新在剩下的On+1(j)中寻找D(i，j)最近的目标，以此逐项类推以调整所有冲突。建立对应关系后，计算On+1(j)的速度Vn+1(j)(Vn+1(j)＝(Pn+1(j)-Pn(i))/TF(n))和加速度An+1(j) (An+1(j)＝(Vn+1(j)-Vn(i))/TF(n))。 c)如果N(n+1)大于N(n)，找不到对应On(i)的On+1(j)就是新生目标，其速度Vn+1(j)和加速度An+1(j)初始化为0；如果N(n+1)小于N(n)，找不到对应On+1(j)的On(i)就标记为待消亡目标En(k)(0≤k＜M(n)，M(n)是帧F(n)的待消亡目标总数)。对于每一个En(k)，检查其对应的On(i)已存在的时间TXn(k)，如果大于阈值HA，就认为是有效目标而非噪声点，进入弥留流程；如果小于等于阈值HA就直接消亡，放任En(k)所对应的On(i)消失。 i.对于已进入弥留流程的En(k)，要累计其总的弥留时间TDn(k)，如果TDn(k)小于等于阈值HB就说明尚未消亡，这时要制造En(k)的留影：即在帧F(n+1)中主动模拟出目标On+1(1)(N(n+1)≤1＜N(n+1)+L(n)，L(n)是帧F(n)中进入与保持在弥留流程中的En(k)总数)，其所有属性(位置、灰度、尺度等)从En(k)所对应的On(i)处复制，然后将速度Vn+1(1)和加速度An+1(1)置0，并将On(i)与On+1(1)对应起来，最后将帧F(n)中的En(k)更新为帧F(n+1)中的En+1(1-N(n+1))，以此逐帧类推，以保持其在后续帧中的持续存在；如果TDn(k)大于阈值HB就结束其弥留流程，不再制造En(k)的留影On+1(1)，这时On(i)在帧F(n+1)中无法再找到对应的目标，从而消亡。 ii.如果En(k)在其弥留流程结束之前，遇到帧F(n+1)在其位置(即En(k)所对应的On(i)的位置Pn(i))附近出现了新生目标On+1(j)，On+1(j)将被转化成En(k)的对应目标而不再是新生目标，同时En(k)的弥留流程结束、弥留时间TD置0，On(i)与On+1(j)建立起对应关系。 具体实施方式如
技术实现思路
所描述的算法过程。 本文档来自技高网...

【技术保护点】
一种保证多目标视频跟踪中的目标连续性的方法，其特征包括以下步骤：(1)采用与当前机器视觉方案相称的模式识别方法从视频或摄像头中提取目标。(2)对于任意最新的一帧F(n+1)(n是帧序号)，先取出其毗邻的前一帧F(n)，然后a)对于帧F(n)中的每一个目标On(i)(0≤i＜N(n)，N(n)是帧F(n)的目标总数)，根据其位置Pn(i)、速度Vn(i)和加速度An(i)三个矢量与帧间隔时间TF(n)，预测其在帧F(n+1)中的可能位置b)然后对于帧F(n+1)中的每一个目标On+1(j)(0≤j＜N(n+1)，N(n+1)是帧F(n+1)的目标总数)，分别计算其Pn+1(j)与每一个之间的欧式距离即并根据D(i，j)取值最小的原则确定帧F(n)中的每一个目标On(i)到帧F(n+1)中的每一个目标On+1(j)的对应关系；如果多个不同的On(i)对应到了同一个On+1(j)，即产生了冲突，则将D(i，j)取值最小的设为对应，然后其他On(i)需要重新在剩下的On+1(j)中寻找D(i，j)最近的目标，以此逐项类推以调整所有冲突。建立对应关系后，计算On+1(j)的速度Vn+1(j)(Vn+1(j)＝(Pn+1(j)?Pn(i))/TF(n))和加速度An+1(j)(An+1(j)＝(Vn+1(j)?Vn(i))/TF(n))。c)如果N(n+1)大于N(n)，找不到对应On(i)的On+1(j)就是新生目标，其速度Vn+1(j)和加速度An+1(j)初始化为0；如果N(n+1)小于N(n)，找不到对应On+1(j)的On(i)就标记为待消亡目标En(k)(0≤k＜M(n)，M(n)是帧F(n)的待消亡目标总数)。对于每一个En(k)，检查其对应的On(i)已存在的时间TXn(k)，如果大于阈值HA，就认为是有效目标而非噪声点，进入弥留流程；如果小于等于阈值HA就直接消亡，放任En(k)所对应的On(i)消失。i.对于已进入弥留流程的En(k)，要累计其总的弥留时间TDn(k)，如果TDn(k)小于等于阈值HB就说明尚未消亡，这时要制造En(k)的留影：即在帧F(n+1)中主动模拟出目标On+1(1)(N(n+1)≤1＜N(n+1)+L(n)，L(n)是帧F(n)中进入与保持在弥留流程中的En(k)总数)，其所有属性(位置、灰度、尺度等)从En(k)所对应的On(i)处复制，然后将速度Vn+1(1)和加速度An+1(1)置0，并将On(i)与On+1(1)对应起来，最后将帧F(n)中的En(k)更新为帧F(n+1)中的En+1(1?N(n+1))，以此逐帧类推，以保持其在后续帧中的持续存在；如果TDn(k)大于阈值HB就结束其弥留流程，不再制造En(k)的留影On+1(1)，这时On(i)在帧F(n+1)中无法再找到对应的目标，从而消亡。ii.如果En(k)在其弥留流程结束之前，遇到帧F(n+1)在其位置(即En(k)所对应的On(i)的位置Pn(i))附近出现了新生目标On+1(j)，On+1(j)将被转化成En(k)的对应目标而不再是新生目标，同时En(k)的弥留流程结束、弥留时间TD置0，On(i)与On+1(j)建立起对应关系。...

【技术特征摘要】
1.一种保证多目标视频跟踪中的目标连续性的方法，其特征包括以下步骤：
(1)采用与当前机器视觉方案相称的模式识别方法从视频或摄像头中提取目
标。
(2)对于任意最新的一帧F(n+1)(n是帧序号)，先取出其毗邻的前一帧F(n)，
然后
a)对于帧F(n)中的每一个目标On(i)(0≤i＜N(n)，N(n)是帧F(n)的目标总
数)，根据其位置Pn(i)、速度Vn(i)和加速度An(i)三个矢量与帧间隔时间
TF(n)，预测其在帧F(n+1)中的可能位置b)然后对于帧F(n+1)中的每一个目标On+1(j)(0≤j＜N(n+1)，N(n+1)是帧
F(n+1)的目标总数)，分别计算其Pn+1(j)与每一个之间的欧式距离即
并根据D(i，j)取值最小的原则确定帧F(n)中的
每一个目标On(i)到帧F(n+1)中的每一个目标On+1(j)的对应关系；如果多
个不同的On(i)对应到了同一个On+1(j)，即产生了冲突，则将D(i，j)取值最
小的设为对应，然后其他On(i)需要重新在剩下的On+1(j)中寻找D(i，j)最近
的目标，以此逐项类推以调整所有冲突。建立对应关系后，计算On+1(j)
的速度Vn+1(j)(Vn+1(j)＝(Pn+1(j)-Pn(i))/TF(n))和加速度An+1(j)
(An+1(j)＝(Vn+1(j)-Vn(i))/TF(n))。
c)如果N(n+1)大于N(n)，找不到对应On(i)的On+1(j)就是新生目标，其速度
Vn+1(j)和加速度An+1(j)初始化为0；如果N(n+1)小于N(n)，找不到对应
On+1(j)的On...

【专利技术属性】
技术研发人员：朱隽晨，徐伟栋，单文强，
申请(专利权)人：朱隽晨，徐伟栋，单文强，
类型：发明
国别省市：