使用迭代模板匹配的目标跟踪方法及系统技术方案

一种用于跟踪二维平面上移动的目标物体的位置和方向的方法和系统，相机用以生成目标物体的视频帧，处理器被配置以：校正当前一个视频帧的透视比例；使用运动模型或其先前的位置/角度来估计目标物体的当前位置和角度；在估计的当前位置周围从当前视频帧中切出感兴趣的区域；调整感兴趣区域的大小以按预定比例M(宽度＝宽度/M，高度＝高度/M)缩小其尺寸，或等效地以比例M降低感兴趣区域的图像分辨率(分辨率＝分辨率/M)；通过将当前感兴趣区域与先前存储的模板进行模板匹配来跟踪目标物体的新位置；且如果达到了指示成功跟踪的停止标准，则得出结论：所述跟踪的目标物体的位置和角度是准确的，并更新模板；或者继续采用细化方法细化所述跟踪位置和角度，直到最终达到停止标准。

Target tracking method and system using iterative template matching

【技术实现步骤摘要】
【国外来华专利技术】使用迭代模板匹配的目标跟踪方法及系统
本专利技术涉及使用迭代模板匹配的目标跟踪方法和系统，特别涉及在目标与控制服务器之间的5G低延迟、高可靠性链路的应用场景中，基于模板匹配的目标跟踪方法。
技术介绍
有两种使用照相机追踪或定位目标的常用方式，即通过检测或追踪。相机在跟踪过程中生成视频帧，并将结果输出到一个控制服务器(服务器)。目标定位方法将每个视频帧作为输入，然后产生输出，例如目标的类型、角度和坐标。为了进行检测，用户必须分析整个视频帧。此方法的优点是，它不需要任何先前视频帧，服务器(或处理器)的处理速度大约为数百毫秒(ms)。为了进行跟踪，用户仅分析视频帧的一小部分，服务器(或处理器)的处理速度约为几十毫秒。因此，跟踪的处理速度比检测的速度快。开源跟踪器，如CORR、CSRT、BOOSTING、GOTURN、KCF、MEDIAN、FLOW、MIL、MOSSE和TLD能够跟踪非刚性目标，这些目标的形状可能会不断变化，如面孔和动物。但是，开源跟踪器跟踪非刚性目标无法精确到视频帧的几个像素，并且处理速度很慢。在跟踪刚性目标时搜索固定的几何形状或图案(称为刚性目标)可以精确到几个像素，例如矩形、圆形、虚线等。但是，开源跟踪器无法处理遮挡(occlusion)。另一方面，在跟踪刚性目标时，与模板的匹配可以精确到几个像素，并且处理速度非常快，但仍然无法满足目标缩放和旋转要求。模板匹配是计算机视觉中使用的经典技术。模板匹配使用原始像素值以及像素的空间关系来找到图像中的目标对象。用户定义的用于计算置信度分数的度量标准用于测量模板和图像块(imagepatch)之间的相似性。使用模板匹配的原因是因为模板匹配速度快，因为它使用原始信息，无需预处理。实际上，其他预处理技术不仅会消耗更多的时间，而且还会限制目标对象的对象特征。模板匹配也是精确的，因为它进行了像素到像素的计算以获得置信度分数。但是，在图1和图2中显示了模板匹配的问题。使用该技术时，其简单性伴随一些常见问题。出现以下任一情况时，模板匹配可能会失败。如图1所示，当模板和目标对象不在同一方位(旋转)(即图1中的情况1)时，模板和目标对象不在同一比例(即图1中的情况2)时，模板和目标对象的方位和比例都不同(即图1中的情况3)时，和/或模板和目标对象对于服务器而言看起来太不同，模板匹配可能会失败。如图2所示，模板和目标对象看起来不同的示例可能是模糊、光照差异或遮挡的结果。
技术实现思路
为了克服以上和/或其他技术障碍，本专利技术包括使用迭代模板匹配的跟踪方法和系统，以通过使用相机来有效地定位目标物体，而不需要任何额外的传感器或相机。根据一个实施例，迭代模板匹配方法减少了用于实时应用目的的服务器的计算时间。在目标时间内，该方法将经过一个细化过程以提高准确性。根据一个实施例，该方法能够使用校准过程、模板更新过程和角度检测过程来调整适应目标物体的外观变化。根据一个实施例，该方法通过缩小目标物体附近的搜索区域来估计目标物体的新位置。在该搜索区域内执行搜索。假定目标物体的位置和方位在相机拍摄的视频帧之间不会有太大变化，这通常在目标位远离相机时是正确的。根据一个实施例，一种用于跟踪二维平面上移动的目标物体的位置和方向的迭代方法，包括：使用相机生成目标物体的视频帧；校正一个当前视频帧的透视比例；使用运动模型或其先前的位置/角度来估计目标物体的当前位置和角度；在估计的当前位置周围从当前视频帧切出感兴趣的区域；调整感兴趣区域的大小以按预定比例M(宽度＝宽度/M，高度＝高度/M)缩小其尺寸，或等效地以比例M降低感兴趣区域的图像分辨率(分辨率＝分辨率/M)；通过将当前感兴趣区域与先前存储的模板进行模板匹配来跟踪目标物体的新位置；如果达到了指示成功跟踪的停止标准，则得出结论跟踪的目标物体的位置和角度是准确的，并更新模板，或者继续采用细化方法细化跟踪的位置和角度，直到最终达到停止标准。根据另一实施例，一种用于跟踪二维平面上移动的目标物体的位置和方向的系统，包括：用于产生目标物体的视频帧的相机，以及处理器，其被配置以：校正一个当前视频帧的透视比例；使用运动模型或其先前的位置/角度来估计目标物体的当前位置和角度；在估计的当前位置周围从当前视频帧中切出感兴趣的区域；调整感兴趣区域的大小以按预定比例M(宽度＝宽度/M，高度＝高度/M)缩小其尺寸，或等效地以比例M降低感兴趣区域的图像分辨率(分辨率＝分辨率/M)；通过将当前感兴趣区域与先前存储的模板进行模板匹配来跟踪目标物体的新位置；如果达到了指示成功跟踪的停止标准，则得出结论跟踪的目标物体的位置和角度是准确的，并更新模板，或者继续采用细化方法细化跟踪的位置和角度，直到最终达到停止标准。根据又一个实施例，一种非暂时性计算机可读介质，其通过在处理器上运行程序来控制迭代地跟踪二维平面上移动的目标物体的位置和方向的方法。该方法包括：使用相机生成目标物体的视频帧；校正一个当前视频帧的透视比例；使用运动模型或其先前的位置/角度来估计目标物体的当前位置和角度；在估计的当前位置周围从当前视频帧切出感兴趣的区域；调整感兴趣区域的大小以按预定比例M(宽度＝宽度/M，高度＝高度/M)缩小其尺寸，或等效地以比例M降低感兴趣区域的图像分辨率(分辨率＝分辨率/M)；通过将当前感兴趣区域与先前存储的模板进行模板匹配来跟踪目标物体的新位置；如果达到了指示成功跟踪的停止标准，则得出结论跟踪的目标物体的位置和角度是准确的，并更新模板，或者继续采用细化方法细化跟踪的位置和角度，直到最终达到停止标准。本专利技术的其他方面和/或优点将在下面的描述中阐述，这些优点从描述中也是显而易见的，或者可以通过实施本专利技术而获悉。附图说明通过以下结合附图对实施例的描述，本专利技术的这些和/或其他方面和优点将变得显而易见，并且更加容易理解，其中：图1显示现有技术的模板和目标物体之间模板匹配的相关问题示例；图2显示模板和目标物体之间模板匹配的相关问题的其他示例；图3显示本专利技术实施例的使用模板匹配的系统的透视图；图4显示图3系统中使用的计算机服务器的示意性框图；图5显示工厂地面的透视图；图6显示根据实施例的根据映射过程的相机校准；图7显示跟踪物体在高照度区域中的跟踪方法；图8显示一个实施例的提供跟踪方法最佳跟踪结果的最终更新过程；图9显示从视频帧的最粗到最细分辨率的迭代的方法；图10显示图9所示方法的第一次迭代的处理流程；图11显示图9所示方法的第二次迭代的处理流程；图12显示一个实施例的跟踪方法的相应比例、外观、变化和旋转步骤流程图；图13显示用于跟踪目标物体并控制目标物体的跟踪系统。具体实施方式现在将详细参考本专利技术的当前实施例，其示例在附图中示出，其中，相同的附图标记始终表示相同的元件。为了说明本专利技术，以下参照附图对实施方式进行说明。在学术文献中，已经有研究开发复杂的特征提取器以执行目标对象跟踪。通常，对于每个相应的目本文档来自技高网...

【技术保护点】
1.一种跟踪二维平面上移动的目标物体的位置和方向的迭代方法，包括：/n使用相机生成目标物体的视频帧；/n校正一个当前视频帧的透视比例；/n使用运动模型或所述目标物体先前的位置/角度来估计所述目标物体的当前位置和角度；在所述估计的当前位置周围从所述当前视频帧中切出感兴趣的区域；/n调整所述感兴趣区域的大小以按预定比例M(宽度＝宽度/M，高度＝高度/M)缩小其尺寸，或等效地以比例M降低所述感兴趣区域的图像分辨率(分辨率＝分辨率/M)；/n通过将当前感兴趣区域与先前存储的模板进行模板匹配，来跟踪所述目标物体的新位置；并且/n如果达到了指示成功跟踪的停止标准，则得出结论：所述跟踪的目标物体的位置和角度是准确的，并更新模板；或者/n继续采用细化方法细化所述跟踪位置和角度，直到最终达到停止标准。/n

【技术特征摘要】
【国外来华专利技术】20200102 US 16/733,0631.一种跟踪二维平面上移动的目标物体的位置和方向的迭代方法，包括：
使用相机生成目标物体的视频帧；
校正一个当前视频帧的透视比例；
使用运动模型或所述目标物体先前的位置/角度来估计所述目标物体的当前位置和角度；在所述估计的当前位置周围从所述当前视频帧中切出感兴趣的区域；
调整所述感兴趣区域的大小以按预定比例M(宽度＝宽度/M，高度＝高度/M)缩小其尺寸，或等效地以比例M降低所述感兴趣区域的图像分辨率(分辨率＝分辨率/M)；
通过将当前感兴趣区域与先前存储的模板进行模板匹配，来跟踪所述目标物体的新位置；并且
如果达到了指示成功跟踪的停止标准，则得出结论：所述跟踪的目标物体的位置和角度是准确的，并更新模板；或者
继续采用细化方法细化所述跟踪位置和角度，直到最终达到停止标准。


2.根据权利要求1所述的迭代方法，所述细化方法包括：
通过以下迭代进一步细化所述目标物体的当前位置和角度：
在当前位置周围从所述当前视频帧中切出一个新的更小的感兴趣区域；
使用所述目标物体的新角度，旋转新的感兴趣区域；
以大于1但小于M的比例R缩小新的感兴趣区域的尺寸，或者以小于M的比例等效地缩小感兴趣区域的图像分辨率；通过将新的感兴趣区域与先前存储的模板进行匹配，从而跟踪所述目标物体的新位置，直到达到停止标准为止。


3.根据权利要求2所述的迭代方法，所述比值R的确定：
取决于执行的迭代次数；
其中，如果执行较多的迭代，则R接近1；如果执行较少的迭代，则R接近所述预定比率M。


4.根据权利要求1所述的迭代方法，所述透视比例的校正包括：
估计相机光学特性，包括相机固有矩阵和畸变系数；
通过在所述相机生成的视频帧上标记多个真实世界坐标来在所述相机中建立坐标系。


5.根据权利要求1所述的迭代方法，所述模板匹配直接使用先前存储的模板来计算归一化互相关以获得置信度分数。


6.根据权利要求1所述的迭代方法，所述模板匹配包括：
在所述先前存储的模板上分离前景和背景像素；
将所述先前存储的模板中的所述背景像素标记为“无关”；
使用所述标记的模板来计算归一化互相关，同时忽略所有所述“无关”像素。


7.根据权利要求1所述的迭代方法，其中如果满足以下条件之一，则达到所述停止标准：
模板匹配的置信度分数高于一个预定阈值分数，表明成功跟踪；
迭代降低图像处理分辨率的运行时间高于一个预定的时间阈值，表示跟踪失败，或者
迭代次数大于一个预定的最大迭代次数，表示跟踪失败。


8.根据权利要求2所述的迭代方法，其中所述新角度通过以下方式估计：
通过基于边缘的算法估计多个角度候选；聚类所述多个角度候选；
计算具有多个角度簇的原始角度之间的绝对数值差，并找到最低差。


9.根据权利要求2所述的迭代方法，其中所述新角度通过以下方式估计：
降低图像处理分辨率；
从当前帧中切出所述目标物体先前位置周围的感兴趣区域；以多个相邻角度旋转所述当前感兴趣区域；
在所述存储模板和所述多个旋转的感兴趣区域之间分别进行模板匹配，并找出多个最高置信度分数；
找到所述最高置信度分数最大的那个角度。


10.根据权利要求1所述的迭代方法，所述模板图像的更新包括：
根据以下标准化为0到1之间的所述置信度分数，执行模板匹配：



从所述旋转的感兴趣区域中裁剪出具有最高模板匹配置信度分数的图像块；所述图像块用Tout表示，对应的置信度分数用Rout表示；
根据以下执行模板图像的更新：
Tnew＝Tcurrent-Rout×(E*(Tcurrent-Tout))；
其中Tnew，Tcurrent和Tout是相同尺寸的模板矩阵，Tnew是为下一个视频帧制作的模板，Tcurrent是当前视频帧中用于模板匹配的模板，E是侵蚀矩阵，*是卷积运算符。


11.一种用于跟踪二维平面上移动的目标物体的位置和方向的系统，包括：相机，用于生成...

【专利技术属性】
技术研发人员：留振雄，唐宏杰，关文伟，许子健，林耀文，张继辉，闫嘉欣，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港;81