初始化运动目标模板的方法和系统技术方案

本发明专利技术涉及初始化运动目标模板的方法和系统。提供了用于跟踪图像序列中的运动目标的方法，包括：将所述序列的所述图像中的每一个划分成分块；识别出在所述序列的连续图像之间已经发生运动的分块；将沿同一方向运动同一距离的邻接分块分组到第一分块分组；利用所述第一分块分组初始化用于所述运动目标的初始模板并且在所述图像序列中跟踪所述模板。还提供了用于跟踪运动目标的相应系统。

【技术实现步骤摘要】

本专利技术涉及用于初始化运动目标冲莫^反的方法和系统以及相应的计 算机程序产 品。
技术介绍
在图像处理中，模板跟踪用于例如跟踪视频中的面部或者用于卫星 监控。此外，在汽车应用中的前视相机中，模板跟踪用于跟踪自身车辆 前的车辆运动。这些模板通常通过手工或者通过分类来初始化，这是可 行的，因为在前视应用中，视角并没有发生改变。然而，在侧视应用或 者车辆盲点监测中，视角发生改变并且不能进行常用的分类。
技术实现思路
本专利技术的目的是提供一种用于初始化运动目标才莫板的改进方法和 改进系统。这个目的是通过依照权利要求1、 9和12的方法、系统和计算机程 序产品实现的。在从属权利要求中限定了其他的实施例。通过考虑附图和随后的描述，本专利技术的其他细节将变得清楚明白。 附图说明图la示出了本专利技术的一个实施例的主要步骤，其解释了运动估计 和分割步骤；图lb示出了初始化模板并且之后跟踪该模板的组合的主要步骤； 图2示出了本专利技术另一个实施例的框图，其可以应用于汽车计算机 牙见觉中；图3示出了本专利技术另一个实施例的框图，其中仅当更新有必要时触 发初始化单元；图4示出了本专利技术另 一个实施例中所用的示范性模板； 图5示出了一幅示范性图像，其中跟踪图4的模板，图6示出了本专利技术另一个实施例的框图，其可以用于带任意内容/ 视频序列的消费电子产品中；图7示出了本专利技术另 一个实施例中所用的用于消费电子产品的另一 个示范性模板；以及图8示出了带图7的被跟踪模板的另一个示范性消费电子产品的图像。具体实施例方式在下文中，描述了本专利技术的实施例。值得注意的是，可以以任何方 式组合下文中描述的所有实施例，即不存在某些被描述的实施例不能与 其他实施例组合的限制。在图la中，在步骤SIOO,将序列的每幅图像划分成分块(block)。 每个分块可以包括8x8或16x16 Y象素，不过，不^f义方形分块而且其他形 状的分块或者具有另外数量的像素的分块也是可能的。图像也可能被称 为"帧，，或者"场，，。这些图像是通过例如数字摄像机摄取的并且按像 素(pixe卜wise)存储在存储器中。在步骤S10 2,识别出在所述序列的连续图像之间发生运动的分块。 这种分块运动可以通过计算针对可能的分块位移的误差准则来检测。例 如，可以《吏用纟色对差和(sum of absolute difference)、相关积 (correlation product)或者其4也方法4乍为匹配准则。在步骤S103,例如通过比较连续图像中运动分块的位置来确定运动 的距离和方向。也可以通过计算连续图像的分块之间的运动矢量并且比 较所述运动矢量来确定沿"相似，，方向的"相似"距离的运动。离区间内的距离的那些邻接分块分组到第一分i。预定方向2间和预定 距离区间用于检测沿基本上同 一方向的基本上同 一距离的运动。这些预 定区间可以是固定的，或者可以适应例如所述运动分块的实际方向或距离。因此，将基本上沿同 一方向运动同 一距离的运动分块分组在一起。 如果在所述图像序列中存在另外的运动目标并且这些运动目标的 运动不相同，那么可以如上所述通过对沿基本上同一方向和基本上同一在本说明书中，也使用措词"分割"、"分段"或"聚类"，而非 措词"分组"。如果一个分块是另一个分块的4个(或8个)直接相邻分块中的至 少一个，那么该分块可以视为与所述另一个分块邻接。在步骤S106，利用所述第一分块分组初始化用于所述运动目标的初 始模板。由于这个第一分块分组"一起"运动，因此将这样的分块分组 看作属于一个运动目标。这样，通过该第一分组定义了这样一个运动目标，并且通过使用该分块分组建立了用于该运动目标的相应初始才莫板。 所述分块分组的像素值描述了该运动目标的外观。根据这种方法，使用整个目标的良好匹配的分割轮廓作为初始模 板，而不是使用固定位置处的可能部分覆盖背景的小分块作为初始模 板。在图lb中，附加地执行步骤S108,其中通过估算例如互相关或者 绝对差和(SAD)在所述图像序列中跟踪所述初始模板。利用汽车计算机视觉中的本方法，可以检测并随后跟踪障碍物(汽车、卡车等等)。不需要进行分类。在消费电子产品中，该方法改善了 i者如巾贞率4争才灸或者动态降p桑(temporal noise reduction)之类的基于 运动估计的视频处理应用的性能。在另一个实施例中，用另外的图像对所述序列进行扩展。识别在所 述序列的所述另外的图像的至少一部分之间发生运动的运动分块，确定 所述运动分块的所述运动的方向和距离，并且将已经针对其确定出预定 方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组 到第二分块分组。因此，将例如通过估算分块的相应运动矢量而检测到 的在所述另外的图像的至少一部分内沿"相似"方向运动了 "相似距离" 的分块分组到第二分块分组。之后，利用所述第二分块分组对所述运动 目标更新模板。例如，在预定数量的帧之后，可能通过当前匹配即第二 分块分组来更新初始模板。用于更新模板的本方法能够容易处理目标的尺度变化、形状变化、 旋转和遮挡(occlusion)，所述尺度变化在目标接近或者离开时发生， 所述形状变化在目标变形时发生，所述旋转在目标沿任何方向旋转时发 生，所述遮挡在新的像素^皮遮掩在运动目标之后或者在运动目标前显露 时发生。根据本方法，没有误差随着时间而累积，否则其将导致模板逐渐远离^^皮跟踪目标，直到该跟踪丢失了目标。在另 一个实施例中，基于绝对差和和/或所述模板与其中应当跟踪 该模板的图像部分之间的互相关来跟踪所述模板。依照另一个实施例，在某个区域周围设置搜索范围，其中依照目标 在所述序列的在前图像中的运动行为预计目标在所述序列的后继图像中；并且在所述后继图像中的所述搜索范围内执行所迷跟踪步骤。利用 这种方法，可以容易地减少用于跟踪沖莫板的处理时间，因为不必要在整 幅图像中跟踪模板。在另 一个实施例中，计算模板与所述序列的所述图像的部分之间的 相关，并且如果所述相关低于预定相关阈值，那么就检测出所述跟踪步骤是失败的。这样，在所述序列中跟踪正确模板出现这种失败之后，可 能启动模板的更新。因此，可以基于例如流逝的预定时间间隔或者基于指示可以执行进 一步更新的测量值来连续地更新所述模板，因为所用模板与所述序列的 图像之间的相关性在降低。在另一个实施例中，为所述图像的相干(coherent)分块(代表汽 车运动目标)确定平均运动矢量，并且也在后继图像中为所迷模板确定 模板运动矢量。比较模板运动矢量和所述平均运动矢量，并且如果所述 平均运动矢量与所述模板运动矢量之间不匹配，那么丢弃(reject)所 述模板。通过所提出的连续并行使用运动估计，可以使用^t板跟踪进行交叉 验证。通过比较运动估计结果和模板跟踪结果，可以降低随运动估计出 现的虛警。如果这些结果匹配良好，那么可以依照运动估计分割结果更 新模板。否则，这种失配意味着问题的出现并且可能导致丟弃该模板。在另 一个实施例中，利用全局运动估计和全局运动补偿来预处理所 述序列的所述图像。在全局运动估计和全局运动补偿中，考虑了例如因 为摄像机的摇动等等而影响图像的所有像素的效应。这种方法特别适用 于例如帧率转换、动态降噪、去隔行等等的消费电子产品的应用。全局 运动估计和本文档来自技高网...

【技术保护点】
用于初始化用于图像序列中的运动目标的模板的方法，包括：　　　　将所述序列的所述图像中的每一个划分成分块；　　　　识别在所述序列的连续图像之间已经发生运动的运动分块；　　　　确定所述运动分块的所述运动的方向和距离；　　　　将已经对其确定出预定方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组到第一分块分组；以及　　　　利用所述第一分块分组初始化用于所述运动目标的模板。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：F弗里德里克斯，M西迪奎，K齐默曼，
申请(专利权)人：索尼德国有限责任公司，
类型：发明
国别省市：DE[德国]