对象跟踪方法和设备技术

提供了一种对象跟踪方法和设备。所述对象跟踪方法包括：基于对象在前一帧视差图中的尺寸，确定对象在当前帧视差图中的尺寸；以对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动；将前一帧视差图中采用的匹配特征作为在当前帧视差图中采用的匹配特征，对于当前帧视差图中所述矩形框滑动到的每个位置区域，计算匹配特征在该位置区域的向量表示；计算匹配特征在每个位置区域的向量表示与匹配特征在前一帧视差图中对象所在区域的向量表示之间的匹配度；确定各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差图中的位置。该对象跟踪方法在被跟踪对象发生旋转时，也不会产生跟踪丢失问题，具有较好的跟踪效果。

【技术实现步骤摘要】
对象跟踪方法和设备
本专利技术总体涉及图像识别，具体涉及对象跟踪方法和设备
技术介绍
对象跟踪技术在监控、人机交互、车载导航、视讯索引等众多领域中有着广泛的应用。逐帧匹配跟踪对象是一个经典的研究课题。目前已经提出了很多基于灰度/彩色图像来逐帧匹配跟踪对象的方法，比如基于几何形状、目标轮廓、彩色直方图、梯度直方图等进行跟踪。例如，专利文献US8102390B2公开了基于灰度图的逐帧匹配跟踪方法。在该方法中，把灰度图中的图像块分成若干个区域，并使用各个区域的快速傅里叶变换（FFT）的值作为匹配特征来进行对象的匹配，最终实现对象的跟踪。然而，使用灰度/彩色图像进行对象跟踪有一个很难解决的技术问题，就是光照的变化会很大程度的影响跟踪效果。由于视差图基本不受光照变化的影响，因此人们已经开始研究基于视差值的对象匹配跟踪。但是，目前基于视差值的匹配跟踪算法普遍存在下述问题：即当对象进行旋转从而导致该对象的形状或轮廓发生变化时，例如如图1所示当作为被跟踪对象的车辆发生转弯时，可能会导致跟踪失败。
技术实现思路
根据本专利技术的一个实施例，提供了一种对象跟踪方法，包括：基于对象在前一帧视差图中的尺寸，确定该对象在当前帧视差图中的尺寸；以对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动；将前一帧视差图中采用的预定类型的匹配特征作为在当前帧视差图中采用的匹配特征，对于当前帧视差图中所述矩形框滑动到的每个位置区域，计算所述匹配特征在该位置区域的向量表示；计算所述匹配特征在每个所述位置区域的向量表示与所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹配度；确定各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差图中的位置。根据本专利技术的另一实施例，提供了一种对象跟踪设备，包括：尺寸确定单元，基于对象在前一帧视差图中的尺寸，确定该对象在当前帧视差图中的尺寸；滑动驱动单元，使对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动；向量计算单元，将前一帧视差图中采用的预定类型的匹配特征作为在当前帧视差图中采用的匹配特征，对于当前帧视差图中所述矩形框滑动到的每个位置区域，计算所述匹配特征在该位置区域的向量表示；匹配度计算单元，计算所述匹配特征在每个所述位置区域的向量表示与所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹配度；位置确定单元，确定各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差图中的位置。根据本专利技术实施例的对象跟踪技术在被跟踪对象发生旋转时，也不会产生跟踪丢失问题，具有较好的跟踪效果。附图说明图1示出了被跟踪对象发生转弯时的示例情形。图2示意性地示出了应用根据本专利技术实施例的对象跟踪技术的一种示例场景。图3示出了根据本专利技术第一实施例的利用视差图的对象跟踪方法的流程图。图4例示了根据本专利技术实施例的当前帧视差图中的预测区域、在该预测区域中滑动的矩形框以及对象在前一帧视差图中的位置矩形框。图5例示了根据本专利技术实施例的对象在前一帧视差图中的尺寸以及在当前帧视差图中滑动的矩形框的尺寸之间的关系。图6示出了根据本专利技术实施例的在第一帧视差图中构建匹配特征的处理过程的流程图。图7示意性地示出了构建的匹配特征的示例。图8示出了在根据本专利技术实施例的对象跟踪方法中计算匹配特征在视差图中的一个位置区域中的向量表示的处理的流程图。图9示出了根据本专利技术实施例所建立的匹配特征的相关性矩阵的示意图。图10示出了根据本专利技术第二实施例的对象跟踪方法中对匹配特征进行优化的处理的流程图。图11示出了根据本专利技术实施例的对象跟踪设备的功能配置框图。图12示出了根据本专利技术实施例的对象跟踪系统的总体硬件框图。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。图2示意性地示出了应用根据本专利技术实施例的对象跟踪技术的一种示例场景。如图2所示，用户位于配备有立体像机202的车201内，该立体像机对道路上行驶的车辆进行跟踪拍摄，以获得连续多帧的左视图和右视图。诸如计算芯片的处理设备203根据由立体相机拍摄得到的连续多帧的左视图和右视图，计算得到对应的连续多帧的视差图，并利用该视差图来检测和跟踪所拍摄的车辆。当然，图2所示的仅仅是一种示例性的应用场景，根据本专利技术实施例的对象跟踪技术也可以应用于其他场景，例如人员监控中的可疑人员的跟踪、人机交互中的人手跟踪等等。为了便于说明和理解，可以认为下文中所述的被跟踪对象是道路上的车辆。<第一实施例>图3示出了根据本专利技术第一实施例的利用视差图的对象跟踪方法的流程图。如图3所示，在步骤S301，基于对象在前一帧视差图中的尺寸，确定该对象在当前帧视差图中的尺寸。如本领域技术人员公知的，视差图是以一对图像中任一图像为基准图像，尺寸为该基准图像的尺寸，并且每个点（像素点）的灰度值为基准图像中对应点的视差的图像。可以以本领域公知的很多方式获得视差图，此处不进行详细描述。如何根据对象在前一帧视差图中的尺寸来估测对象在当前帧中的尺寸，在本领域中存在多种实现方法，此处不进行详细描述。其基本思想是：根据对象在前一帧视差图中的尺寸和相机参数可以计算出对象的实际尺寸，因为对象的实际尺寸是不变的，所以根据对象的实际尺寸、当前帧视差图中对象的视差值以及相机的参数就可以估测出目标在当前帧中的尺寸，其中当前帧中对象的视差值可以采用预测的对象在当前帧中的位置区域内视差值的平均数或众数等。另外，为了便于比较和说明，在本实施例中，用视差图中对象的位置矩形框（最小外接矩形框）的尺寸作为该对象在视差图中的尺寸。在步骤S302，以对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动。在本实施例中，预定区域是基于对象的运动信息估测的当前帧视差图中包含对象的预测区域。例如，假设对象在世界坐标系中的X和Z轴方向上的最大最小速度分别是其中在所述世界坐标系中，X-Z平面与地面重合，Y轴为相对于地面的高度。能够理解，在拍摄当前帧图像时，对象在世界坐标系中的位置范围可以用四个相对速度的组合和来表示。通过公知的从世界坐标系到立体相机的坐标系的坐标转换，可以获得图4中例示的当前帧视差图中包含对象的预测区域。如图4所示，该预测区域的四个顶点和分别与前述四个相对速度的组合对应。上述基于对象的运动信息确定的预测区域仅仅是预定区域的一个示例，预定区域也可以是其他感兴趣的区域。例如，可以是对象在前一帧中的位置区域在当前帧中的对应位置区域，或者是比该对应位置区域大预定尺寸的区域，甚至是当前帧的整个区域。在该步骤中采用的矩形框是用于表示被跟踪对象的矩形框。由于在步骤S301中已经估测出对象在当前帧视差图中的尺寸，因此可以采用与该尺寸相一致的矩形框进行滑动。例如，如图5所示，矩形框R1代表对象在前一帧中的尺寸，矩形框R2代表估测出的对象在当前帧中的尺寸，则在该步骤S302中可以采用与矩形框R2具有相同尺寸的矩形框R4进行滑动。值得说明的是，在步骤S301中估测出的对象在当前帧视差图中的尺寸并未考虑对象的旋转。而当对象旋转时（例如车辆转弯时），其在视差图中的宽度会发生变化。因此，为了适应对象的旋转，在该步骤中使用的矩形框的尺寸可以与S301中估测出的尺寸不同。例如，可以采用图本文档来自技高网...

【技术保护点】
一种对象跟踪方法，包括：基于对象在前一帧视差图中的尺寸，确定该对象在当前帧视差图中的尺寸；以对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动；将前一帧视差图中采用的预定类型的匹配特征作为在当前帧视差图中采用的匹配特征，对于当前帧视差图中所述矩形框滑动到的每个位置区域，计算所述匹配特征在该位置区域的向量表示；计算所述匹配特征在每个所述位置区域的向量表示与所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹配度；确定各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差图中的位置。

【技术特征摘要】
1.一种对象跟踪方法，包括：基于对象在前一帧视差图中的尺寸，确定该对象在当前帧视差图中的尺寸；以对应于在当前帧视差图中的所述尺寸的矩形框在当前帧视差图中的预定区域内滑动；将前一帧视差图中采用的预定类型的匹配特征作为在当前帧视差图中采用的匹配特征，对于当前帧视差图中所述矩形框滑动到的每个位置区域，计算所述匹配特征在该位置区域的向量表示；计算所述匹配特征在每个所述位置区域的向量表示与所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹配度；确定各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差图中的位置；其中在第一帧视差图中采用的所述预定类型的匹配特征通过如下处理构建：将第一帧视差图中对象的位置矩形框中的区域划分成n×m个小块；计算每个所述小块中的平均视差值；从所述n×m个小块中随机选择M个小块对，其中每一个小块对包括两个小块，并且这两个小块的平均视差值之差大于第一预定阈值；对于每一个小块对，连接该小块对中的两个小块形成一个所述匹配特征。2.如权利要求1所述的对象跟踪方法，其中在前一帧视差图中采用的各个匹配特征之间的结构关系在对象发生旋转时保持不变。3.如权利要求1所述的对象跟踪方法，其中，对应于所述尺寸的矩形框包括：尺寸和所述对象在当前帧视差图中的尺寸相一致的矩形框、宽度比所述对象在当前帧视差图中的宽度大的矩形框、以及宽度比所述对象在当前帧视差图中的宽度小的矩形框，并且所述以对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动包括以上述三种矩形框中的至少一种在所述预定区域内滑动。4.如权利要求1所述的对象跟踪方法，其中对于当前帧视差图中所述矩形框滑动到的每个位置区域，计算所述匹配特征在该位置区域的向量表示包括：将所述位置区域划分为n×m个小块；计算每个所述小块中的平均视差值；利用形成匹配特征的两个小块在当前帧视差图中的位置坐标和平均视差值确定所述匹配特征在该位置区域的向量表示。5.如权利要求4所述的对象跟踪方法，其中计算所述匹配特征在每个所述位置区域的向量表示与所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹配度包括：对于每个所述位置区域，利用所述匹配特征在该位置区域的各个向量表示之间的结构关系，建立匹配特征的相关性矩阵；对于每个所述相关性矩阵，计算其与利用所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示所建立的相关性矩阵的对应元素之间的差值，并计算各个...

【专利技术属性】
技术研发人员：杨田雨，刘殿超，鲁耀杰，师忠超，王刚，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP