物体跟踪装置以及物体跟踪方法制造方法及图纸

本发明专利技术提供一种物体跟踪装置以及物体跟踪方法。物体跟踪装置针对每个部位存储作为构成所述运动图像的多个帧图像之中的一帧的第一帧图像中的、表示所述对象物的区域图像的信息，并且存储对象物的显著部位。物体跟踪装置的恢复单元在丢失了所述对象物时，针对与作为丢失了该对象物的帧图像的第二帧图像对应的视觉显著图的每个极大值位置，(1)推定假定在所述极大值位置存在显著部位时的、所述对象物的各部位存在的区域，(2)基于所述第一帧图像与所述第二帧图像的每个部位的区域图像的相似性，算出相似度分值，确定在所述第二帧图像中的、所述相似度分值最大的极大值位置存在所述对象物。述对象物。述对象物。

【技术实现步骤摘要】
【国外来华专利技术】物体跟踪装置以及物体跟踪方法


[0001]本专利技术涉及物体发生了跟踪丢失时的恢复技术。

技术介绍

[0002]对在运动图像(时间序列图像)的某帧中检测出的物体进行跟踪的物体跟踪在计算机视觉领域中是重要的技术。
[0003]作为物体跟踪的方法之一，已知被称为相关滤波器模型的KCF(Kernelized Correlation Filter：核相关滤波器)的方法。KCF将最初提供的跟踪对象物的区域视为正确答案，在线学习并进行跟踪。随着时间的推移，可能会在跟踪对象的区域产生噪声(跟踪对象以外的图像区域)，出现向背景的漂移现象。这样，将丢失跟踪对象物、不能正常地继续跟踪的情况称为跟踪失败或丢失(丧失)。
[0004]跟踪丢失是任何跟踪方法都会出现的问题，不限于相关滤波器模型的跟踪方法。在发生了跟踪丢失时，希望重新得到跟踪对象物并继续跟踪。跟踪丢失后重新搜索跟踪对象并继续跟踪的情况被称为跟踪恢复。
[0005]专利文献1提出对跟踪丢失的恢复处理。具体而言，在专利文献1中，在进行跟踪期间，持续更新模板图像，另一方面，在发生了跟踪丢失的情况下，使用初始模板图像进行搜索，将搜索结果作为跟踪对象，由此而进行对丢失的恢复。
[0006]然而，在楼宇自动化(BA)、工厂自动化(FA)的领域中，需要由图像传感器自动测量人的“数量”/“位置”/“动线”等、优化控制照明、空调等设备的应用软件。在上述用途中，为了获取尽可能大范围的图像信息，大多利用搭载有鱼眼镜头(fisheye lens)的超广角相机(称为鱼眼相机、全方位相机、全景相机等，是相同的意思。在本说明书中使用术语“鱼眼相机”)。此外，在上述的用途中，为了获取尽可能大范围的图像信息，配置在天花板等高处安装的相机，以使相机的视点为俯视。在该配置的相机中，拍摄人物的视点在人物位于图像的周边时，为正面照、侧面照或背面照，在人物位于图像的中央时为俯视图。此外，在该配置的相机中，在位于周边时，可见被摄体的图像整体，另一方面，在位于中央的俯视图中，头部和肩被拍摄，但躯干和下半身被遮挡。
[0007]因拍摄面内的位置而使拍摄对象的外观扭曲，所以由鱼眼相机拍摄到的图像发生变形。此外，即使使用鱼眼相机以外的相机，当使相机的视点为俯视时，也会因跟踪对象的位置而使外观发生变化，或发生遮挡。另外，考虑在嵌入式设备等处理能力有限的环境下帧率较低，具有物体在帧间的移动量、特征量的变化较大这样的特殊性。
[0008]根据上述情况，在专利文献1这样现有的方法中，有时不能够精度良好地进行恢复。
[0009]现有技术文献
[0010]专利文献
[0011]专利文献1：(日本)特开2014
‑
036429号公报

技术实现思路

[0012]专利技术所要解决的技术问题
[0013]本专利技术是鉴于上述问题而提出的，目的在于提供精度比以往更高的物体跟踪的恢复技术。
[0014]用于解决技术问题的技术方案
[0015]为了实现上述目的，本专利技术采用如下的结构。
[0016]本专利技术的第一侧面为一种物体跟踪装置，具有：
[0017]存储单元；
[0018]跟踪单元，其对运动图像中的对象物进行跟踪；
[0019]恢复单元，其在丢失了所述对象物时进行所述对象物的恢复；
[0020]所述存储单元针对每个部位存储作为构成所述运动图像的多个帧图像之中的一帧的第一帧图像中、所述对象物的区域图像，并且存储与所述第一帧图像对应的视觉显著图取极大值的所述对象物的部位，
[0021]所述恢复单元，
[0022]在丢失了所述对象物时，针对与作为丢失了该对象物的帧图像的第二帧图像对应的视觉显著图的每个极大值位置，(1)推定假设在所述极大值位置存在所述第一帧图像中取极大值的所述对象物的部位时的、所述对象物的各部位存在的区域，(2)基于所述第一帧图像与所述第二帧图像的每个部位的区域图像的相似性，算出相似度分值，
[0023]确定在所述第二帧图像中的、所述相似度分值最大的极大值位置存在所述对象物。
[0024]作为跟踪对象的物体、即“对象物”可以为任意的物体，人体、人脸、动物、车辆等为其一个例子。对象物的“部位”可以根据对象物进行区分，其数量未特别限定。例如可以将视觉显著性不同的部分定义为部位。在对象物为人体的情况下，可以区分为头部、上半身、下半身三个部位，但也可以区分为比三更多或比三少的数量的部位。“视觉显著性”是表示容易引人注意的程度的指标，例如可以基于明亮度、明亮度随时间的变化、颜色、方向等特征来确定。
[0025]虽然设想对象物的尺寸及形状因图像中的位置而发生变化，但可以期待视觉显著性取极大值的部位(下面也称为显著部位)不发生变化。因此，视觉显著图中的极大值位置可视为显著部位存在的位置的候选。另外，当赋予在图像中指定的位置存在指定的部位这样的条件时，也能够确定其它的部位存在于图像中的何处。因此，恢复单元针对视觉显著图的各极大值位置，算出基于第一帧图像与第二帧图像的每个部位的区域图像的相似性的相似度分值，判定在上述相似度分值最大的位置具有对象物。由此，即使在图像中对象物的尺寸、形状发生了变化的情况下，也能够精度良好地进行恢复。
[0026]为了进行上述恢复，存储单元针对每个部位存储第一帧图像中表示对象物的区域图像的信息，并且预先存储第一帧图像中视觉显著性取极大值的部位(显著部位)。表示每个部位的区域图像的信息只要是基于此能够算出图像相似度的信息，可以为任意的信息，例如可以为区域图像自身，也可以为表示区域图像特征的图像特征量。另外，显著部位作为位于与第一帧图像对应的视觉显著图取极大值的位置的部位而求出。需要说明的是，在对象物内存在多个极大值的情况下，将多个极大值中取最大值的位置、或根据重心或加权和
等而求出的位置所属的部位作为显著部位。
[0027]每个部位的区域图像的相似性例如也可以基于图像特征量的相似度来算出。作为图像特征量的例子，可以例举颜色直方图及亮度直方图。最终的相似度分值也可以通过整合图像特征量的相似度来算出。整合时，例如也可以利用对应于第二帧图像中各部位的可视比例的权重。另外，也可以在显著部位与除此以外的部位(下面也称为非显著部位)利用不同的权重，来整合图像相似度。通过这样算出相似度分值，能够进行精度更高的恢复。
[0028]另外，在图像中指定的位置存在对象物的某部位时，求出其它部位存在的位置的方法未特别限定。例如也可以通过预先实测或模拟，对在各位置配置的对象物进行拍摄，将此时各部位的位置进行存储。另外，也可以用规定形状(例如圆柱形)将对象物建模，在指定部位位于指定位置时通过计算随时确定如何拍摄。需要说明的是，不仅是各部位的位置，各部位的尺寸或形状、以及各部位的可视比例也可以预先存储或随时算出。
[0029]上述第一帧图像可以是第二帧图像之前的帧图像，但优选是与开始跟踪对象物的帧接近的图像。因此，第一帧图像也可以为开始跟踪对象物后的帧图像或其下一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种物体跟踪装置，具有：存储单元；跟踪单元，其对运动图像中的对象物进行跟踪；恢复单元，其在丢失了所述对象物时进行所述对象物的恢复；该物体跟踪装置的特征在于，所述存储单元针对每个部位存储作为构成所述运动图像的多个帧图像之中的一帧的第一帧图像中的、表示所述对象物的区域图像的信息，并且存储与所述第一帧图像对应的视觉显著图取极大值的所述对象物的部位，在丢失了所述对象物时，所述恢复单元针对与作为丢失了所述对象物的帧图像的第二帧图像对应的视觉显著图的每个极大值位置，(1)推定假定在所述极大值位置存在所述第一帧图像中取极大值的所述对象物的部位时的、所述对象物的各部位存在的区域，(2)基于所述第一帧图像与所述第二帧图像的每个部位的区域图像的相似性，算出相似度分值，所述恢复单元确定在所述第二帧图像中的、所述相似度分值最大的极大值位置存在所述对象物。2.如权利要求1所述的物体跟踪装置，其特征在于，所述恢复单元算出所述第一帧图像与所述第二帧图像的每个部位的区域图像的图像特征量的相似度，整合上述相似度，算出所述相似度分值。3.如权利要求2所述的物体跟踪装置，其特征在于，所述恢复单元利用对应于所述第二帧图像中各部位的可视比例的权重，整合所述相似度，算出所述相似度分值。4.如权利要求2或3所述的物体跟踪装置，其特征在于，所述恢复单元在与所述第一帧图像对应的视觉显著图取极大值的所述对象物的部位与除此以外的其它部位利用不同的权重，整合所述相似度，算出所述相似度分值。5.如权利要求2至4中任一项所述的物体跟踪装置，其特征在于，所述恢复单元根据如下的式(1)，算出所述相似度分值，在此，SCORE为相似度分值，N为部位数，i为表示部位的脚标，s
i
为部位i的相似度，WV
i
为基于部位i的可视比例的权重因子，WS
i
为基于部位i是否是显著部位的权重因子，WV
imax
为WV
i
可取的最大的值，WS
imax
为WS
i
可取的最大的值，s
imax
为s
i
可取的最大的值...

【专利技术属性】
技术研发人员：高桥信二，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：