对象跟踪装置和方法制造方法及图纸

本发明专利技术提供了对象跟踪装置和方法以及拍摄装置。对象跟踪装置包括处理器和存储器，处理器包括图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度高的超像素颜色的匹配区域；以及背景屏蔽模块，用于对具有匹配区域的超像素图像进行屏蔽处理以获得所述匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。本发明专利技术能够通过背景屏蔽的方式从输出区域中排除障碍物，准确稳定地跟踪对象。

Object tracking device and method

The invention provides an object tracking device and method and a photographing device. Object tracking device includes a processor and a memory, the processor includes image preprocessing module, for background region of the input image is normalized, image to obtain a background area of fixed size normalized; super pixel matching module used for super pixel algorithm normalized image into super pixel image and super pixel image and the super pixel region matching, in order to find the matching area with super pixel color and reference pixel area super high similarity in the super pixels in the image; and the background shielding module, used for matching with super pixel image to obtain the matching background region outside the region is super pixel image shielding shielding shielding for. The method can eliminate obstacles from the output area through the background shielding method, and accurately and stably track the object.

【技术实现步骤摘要】
对象跟踪装置和方法
本专利技术一般地涉及计算机视觉领域，更具体地，涉及一种目标跟踪装置和方法。
技术介绍
目标跟踪技术用于自动对焦、自动白平衡和自动曝光，以用相机装置拍摄期望的图像和视频。然而，参考图1A，在传统的目标跟踪方法中跟踪输出矩形102(即，跟踪输出区域或跟踪输出框)适合于跟踪目标A的尺寸和形状，尤其当跟踪目标A和障碍物B发生部分重叠，即，跟踪目标A和障碍物B均出现在跟踪输出矩形中时，这种传统的目标跟踪方法容易错误地跟踪相似或相同的目标障碍物B。例如，如果目标跟踪技术用于自动对焦功能，则因为拍摄的图像的对焦区域会是错误的障碍物，所以错误的跟踪结果会导致拍摄模糊不清的图像。其他方法具有传统目标跟踪方法的输出数据格式。大部分传统的目标跟踪方法的输出信息是矩形，该矩形适合于跟踪目标尺寸和形状。但是对于相机的自动对焦功能，这种矩形是低自动对焦精度的原因。因为矩形信息包含背景区域，自对对焦模块有时会聚焦在跟踪输出矩形内部的背景区域上。例如，参考图2A，将左侧的输入图像进行转换并输出右侧的图像，由于输出图像的跟踪输出矩形中包括多个背景区域(例如，图2A中的5个背景区域)，所以在相机自动对焦时，有时会聚焦在跟踪输出矩形内部的背景区域上。
技术实现思路
为了解决现有技术中所存在的错误地跟踪相似或相同的目标障碍物、拍摄模糊不清的图像或者自动对焦在跟踪输出矩形内部的背景区域上的技术问题，本专利技术提出了以下对象跟踪装置和方法。根据本专利技术的一方面，提供了一种对象跟踪装置，包括处理器和存储器，处理器包括：图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度高的超像素颜色的匹配区域；以及背景屏蔽模块，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。优选地，图像预处理模块还包括对象概率估计子模块，对象概率估计子模块用于使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。优选地，超像素匹配模块还用于通过应用超像素图像将对象概率转换为超像素级对象概率，超像素级对象概率为具有相同的超像素标记的对象概率的平均值。优选地，背景屏蔽模块进一步用于：将位于匹配区域外部的超像素标记为超像素屏蔽图像的背景并将背景设置为黑色；当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色相似时，将位于匹配区域内部的超像素标记为前景并将前景设置为白色；以及当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色不相似时，将位于匹配区域内部的超像素标记为中景并将中景设置为灰色。优选地，背景屏蔽模块还用于将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图。优选地，将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图进一步包括：当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。优选地，对象区域归一化子模块用于通过与输入图像的背景区域相同的长宽比，将输入图像的背景区域缩放至固定尺寸，以获得具有固定尺寸的背景区域的归一化的图像。优选地，对象跟踪装置还包括对象区域估计模块，用于求解马尔科夫随机场MRF以生成超像素对象二值图；基于对象二值图计算最终的输出区域；计算输出区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定跟踪成功；以及存储最终的输出区域中的超像素信息。优选地，参照超像素区域是先前帧的跟踪对象区域，输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。根据本专利技术的另一方面，提供了一种对象跟踪方法，包括：对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；以及基于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域的相似度最高的超像素颜色的匹配区域；以及对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。优选地，对象跟踪方法还包括：在对图像的背景区域进行归一化处理之后，使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。优选地，对象跟踪方法还包括：通过应用超像素图像将对象概率转换为超像素级对象概率，超像素级对象概率为具有相同的超像素标记的对象概率的平均值。优选地，对具有匹配区域的超像素图像进行屏蔽处理进一步包括：将位于匹配区域外部的超像素标记为超像素屏蔽图像的背景并将背景设置为黑色；当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色相似时，将位于匹配区域内部的超像素标记为前景并将前景设置为白色；以及当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色不相似时，将位于匹配区域内部的超像素标记为中景并将中景设置为灰色。优选地，对象跟踪方法还包括将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图。优选地，将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图进一步包括：当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。优选地，对图像的背景区域进行归一化处理进一步包括：通过与输入图像的背景区域相同的长宽比，将输入图像的背景区域缩放至固定尺寸，以获得具有固定尺寸的背景区域的归一化的图像。优选地，对象跟踪方法还包括对象区域估计模块，用于求解马尔科夫随机场MRF以生成超像素对象二值图；基于对象二值图计算最终的输出区域；计算输出区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定跟踪成功；以及存储最终的输出区域中的超像素信息。优选地，参照超像素区域是先前帧的跟踪对象区域，输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。根据本专利技术的又一方面，提供了一种具有对象跟踪装置的拍摄装置，其特征在于，包括：对象跟踪装置，包括处理器和存储器，处理器包括：图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度最高的超像素颜色的匹配区域；和背景屏蔽模块，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像；控制模块，用于控制拍照装置自动焦点、自动曝光、和自动白平衡，从对象跟踪装置接收跟踪对象，并生成控制信号；以及图像获取模块，用于从控制模块接收拍摄控制信号，并基于拍摄控制信号获取图像。优选地，具有对象跟踪装置的拍摄装置还包括：透镜控制模块，用于接收来着控制模块的控制透镜控制信号，并基于透镜控制信号控制透镜的焦距本文档来自技高网...

【技术保护点】
一种对象跟踪装置，包括处理器和存储器，其特征在于，包括：所述处理器包括：图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将所述归一化的图像转换为超像素图像并将所述超像素图像和参照超像素区域进行匹配，以在所述超像素图像中找到具有与所述参照超像素区域相似度高的超像素颜色的匹配区域；以及背景屏蔽模块，用于对具有所述匹配区域的所述超像素图像进行屏蔽处理以获得所述匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。

【技术特征摘要】
1.一种对象跟踪装置，包括处理器和存储器，其特征在于，包括：所述处理器包括：图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将所述归一化的图像转换为超像素图像并将所述超像素图像和参照超像素区域进行匹配，以在所述超像素图像中找到具有与所述参照超像素区域相似度高的超像素颜色的匹配区域；以及背景屏蔽模块，用于对具有所述匹配区域的所述超像素图像进行屏蔽处理以获得所述匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。2.根据权利要求1所述的对象跟踪装置，其特征在于，所述图像预处理模块还包括对象概率估计子模块，所述对象概率估计子模块用于使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。3.根据权利要求2所述的对象跟踪装置，其特征在于，所述超像素匹配模块还用于通过应用所述超像素图像将所述对象概率转换为超像素级对象概率，所述超像素级对象概率为具有相同的超像素标记的对象概率的平均值。4.根据权利要求1所述的对象跟踪装置，其特征在于，对具有所述匹配区域的所述超像素图像进行屏蔽处理，进一步包括：将位于所述匹配区域外部的超像素标记为所述超像素屏蔽图像的背景并将所述背景设置为黑色；当所述匹配区域的内部的超像素颜色与所述参照超像素区域的超像素颜色相似时，将位于所述匹配区域内部的超像素标记为前景并将所述前景设置为白色；以及当所述匹配区域的内部的超像素颜色与所述参照超像素区域的超像素颜色不相似时，将位于所述匹配区域内部的超像素标记为中景并将所述中景设置为灰色。5.根据权利要求3所述的对象跟踪装置，其特征在于，所述背景屏蔽模块还用于将所述超像素屏蔽图应用于所述超像素级对象概率并且生成屏蔽概率图。6.根据权利要求5所述的对象跟踪装置，其特征在于，将所述超像素屏蔽图应用于所述超像素级对象概率并且生成屏蔽概率图进一步包括：当所述超像素屏蔽图像标记为前景时，所述屏蔽概率图的概率为1；当所述超像素屏蔽图像标记为中景时，所述屏蔽概率图的概率具有与所述对象概率相同的概率；以及当所述超像素屏蔽图像标记为背景时，所述屏蔽概率图的概率为0。7.根据权利要求1所述的对象跟踪装置，其特征在于，所述对象区域归一化子模块用于通过与所述输入图像的背景区域相同的长宽比，将所述输入图像的背景区域缩放至固定尺寸，以获得具有所述固定尺寸的背景区域的所述归一化的图像。8.根据权利要求1所述的对象跟踪装置，其特征在于，还包括对象区域估计模块，用于求解马尔科夫随机场MRF以生成超像素对象二值图；基于所述对象二值图计算最终的输出区域；计算输出区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定跟踪成功；以及存储所述最终的输出区域中的超像素信息。9.根据权利要求1-8中的任一项所述的对象跟踪装置，其特征在于，所述参照超像素区域是先前帧的跟踪对象区域，所述输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。10.一种对象跟踪方法，其特征在于，包括：对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；以及基于使用超像素算法将所述归一化的图像转换为超像素图像并将所述超像素图像和参照超像素区域进行匹配，以在所述超像素图像中找到具有与所述参照超像素区域的相似度最高的超像素颜色的匹配区域；以及对具有所述匹配区域的所述超像素图像进行屏蔽处理以获得所述匹配区域之外的背景区域被屏蔽的超...

【专利技术属性】
技术研发人员：佐藤洋一郎，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP