图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术提供了图像处理装置、图像处理方法和程序。图像处理装置包括：光流计算单元，该光流计算单元参考过去的图像来计算图像内的光流；光流检测单元，该光流检测单元在图像的部分区域中设置多个基准点，并且检测光流是否在基准点处被生成；特征点数据存储单元，当光流在基准点处被生成时，该特征点数据存储单元存储生成光流的像素数据段的集合作为特征点；特征点追踪单元，该特征点追踪单元追踪特征点的运动位置；特征点删除单元，该特征点删除单元根据特征点的运动位置的变化来删除被追踪的特征点；以及通过确定单元，该通过确定单元基于多个剩余的未删除的特征点来确定对象的通过是否在图像内被检测到。

【技术实现步骤摘要】

本专利技术涉及图像处理装置、图像处理方法和程序。
技术介绍
当通过使用诸如监视相机之类的成像装置来监视可疑人物等等之时，通过注视监 视器来寻找可疑人物给观察者带来了沉重的负担。因此，在通过使用监视相机等来进行监 视方面，使用了在画面图像内检测移动对象(在下文中也被称为移动体)的运动检测技术， 它是图像处理技术中的一种。在运动检测处理中，有必要减少由于扰动(di sturbance)引起的误检测 (false detection)并且有必要可靠地检测预期对象的通过。例如在JP-A-2004-13615， JP-A-2000-322581和JP-A-2006-A-260049中公开了关于对象检测的技术。在 JP-A-2004-13615 中，利用光流(optical flow)来去除扰动。在 JP-A-2000-322581 中，检 测其中发生运动的图像区域以在波动(fluctuation)与移动对象之间进行区别，并且执行 对所检测的图像区域的追踪。在JP-A-2006-A-260049中，使用了运动向量的无序度以高精 度地检测移动对象。
技术实现思路
在相关领域中，存在着基于移动体已被检测到的信息，来确定该移动体是否已通 过了先前指定区域的技术。此外，在利用了像素的亮度变化的运动检测中，存在着如下方 法进行控制以利用与过去的统计上的亮度变化有关的信息来不对其中发生扰动的扰动区 域进行检测，以便去除扰动。然而，诸如树的摇摆等之类的扰动并非一直不断地发生的，从 而可能导致误检测。此外，还存在实际检测对象的运动的方法，并且可减少某个水平的误检 测。然而，存在如下问题误检测已被局部地执行，导致了误检测未充分减少。JP-A-2004-13615中的技术仅适用于短间隔的信息，因此未能针对诸如树的摇摆 等之类的扰动而采取足够的措施。此外，在JP-A-2000-322581和JP-A-2006-A-260049中， 对通过的对象的检测是对单个像素执行的，从而小对象也被检测到，这里出现了发生误检 测的问题。此外，当在整个画面上均勻地检测到移动对象时，存在着运动检测处理的吞吐量 爆发性增长的问题。鉴于以上所述的，希望提供能够在减少吞吐量的同时减少由于扰动引起的误检测 并且高精度地仅仅检测预期对象的、新颖且改进的图像处理装置、图像处理方法和程序。根据本专利技术的一个实施例，提供了一种图像处理装置，该图像处理装置包括光流 计算单元，该光流计算单元参考过去的图像来计算图像内的光流；光流检测单元，该光流检 测单元在图像的部分区域中设置多个基准点，并且检测光流是否在基准点处被生成；特征 点数据存储单元，当光流在基准点处被生成时，该特征点数据存储单元存储生成光流的像 素数据段的集合作为特征点；特征点追踪单元，该特征点追踪单元追踪特征点的运动位置； 特征点删除单元，该特征点删除单元根据特征点的运动位置的变化来删除被追踪的特征点；以及通过确定单元，该通过确定单元基于多个剩余的未删除的特征点来确定对象的通 过是否在图像内被检测到。通过确定单元可基于在光流被生成的同时所生成的多个特征点中的多个剩余的 未删除的特征点的数目，来确定对象的通过是否在图像内被检测到。通过确定单元可基于多个剩余的未删除的特征点之间的距离以及多个剩余的未 删除的特征点的运动方向，来确定对象的通过是否在图像内被检测到。特征点删除单元可基于特征点的运动方向来删除被追踪的特征点。特征点删除单元可基于特征点的运动速度来删除被追踪的特征点。特征点删除单元可基于一个特征点与另一个特征点之间的关系，来删除被追踪的 特征点。特征点删除单元可基于特征点的追踪流逝时间来删除被追踪的特征点。根据本专利技术的另一个实施例，提供了一种图像处理方法，包括以下步骤由光流计 算单元参考过去的图像来计算图像内的光流；由光流检测单元在图像的部分区域中设置多 个基准点，并且检测光流是否在基准点处被生成；当光流在基准点处被生成时，由特征点数 据存储单元存储生成光流的像素数据段的集合作为特征点；由特征点追踪单元追踪特征点 的运动位置；由特征点删除单元根据特征点的运动位置的变化来删除被追踪的特征点；以 及由通过确定单元基于多个剩余的未删除的特征点来确定对象的通过是否在图像内被检 测到。根据本专利技术的另一个实施例，提供了一种用于使计算机执行以下步骤的程序参 考过去的图像来计算图像内的光流；在图像的部分区域中设置多个基准点，并且检测光流 是否在基准点处被生成；当光流在基准点处被生成时，存储生成光流的像素数据段的集合 作为特征点；追踪特征点的运动位置；根据特征点的运动位置的变化来删除被追踪的特征 点；以及基于多个剩余的未删除的特征点来确定对象的通过是否在图像内被检测到。根据上述本专利技术的实施例，可以减少由于扰动引起的误检测并且高精度地仅仅检 测预期对象，同时减少吞吐量。附图说明图1是示出根据本专利技术的一个实施例的成像装置100的框图；图2是示出根据该实施例的图像处理单元110的框图；图3是示出根据该实施例的图像处理单元110的操作的流程图；图4是示出其上设置了基准点132的图像130的示例的说明性示图；图5是示出追踪处理的概念的说明性示图；图6是示出追踪处理的概念的说明性示图；图7A-7D是示出特征点的运动的说明性示图；图8A和图8B是示出特征点的运动的说明性示图；并且图9是示出根据该实施例的通过确定单元122的操作的流程图。具体实施例方式在下文中，将参考附图详细地描述本专利技术的优选实施例。注意，在本说明书和附图中，具有实质上相同功能和结构的结构元素利用相同标号来标示，并且对这些结构元素的 重复说明被省略。将以下面的顺序进行说明1.根据一个实施例的配置，2.根据一个实施例的操作。首先，将参考图1说明根据本专利技术的一个实施例的成像装置100的配置。图1是 示出根据本实施例的成像装置100的框图。成像装置100例如是监视相机，它被固定在一 个地方，并且对诸如通过成像范围的人或车辆之类的监视的对象进行成像。成像装置100 向具有监视器的监视板(monitoring board)等发送通过成像获得的图像数据。根据本实 施例，可以高精度地检测监视的对象，而不用观察者一直不断地注视着监视器。成像装置100包括成像单元102、成像信号处理单元104、成像数据处理单元106、 发送单元108和图像处理单元110。成像单元102例如包括诸如透镜之类的光学系统以及诸如CXD图像传感器或CMOS 图像传感器之类的成像元件。成像单元102接收来自拍摄对象的光，并且将光转换成电信 号。成像单元102向成像信号处理单元104发送所生成的电信号。成像信号处理单元104将从成像单元102接收的信号改变为用于彩色图像等的视 频信号，或者对该视频信号执行去噪(denoising)处理等。成像信号处理单元104向成像 数据处理单元106和图像处理单元110发送处理后的视频信号。成像数据处理单元106对在成像信号处理单元104中处理过的视频信号执行压缩 处理等，以将视频信号的格式改变成使得视频信号能够从发送单元108发送的格式。在将从成像数据处理单元106接收的视频信号与从图像处理单元110接收的元数 据相关联之后，发送单元108向外发送视频信号和元数据。来自发送单本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：光流计算单元，所述光流计算单元参考过去的图像来计算图像内的光流；光流检测单元，所述光流检测单元在所述图像的部分区域中设置多个基准点，并且检测光流是否在基准点处被生成；特征点数据存储单元，当光流在基准点处被生成时，所述特征点数据存储单元存储生成所述光流的像素数据段的集合作为特征点；特征点追踪单元，所述特征点追踪单元追踪所述特征点的运动位置；特征点删除单元，所述特征点删除单元根据所述特征点的运动位置的变化来删除被追踪的特征点；以及通过确定单元，所述通过确定单元基于多个剩余的未删除的特征点来确定对象的通过是否在所述图像内被检测到。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：西野胜章，纲岛宣浩，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP