对场景中的物体进行分类的系统及其方法技术方案

一种方法，用于把场景中的物体分类为运动的人或轮椅使用者。使用一组立体摄像机来获取场景中的图像。利用检测到的边来把场景中的物体从背景中分离。从边中生成物体的三维重建，并且对三维重建的高度和三维形状进行测试来对物体进行分类，分为活动的人或轮椅使用者。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术主要涉及计算机视觉(computer vision)，尤其是在使用立体视觉(stereo vision)的场景中检测轮椅使用者。
技术介绍
使用计算机视觉技术来分析场景中的图像是非常常见的。而经常需要分析的是随着时间动态变化的图像。例如，在许多的应用当中，需要判断一个物体，如一个人是否出现在场景中。对物体的计算机视觉分析通常需要多个处理阶段。首先，物体要从背景中分离出来。其次，确定一些属性，如物体的形状、三维活动和位置。最后，为了进行分类或识别，对物体进行分析。通常，在用固定的摄像机观察出现在静止背景前面的物体的情况下，背景减除(background subtraction)被用来进行分离。常规的背景减除采用的是基于每个像素亮度值的方法。通常，从静态场景的参考图像中对应的像素中减去活动图像的像素亮度来构造一个差图(differenceimage)。当在场景中没有活动物体的时候，可以提前获得参考图像。在差图中，任何值较低的像素被看作是静态背景的一部分，值较高的像素则被认为是物体的一部分。对于背景减除方法的综述，参见Toyama etal.，“Wallflowerprinciples and practice of BackgroundMaintenance，”1999年国际计算机视觉会议论文集，255-261页(Proceedings of the international Conference on computer vision，pp.255-261，1999。)传统的背景减除的方法存在一些问题。首先，差图是根据单个像素确定的，因此，噪音和人工因素可能导致局部的错误。虽然可以利用连通分量分析(connected-component analysis)来消除小的失真响应(spurious responses)，但是需要额外的处理。除此以外，很难检测物体中与参考图像中的部分有相同颜色(或者在灰度图像中有相同的强度)的部分。在这种情况下，在轮廓边界或者内部阴影中的颜色或者亮度梯度还是可见的。这说明，在图像中，只有那些有颜色或亮度梯度(边)的图像部分才真正可以用于从背景中检测物体。因此，与传统背景减除方法不同，需要直接计算物体的边界。从静态背景中分离物体之后，还可以进行进一步的分析。许多现有技术的计算机视觉系统使用一个摄像机。众所周知，从一个固定的摄像机得到的图像中提取如形状、三维活动和位置等信息是非常困难的。随着摄像机变得相对便宜，对多个摄像机图像的立体分析将越来越普遍。与单独一个摄像机相比，立体分析提供了一个更加强有力的方法，用于度量物体的形状，三维活动和位置。立体处理，需要选择什么是使得图片匹配的特征，像素还是诸如点和边这种特征。特别地，在后续的处理之前，作为边检测过程的一部分，边通常被链入到边链(edge chain)。由于在不同的图像中，给定的物体的边链计算不同，因此边链的立体匹配非常复杂。例如，给定物体的物理轮廓，即，轮廓边界或者表面纹理边界，在每个立体图中可能被检测为一个或者更多边链，在不同的图像中，该链有不同的终点，而且该链在不同的图像中可能以任意的方式连接物体和背景纹理。因此，希望只链接对应于物体的物理轮廓的边。有大量的基于图像的系统用于控制电梯门的操作，参见于2001年4月4日提交的美国专利申请2001/0045327“电梯门控制设备(ElevatorDoor Control Device)”。然而，那些系统不能分辨乘客的类型。还可以参照于2002年1月15日提交给Hirata et al.的美国专利申请6,339,375公布的″图像监测仪器和图像监测方法(Image monitoringapparatus and image monitoring method)″，它介绍了一个用于检测乘客是否在电梯入口的系统。入口是通过与形成入口的静止的，水平和垂直的线进行模式匹配确定的。二维的线的信息减少到一维信息。很显然，这个方法不适于检测形状不规则的活动物体。日本专利公开11-268879，介绍了一个电梯控制系统，有两个摄像机放置在顶棚上，然后对获取的图像进行分析，根据乘客的身高和顶部平面形状(top planar shapes)来区别等候电梯的乘客的类型。这个系统要求乘客按下呼叫按钮和固定于顶棚的摄像机来进行手动激活。于2002年5月14日提交给Fujita的美国专利6,386,325描述了“有大厅扫描器的电梯系统，用于区分站立和坐着的乘客(Elevatorsystem with a hall scanner for distinguishing between standingand sitting elevator passengers.)”这个系统也要求乘客手动激活，让乘客按下一个呼叫按钮，并且这个系统只能监控对大厅呼叫按钮进行操作的乘客。这个系统使用的是传统的背景减除方法来生成一个二维差图。把该二维差图和预先存储的轮椅轮廓模型进行比较。显示的轮廓仅仅是轮椅用户的正视面和侧视图。这个系统也存在许多主要问题。首先，系统使用传统的背景减除方法，因此，可能会有产生一个如前面提到的有用的差图的内在问题。其次，摄像机获取的任何图像都和轮廓显示相类似是不太可能的。事实上，走动的人和轮椅用户的不同轮廓不计其数。Fujita没有说明基本的轮廓模式如何与任意的视图相匹配。众所周知，在视图系统中，模式匹配是一个非常难的问题，只有对受约束的轮廓才有解决方案。第三，背景减除只提供了二维模型，不能确定深度信息，或者是物体内部的活动状况。因此，需要提出一个轮椅检测系统，这个系统不使用背景减除，不需要预先存储的模型，建立在三维信息基础上。
技术实现思路
本专利技术提出了用于区别活动的人和轮椅用户的方法及系统。在具体的应用中，系统检测某个位置是否有轮椅用户，这个位置需要提供适应于轮椅的服务。例如，这个位置可以在自动门的前面，系统可以自动把门打开一段较长时间，这段时间比通常情况下的时间长。在另外一个应用中，轮椅用户正在等待一个电梯，或者是其他类型的提升设备。一旦检测到轮椅用户，就可以提供专门的电梯服务。例如，电梯地板可以精确地和地面持平，在轮椅用户进出电梯的时候，电梯门可以保持开启较长的时间。另外，为了传送轮椅用户而专门设计的电梯升降室可以指定用于服务轮椅用户，或者优先提供服务。在现有技术中，通常需要轮椅用户按压位于某个位置的按钮，来表示需要专门的服务。然而，不是所有的轮椅用户都可以手动激活信号。也许还有其他的原因使得手动系统不切实际，或者不够理想。因此，本专利技术用一个全自动系统取代现有技术的手动系统。本专利技术使用了计算机视觉系统，其中，在该位置放置了多个摄像机，特别是一个校准的三目摄像机系统(calibrated trinocular camerasystem)。摄像机获取该位置的场景的图片序列，然后图像经过四个阶段的处理。首先，通过利用图像亮度梯度来检测场景中物体的边缘。其次，通过利用立体视像差(stereo disparity)链接边缘，使链接对应于物体的物理轮廓。再次，计算物体的三维重建。最后，对场景中的每个物体进行分类，例如，分为活动的人或者轮椅用户。接下来，执行分类从属(classificati本文档来自技高网...

【技术保护点】
对场景中的物体进行分类的方法，包括步骤：用一组立体摄像机获得场景中物体的图像；利用检测到的边把物体从背景中分离出来；从检测到的边中产生物体的三维重建；以及，对三维重建的高度和三维形状进行测试，以便把物体分类为 运动的人或者是轮椅使用者。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：P比尔滋利，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]