训练分类器以检测目标环境图像中的对象的方法和系统技术方案

训练分类器以检测目标环境图像中的对象的方法和系统。一种用于训练被定制为检测并分类在目标环境中取得的一组图像中的对象的分类器的方法首先根据所述一组图像来生成3D目标环境模型，并且然后取得3D对象模型。根据目标环境模型和3D对象模型合成训练数据，并且然后使用该训练数据训练分类器。

【技术实现步骤摘要】

本专利技术总体上涉及计算机视觉，并且更具体地，涉及用于对所获取的环境的图像中的对象进行检测和分类的训练分类器。
技术介绍
用于对环境的彩色和距离图像中的对象进行检测和分类的现有技术方法通常是基于使用机器学习的训练对象分类器。训练数据是机器学习方法的主要组成部分。当目标是开发高精度系统时，重要的是，分类模型具有高容量，使得可以为对象和环境的外表的大的变化建模。但是，高容量分类器伴随有过拟合(overfitting)的缺点。例如，当模型描述随机误差或噪音而不描述基础关系时，发生过拟合。当模型过于复杂，诸如，具有关于被建模的数据的太多参数时，通常发生过拟合。结果，过拟合可以导致较差的预测性能，因为它可以夸大数据中很小的波动并且具有较差的泛化性能。因此，需要非常大的数据集以具有良好的泛化性能。大多数现有技术方法需要大量的人工干预。例如，在训练环境中放置传感器以获取该环境中的对象的图像。然后，所获取的图像被存储在存储器中作为训练数据。例如，在商店中设置三维(3D)传感器以获取顾客的图像。接下来，对训练数据进行人工注释，这称为标注(labeling)。在标注期间，取决于任务，在数据中标记不同的位置，诸如，包含一个人的边框、人关节位置、源于人的图像中的所有像素等。例如，为了以3D数据对人的外表的中等变化进行建模，除了诸如像机和对象放置的刚性变换以及人的形状变化以外，需要对超过20个关节角度进行建模。因此，对于机器学习方法来说，需要非常大的3D数据集。难以收集和存储该数据。而且，人工标注人的图像和标记需要的关节位置是非常耗费时间的。此外，必须考虑传感器的内部和外部参数。只要传感器规格和配置参数发生变化，就需要重新取得训练数据。另外，在许多应用中，直到设计的后期阶段，训练数据才可用。一些现有技术方法使用计算机图形仿真自动生成训练数据，例如，参见Shotton等人的“Real-Time Human Pose Recognition in Parts from Single Depth Images,”CVPR,2011以及Pishchulin等人的“Learning people detection models from few training samples,”CVPR,2011。那些方法使用软件对3D人体模型进行动画处理以对2D或3D图像数据进行仿真。然后，使用模拟数据和有限的人工标注的真实数据训练分类器。在所有那些现有技术方法中，训练数据的采集和训练是异地和离线操作。也就是说，分类器在不同位置被设计和训练，然后被终端用户部署以用于目标环境中的现场使用和操作。此外，那些方法不使用代表在现场操作期间分类器所要应用的实际目标环境的任何仿真或真实数据。换言之，使用来自许多环境的数据异地和离线地训练的对象分类器对一般对象和环境变化建模，即使这样的变化可能并不存在于目标环境中。相似地，异地训练的分类器可能漏掉目标环境的具体细节，这是由于它们不具有训练数据中的细节。
技术实现思路
本专利技术的实施方式提供了一种用于训练分类器以对呈现在目标环境的获取的图像中的对象进行检测和分类。该方法可以用于使用例如单个图像或多个图像(视频)来检测和计数在图像中呈现的人。该方法可以应用于具有中度至重度遮挡的拥挤的场景。该方法使用计算机图形和机器学习以利用合成和真实数据的组合训练分类器。与现有技术相反，在操作期间，该方法获得目标环境的模型，对目标环境内部的对象模型进行仿真以及训练针对目标环境优化的分类器。特别地，一种方法训练分类器，该分类器被定制为通过首先根据在目标环境中取得的一组图像生成目标环境模型，对所述一组图像中的对象进行检测和分类。还取得三维对象模型。根据目标环境模型和3D对象模型合成训练数据。然后，使用所述训练数据来训练分类器。随后，使用所述分类器来检测环境的取得的测试图像中的对象。附图说明图1是根据本专利技术的实施方式的针对目标环境使用目标环境模型和3D对象模型来训练定制的分类器的方法的框图。图2是根据本专利技术的实施方式的使用传感器来获得由2D或3D图像形成的目标环境模型的方法的框图。图3是根据本专利技术的实施方式的使用传感器和3D重构程序来获得由3D模型形成的目标环境模型的方法的框图。图4是根据本专利技术的实施方式的用于使用渲染(render)目标环境模型和3D对象模型的计算机图像进行仿真来生成训练数据的方法的框图。图5是根据本专利技术的实施方式的使用定制的目标分类器来检测和分类目标环境中的对象的方法的框图。图6是根据本专利技术的实施方式的检测图像中的人的对象分类程序的框图。图7是根据本专利技术的实施方式的从深度图像计算的特征描述符。具体实施方式如图1所示，本专利技术的实施方式提供了一种用于训练140定制的目标环境分类器150的方法，该分类器150专门检测目标环境中的对象。在训练期间，仿真器120通过使用目标环境模型101和三维(3D)对象模型110，根据目标环境来合成训练数据130。训练数据130用于学习被定制为检测目标环境中的对象的目标环境分类器。如此处限定的，目标环境模型101是用于在终端用户现场操作期间分类器所应用的环境。例如，该环境是商场、工厂车间、街道场景、住宅等。如图2所示，可以以各种方式感测210目标环境201。在一个实施方式中，目标环境模型101是二维(2D)彩色图像和3D深度图像204的集合。该集合可以包括一个或更多个图像。使用放置在目标环境中的2D或3D传感器205或两者来收集这些图像。例如，传感器可以是输出三维(3D)距离(深度)图像和二维彩色图像的KinectTM。可选地，由立体像机取得的立体2D图像可以用于重构深度值。如用于不同实施方式的图3所示，目标环境模型101是具有纹理的3D模型。使用2D或3D像机205感测210目标环境以取得2D或3D图像204或二者。可以从不同的视点取得图像以重构310整个3D目标环境。重构的模型可以被储存为3D点云的集合，或者模型可以被储存为具有纹理的三角形网格(mesh)。该方法使用现实的计算机图像仿真120以合成训练数据130。该方法可以使用3D对象模型110。如图4所示，使用放置在模型中的与目标环境中的像机205的位置相对应的位置处的合成像机来渲染420对象模型110和环境模型101，以获得代表具有对象的目标环境的现实的训练数据。在渲染之前，仿真参数410被生成401并控制诸如像机位置的渲染条件。然后，根据指定遮挡信息的深度顺序，将所渲染的对象和环境图像430合并440以产生训练数据130。例如，图像模型可以代表人。可以使用渲染来对纹理数据和深度数据二者进行仿真，并且因此可以训练3D分类器和2D分类器二者。在一个实施方式中，我们使用由具有3D顶点坐标、法线、材料以及纹理坐标的三角形网格形成的3D人体模型的库。此外，骨骼与每个网格相关联，使得每个顶点附着于一个或更多个骨头，并且当骨头移动时，人体模型相应地移动。我们根据目标环境内的运动捕捉数据对各种3D人体模型进行动画处理，并且生成现实纹理图和深度图。这些渲染与3D环境图像合并440以生成具有已知标记、传感器和姿势参数410的3D训练数据130的非常大的集合。一个优势是不需要存储训练数据130。渲染场景比读取存储的图像快得多，例如以约60至100本文档来自技高网...

【技术保护点】
一种用于训练分类器的方法，所述分类器被定制为对在目标环境中取得的一组图像中的对象进行检测和分类，该方法包括以下步骤：根据所述一组图像生成3D目标环境模型；取得3D对象模型；根据所述目标环境模型和所述3D对象模型合成训练数据；以及使用所述训练数据来训练所述分类器，其中，在处理器中执行上述步骤。

【技术特征摘要】
2015.05.21 US 14/718,6341.一种用于训练分类器的方法，所述分类器被定制为对在目标环境中取得的一组图像中的对象进行检测和分类，该方法包括以下步骤：根据所述一组图像生成3D目标环境模型；取得3D对象模型；根据所述目标环境模型和所述3D对象模型合成训练数据；以及使用所述训练数据来训练所述分类器，其中，在处理器中执行上述步骤。2.根据权利要求1所述的方法，其中，一组训练图像包括距离图像、或彩色图像、或距离图像与彩色图像。3.根据权利要求1所述的方法，该方法还包括以下步骤：取得所述环境的一组测试图像；以及使用所述分类器来检测在所述一组测试图像中表现的对象。4.根据权利要求1所述的方法，其中，所述一组图像包括由所述目标环境中的3D传感器取得的二维2D彩色图像和三维3D深度图像。5.根据权利要求1所述的方法，其中，所述一组图像包括由所述目标环境中的立体像机取得的立体图像。6.根据权利要求1所述的方法，其中，所述目标环境模型被存储为点云。7.根据权利要求1所述的方法，其中，所述目标环境模型被存储为三角形网格。8.根据权利要求7所述的方法，其中，所述目标环境模型包括纹理。9.根据权利要求1所述的方法，其中，所述目标环境模型和所述3D对象模型...

【专利技术属性】
技术研发人员：O·图兹尔，J·桑顿，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP