应用于行人姿势分类的3D人体模型制造技术

对行人姿势分类模型进行训练。接收行人的三维（3D）模型。接收指示如何生成行人的图像的图像参数的集合。基于接收的3D模型和接收的图像参数的集合来生成二维（2D）合成图像。利用图像参数的集合对生成的合成图像进行注释。通过经注释的合成图像训练多个行人姿势分类器。

【技术实现步骤摘要】
应用于行人姿势分类的3D人体模型相关申请本申请要求2012年12月21日递交的第61/745,235号美国临时申请的权益，其通过引用的方式全部并入于此。
本专利技术总体涉及对象分类的领域，并且更具体地涉及在对行人姿势的分类中对合成数据的使用。
技术介绍
配备有行人检测系统的车辆（例如汽车）可以警告其司机附近有行人。然而，仅仅有行人检测是不够的。情势的危险也应当被评估。只有当存在事故的风险时才应当被产生警告。否则，司机将被不必要地分散注意力。情势的危险例如与行人是否可能走入车辆的路径有关。“对象分类”指自动对视频图像或静态图像中的对象进行分类的操作。例如，分类系统可以确定静态图像中的人（例如行人）正在面向左、面向右、面向前还是面向后。可以例如在车辆中使用行人姿势分类以提高车辆的司机、行人、骑车者以及与车辆共享道路的任何其它人的安全性。当前的对象分类系统存在很多问题。一个问题是缺少用于训练对象分类模型的大规模的训练集。为机器学习算法提供包括正样本（包括特定类别的对象的图像）和负样本（不包括该特定类别的对象的图像，例如包括另一类别的对象的图像）的训练集以产生对象分类模型。此外，当为特定类型的对象生成新的训练集时，每个图像利用特定的信息片段被人工注释。例如，图像中存在的对象的分类和/或图像中存在的对象的特定参数（例如图像内的对象的颜色和对象的位置）可以被添加到图像中。机器学习算法利用那些注释和图像来生成用于对对象进行分类的模型。注释过程可能是乏味且耗时的。
技术实现思路
以上及其它问题通过一种用于训练行人姿势分类模型的方法、非瞬态计算机可读存储介质和系统来解决。该方法的实施例包括接收行人的三维（3D）模型。该方法还包括接收指示如何生成行人的图像的图像参数的集合。该方法还包括基于接收的3D模型和接收的图像参数的集合来生成二维（2D）合成图像。该方法还包括利用图像参数的集合对所生成的合成图像进行注释。该方法还包括通过经注释的合成图像训练多个行人姿势分类器。该介质的实施例存储用于训练行人姿势分类模型的可执行指令。该指令接收行人的三维（3D）模型。该指令还接收指示如何生成行人的图像的图像参数的集合。该指令还基于接收的3D模型和接收的图像参数的集合来生成二维（2D）合成图像。该指令还利用图像参数的集合对所生成的合成图像进行注释。该指令还通过经注释的合成图像训练多个行人姿势分类器。该系统的实施例包括存储可执行指令的非瞬态计算机可读存储介质。该指令接收行人的三维（3D）模型。该指令还接收指示如何生成行人的图像的图像参数的集合。该指令还基于接收的3D模型和接收的图像参数的集合来生成二维（2D）合成图像。该指令还利用图像参数的集合对所生成的合成图像进行注释。该指令还通过经注释的合成图像训练多个行人姿势分类器。说明书中所描述的特征和优点并非无所不包的，并且具体而言，很多附加的特征和优点对于本领域技术人员来说在考虑到附图、说明书和权利要求的情况下是显而易见的。此外，应当注意说明书中所使用的语言主要为了可读性和指导性的目的而被选择，并且可以不被选择用来描述或者限定专利技术主题。附图说明图1是示出了根据实施例的行人姿势分类系统的高级框图。图2是示出了根据实施例的被用作图1中所示的行人姿势分类系统的计算机的示例的高级框图。图3A是示出了根据实施例的图1中所示的图像生成模块的详细视图的高级框图。图3B是示出了根据实施例的图1中所示的总体分类模块的详细视图的高级框图。图4A是示出了根据实施例的用于生成合成行人数据的方法的流程图。图4B是示出了根据实施例的用于训练多个二元行人姿势分类器以用于在图3B中所示的总体分类模块中使用的方法的流程图。图4C是示出了根据实施例的用于对静态图像中的行人的姿势进行分类的方法的流程图。附图为了图示的目的而示出了实施例的各种实现方式。本领域技术人员根据以下的讨论将很容易地意识到可以使用这里所示出的结构和方法的替代实施例而不偏离这里所描述的实施例的原理。具体实施方式现在参考附图描述实施例，其中相似的标号指示相同或功能相似的元件。此外，在附图中，每个标号最左边的数字对应于其中该标号第一次被使用的附图。图1是示出了根据实施例的行人姿势分类系统100的高级框图。行人姿势分类系统100可以包括图像生成模块105、训练模块110和总体分类模块120。在给出行人的静态图像的情况下，行人姿势分类系统100可以对行人的姿势进行分类。在一个实施例中，姿势被分类为“面向左”、“面向右”或者“面向前或面向后”。行人姿势分类系统100可以被用在车辆中以对在车辆外面的附近的行人的姿势进行分类。然后，姿势分类可以被用于确定行人是否可能走入车辆的路径中。对行人姿势的了解可以被用在例如车辆事故避免系统中以提高车辆内部人员的安全性以及与车辆共享道路的行人的安全性。司机在驾驶车辆时可能需要注意出现在他们周围的多个对象和事件。例如，司机可能需要注意交通标志（例如交通信号灯、速度标志和警告标志）、车辆参数（例如车辆速度、引擎速度、油温和油量）、共享道路的车辆、试图穿过街道的行人等。有时，行人可能被忽视并且可能被卷入事故中。如果检测到有行人存在（该行人可能走入车辆的路径中），则可以警示司机有行人存在。例如，考虑位于车辆右边的行人。如果该行人正面向左，则该行人更有可能走入车辆的路径中。如果该行人正面向右，则该行人较不可能走入车辆的路径中。图像生成模块105接收背景图像和行人的三维（3D）虚拟模型作为输入，生成行人的二维（2D）图像，对生成的2D图像进行注释，并且输出经注释的2D图像（“合成行人数据”）。图像生成模块105还可以接收参数的集合以在生成行人的2D图像时使用（未被示出）。训练模块110接收由图像生成模块105生成的经注释的2D图像（合成行人数据）作为输入。然后，训练模块110利用合成行人数据来训练用于对图像中的行人的姿势进行分类的行人姿势分类器并且输出经训练的行人姿势分类器。下面参考图3A进一步描述合成行人数据。总体分类模块120接收行人的静态图像以及经训练模块110训练的行人姿势分类器，确定行人的姿势的分类，并且输出该分类。在一些实施例中，静态图像由安装在车辆上的相机捕获。例如，静态图像可以利用具有1/1.8英寸的传感器的电荷耦合器件（CCD）相机来捕获。为了提高相机的快门速度并且降低图像模糊，也可以使用具有更大的传感器的相机。在一些实施例中，通过从视频中提取帧来得到静态图像。行人姿势分类可以是三元结果（例如面向左、面向右或者面向前或面向后）。图2是示出了根据实施例的被用作图1中所示的行人姿势分类系统100的计算机200的示例的高级框图。所图示的是被耦合至芯片组204的至少一个处理器202。芯片组204包括存储器控制器集线器250和输入/输出（I/O）控制器集线器255。存储器206和图形适配器213被耦合至存储器控制器集线器250，并且显示设备218被耦合至图形适配器213。存储设备208、键盘210、定点设备214和网络适配器216被耦合至I/O控制器集线器255。计算机200的其它实施例具有不同的体系结构。例如，在一些实施例中存储器206被直接耦合至处理器202。存储设备208包括一个或多个非瞬态计算机可读存储介质，例如硬盘、致密盘只读存本文档来自技高网...

【技术保护点】
一种用于训练行人姿势分类模型的方法，包括：接收行人的三维（3D）模型；接收指示如何生成行人的图像的图像参数的集合；基于接收的所述三维模型和接收的所述图像参数的集合来生成二维（2D）合成图像；利用所述图像参数的集合对生成的所述合成图像进行注释；以及通过经注释的所述合成图像训练多个行人姿势分类器。

【技术特征摘要】
2012.12.21 US 61/745,235;2013.11.20 US 14/084,9661.一种用于训练行人姿势分类模型的方法，包括：接收行人的三维(3D)模型；接收指示如何生成行人的图像和所述行人的姿势分类的图像参数的集合；基于接收的所述三维模型和接收的所述图像参数的集合来生成二维(2D)合成图像；利用所述图像参数的集合对生成的所述合成图像进行注释；以及通过经注释的所述合成图像顺序地训练多个行人姿势分类器，包括：在检测到所述行人的所述姿势分类对应于当前的行人姿势分类器时，使用经注释的所述合成图像作为正样本来训练所述当前的行人姿势分类器，并且使用经注释的所述合成图像作为负样本来训练其余的行人姿势分类器。2.根据权利要求1所述的方法，其中训练所述多个行人姿势分类器包括：响应于所述图像参数的所述姿势分类为第一姿势分类，通过作为正样本的经注释的所述合成图像来训练所述多个行人姿势分类器当中的第一行人姿势分类器。3.根据权利要求2所述的方法，其中训练所述多个行人姿势分类器还包括：响应于所述图像参数的所述姿势分类为所述第一姿势分类，通过作为负样本的经注释的所述合成图像来训练所述多个行人姿势分类器当中的第二行人姿势分类器。4.根据权利要求3所述的方法，其中训练所述多个行人姿势分类器还包括：响应于所述图像参数的所述姿势分类为第二姿势分类，通过作为负样本的经注释的所述合成图像来训练所述第一行人姿势分类器，并且通过作为正样本的经注释的所述合成图像来训练所述第二行人姿势分类器。5.根据权利要求1所述的方法，其中生成所述二维合成图像包括：根据接收的所述三维模型渲染行人的二维图像；以及为经渲染的所述二维图像添加背景。6.根据权利要求1所述的方法，其中所述行人姿势分类器是二元行人姿势分类器。7.根据权利要求1所述的方法，其中所述行人姿势分类器包括非线性支持向量机(SVM)。8.根据权利要求1所述的方法，其中所述行人姿势分类器基于方向梯度直方图(HOG)图像特征执行分类。9.一种用于训练行人姿势分类模型的装置，包括：用于接收行人的三维(3D)模型的部件；用于接收指示如何生成行人的图像和所述行人的姿势分类的图像参数的集合的部件；用于基于接收的所述三维模型和接收的所述图像参数的集合来生成二维(2D)合成图像的部件；用于利用所述图像参数的集合对生成的所述合成图像进行注释的部件；以及用于通过经注释的所述合成图像顺序地训练多个行人姿势分类器的部件，其包括：用于在检测到所述行人的所述姿势分类对应于当前的行人姿势分类器时、使用经注释的所述合成图像作为正样本来训练所述当前的行人姿势分类器并且使用经注释的所述合成图像作为负样本来训练其余的行人姿势分类器的部件。10.根据权利要求9所述的装置，其中所述用于训练所述多...

【专利技术属性】
技术研发人员：B·海斯勒，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：日本;JP