信息处理装置、模型数据创建程序、模型数据创建方法制造方法及图纸

本发明专利技术公开一种信息处理装置，包括：获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；以及优化处理部，基于对象物模型以及上述点群数据，来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位。

Information processing device, model data creation program, model data creation method

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、模型数据创建程序、模型数据创建方法
本公开涉及信息处理装置、模型数据创建程序以及模型数据创建方法。
技术介绍
已知有基于散布于人等对象物的表面的点群数据，来追踪对象物的骨骼的技术(例如，参照非专利文献1)。在该技术中，通过以对对象物的表面进行多次分割而成的网格进行模型化，并基于点与点的距离(即2点间距离)组合网格顶点和点群数据，来推断对象物的姿势。非专利文献1:由M.YeandR.Yang编写的"Real-timeSimultaneousPoseandShapeEstimationforArticulatedObjectsUsingaSingleDepthCamera"inCVPR(2014)专利文献1:日本特开平10-149445号公报专利文献2:日本特开2011-179907号公报然而，在如上述那样的现有技术中，在基于点群数据来识别对象物的状态(姿势等)时，很难以相对较低的计算负荷对噪声稳健地获得精度较高的结果。例如，在以网格进行模型化的上述的现有技术中，通过增加网格顶点的个数能够详细地表达对象物的形状，但在噪声相对较多的点群数据中模型的表达力不充分，且容易增加误差。即，另加上由网格间隔引起的误差。另外，若点群数例如为1,000，网格顶点数例如为1,000，则需要1,000,000个组合计算，计算量会非常庞大。
技术实现思路
因此，在一个侧面中，本专利技术的目的在于能够以相对较低的计算负荷并且以对于噪声稳健的方式，基于点群数据来识别对象物的状态。<br>根据本公开的一个方面，提供一种信息处理装置，包括：获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；优化处理部，基于对象物模型以及上述点群数据，来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及输出部，输出上述最合适解或者基于该最合适解的对象物信息。根据本公开，能够以相对较低的计算负荷并且以对于噪声稳健的方式，基于点群数据来识别对象物的状态。附图说明图1是示意性地表示一个实施例的对象物识别系统的概略结构的图。图2是表示对象物识别装置的硬件结构的一个例子的图。图3是表示对象物识别装置的功能的一个例子的框图。图4是关节模型的一个例子的说明图。图5A是对象物模型的一个例子的说明图。图5B是对象物模型的另一个例子的说明图。图6A是初始状态的设定方法的一个例子的说明图。图6B是几何模型的参数的说明图。图7是点群数据xn的一个例子的说明图。图8A是χkl的说明图。图8B是表示为了χkl的说明而对部位分配编号的例子的图。图9是表示输出例的图。图10A是表示由对象物识别装置执行的处理的一个例子的流程图。图10B是表示更新处理的一个例子的流程图。图11是表示由对象物识别装置执行的处理的另一个例子的流程图。图12是后验分布pnm的计算结果的说明图。图13是拟合结果的说明图。图14A是拟合结果的说明图。图14B是拟合结果的说明图。具体实施方式在本说明书中，只要未特别提及，“导出某个参数(例如后述的参数θ)”是指“导出该参数的值”。图1是示意性地表示一个实施例的对象物识别系统1的概略结构的图。在图1中，为了说明，示有对象者S(对象物的一个例子)。另外，在图1中，一并示有显示装置7。对象物识别系统1包括距离图像传感器21以及对象物识别装置100(信息处理装置的一个例子)。距离图像传感器21获取对象者S的距离图像。例如，距离图像传感器21是三维图像传感器，进行空间整体的传感检测并测量距离，并获取如数字图像那样按每个像素具有距离信息的距离图像(点群数据的一个例子)。距离信息的获取方式是任意的。例如，距离信息的获取方式也可以是对对象投影特定的图案并通过图像传感器对其进行读取，并根据投影图案的几何学的变形通过三角测量的方式获取距离的主动立体方式。另外，也可以是照射激光并通过图像传感器读取反射光，并根据其相位的偏离来测量距离的TOF(Time-of-Flight：飞行时间)方式。此外，距离图像传感器21可以以位置被固定的方式来设置，也可以以位置可动的方式来设置。对象物识别装置100基于从距离图像传感器21获得的距离图像，来识别对象者S的关节、骨骼。对于该识别方法，在后面详细叙述。对象者S是人、人型的机器人，具有多个关节。以下，作为一个例子，对象者S为人。对象者S根据用途，也可以是特定的个人，也可以是不特定的人。例如，在用途为体操等的比赛时的动作的解析的情况下，对象者S可以是比赛选手。此外，在用途为解析体操、花样滑冰等的比赛时那样的激烈的动作(高速并且复杂的动作)的情况下，优选如图1中示意性所示，设置多个距离图像传感器21，以获得接近对象者S的三维形状的点群数据。对象物识别装置100也可以以与距离图像传感器21连接的计算机的方式来实现。对象物识别装置100与距离图像传感器21的连接可以通过利用有线的通信路径、利用无线的通信路径、或者它们的组合来实现。例如，在对象物识别装置100相对于距离图像传感器21配置于相对较远的服务器的方式的情况下，对象物识别装置100也可以经由网络与距离图像传感器21连接。在该情况下，网络例如可以包括移动电话的无线通信网、互联网、WorldWideWeb(万维网)、VPN(virtualprivatenetwork：虚拟专用网)、WAN(WideAreaNetwork：广域网)、有线网络、或者它们的任意的组合等。另一方面，在对象物识别装置100相对于距离图像传感器21配置于相对较近的情况下，利用无线的通信路径可以通过近距离无线通信、蓝牙(注册商标)、Wi－Fi(WirelessFidelity)等来实现。另外，对象物识别装置100也可以通过不同的2个以上的装置(例如计算机、服务器等)协作来实现。图2是表示对象物识别装置100的硬件结构的一个例子的图。在图2所示的例子中，对象物识别装置100包括控制部101、主存储部102、辅助存储部103、驱动器装置104、网络I/F部106、输入部107。控制部101是执行主存储部102、辅助存储部103中存储的程序的运算装置，从输入部107、存储装置中接受数据，并进行运算、加工之后，输出至存储装置等。控制部101例如也可以包括CPU(CentralProcessingUnit：中央处理器)、GPU。主存储部102是ROM(ReadOnlyMemory：只读存储器)、RAM(RandomAccessMemory：随机存储器)等，存储或者临时保存作为控制部101所执行的基本软件的OS、应用软件等的程序、数据的存储装置。辅助存储部103是HDD(HardDiskDrive：本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：/n获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；/n优化处理部，基于对象物模型和上述点群数据来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及/n输出部，输出上述最合适解或者基于该最合适解的对象物信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：
获取部，从获得三维的位置信息的传感器，获取具有经由关节连接的多个部位的对象物的表面所涉及的点群数据；
优化处理部，基于对象物模型和上述点群数据来一边改变上述对象物模型，一边搜索与上述点群数据匹配的上述对象物模型所涉及的最合适解，上述对象物模型使用具有轴的多个几何模型来表达多个上述部位；以及
输出部，输出上述最合适解或者基于该最合适解的对象物信息。


2.根据权利要求1所述的信息处理装置，其中，
改变上述对象物模型包括改变多个上述几何模型的种类，
搜索上述最合适解包括从圆柱、圆锥、梯形柱、楕圆柱、椭圆锥以及梯形楕圆柱中的至少任意2个中搜索多个上述几何模型中的每一个几何模型的最合适的种类。


3.根据权利要求2所述的信息处理装置，其中，
搜索上述最合适解是导出上述几何模型相对于上述点群数据的拟合程度的随机的指标值，并按多个上述部位的每一个部位，将表示上述指标值最佳的上述拟合程度的种类的上述几何模型决定为上述最合适的种类。


4.上述指标值是上述点群数据相对于上述几何模型的表面的残差。


5.根据权利要求4所述的信息处理装置，其中，
上述拟合处理基于EM算法，
上述指标值是后验分布的数据和。


6.根据权利要求1～5中任一项所述的信息处理装置，其中，
改变上述对象物模型包括使上述对象物模型变形，
搜索上述最合适解包括对多个上述几何模型的每一个几何模型，搜索轴向、与该轴向垂直的方向的最合适的长度、以及沿着该轴向的最合适的长度中的至少任意一个。


7.根据权利要求1～5中任一项所述的信息处理装置，其中，
改变上述对象物模型包括基于使用机理模型的正向运动学来使上述对象物模型变形。


8.根据权利要求1～5中任一项所述的信息处理装置，其中，
改变上述对象物模型是指，伴随着多个上述部位间的关节旋转、多个上述部位中的规定关节的并进、以及重心的旋转，
搜索上述最合适解包括对多个上述几何模型中的每一个几何模型，搜索最合适的位置、以及最合适的方向。


9.根据权利要求8所述的信息处理装置，其中，
改变上述对象物模型还包括对多个上述几何模型的至少任意一个几何模型变更沿着轴向的长度，
搜索上述最合适解包括在改变上述对象物模型时，根据与上述关节旋转、上述规定关节的并进以及上述重心的旋转对应的变形，来更新多个上述几何模型的每一个几何模型的方向，接下来，基于更新后的方向和变更...

【专利技术属性】
技术研发人员：村上亮，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP