对象物识别方法、装置、系统、程序制造方法及图纸

本发明专利技术公开一种由计算机执行的对象物识别方法，该方法包含：从获得三维位置信息的传感器，获取涉及具有多个关节的对象物的表面的点群数据，并导出或者获取表示上述对象物的多个部位中的每一个部位的位置以及轴向的第一参数且是第一时刻的第一参数，并基于比上述第一时刻靠后的第二时刻的上述点群数据、上述第一时刻的上述第一参数、以及具有轴的几何模型，导出上述第二时刻的上述第一参数。

Object identification method, device, system and procedure

【技术实现步骤摘要】
【国外来华专利技术】对象物识别方法、装置、系统、程序
本公开涉及对象物识别方法、对象物识别装置、对象物识别系统以及对象物识别程序。
技术介绍
已知有基于散布在人等对象物的表面的点群数据，来追踪对象物的骨骼的技术(例如，参照非专利文献1)。在该技术中，对点群数据的分布，假定混合高斯分布，并且假定各高斯分布的中心(特征点)被固定于对象物的表面，在这样的假定下，通过按每一帧追踪特征点，来追踪对象物的骨骼。非专利文献1:由M.YeandR.Yang撰写的"Real-timeSimultaneousPoseandShapeEstimationforArticulatedObjectsUsingaSingleDepthCamera"inCVPR(2014)然而，在如上述那样的现有技术中，由于需要对每一帧进行修正特征点的偏差的迭代计算，所以存在计算负荷相对较高的问题。例如，在如上述那样的现有技术中，若每帧实施10次以上的迭代计算，则即使驱使GPU(GraphicsProcessingUnit：图形处理单元)也预测为30fps是极限。
技术实现思路
因此，在一个侧面，本专利技术的目的在于以相对较低的计算负荷高精度地识别对象物的关节或者骨骼。根据本公开的一个方面提供一种由计算机执行的对象物识别方法，该方法包含：从获得三维位置信息的传感器，获取涉及具有多个关节的对象物的表面的点群数据，导出或者获取表示上述对象物的多个部位中的每一个部位的位置以及轴向的第一参数且是第一时刻的第一参数，基于比上述第一时刻靠后的第二时刻的上述点群数据、上述第一时刻的上述第一参数、以及具有轴的几何模型，导出上述第二时刻的上述第一参数。根据本公开，能够以相对较低的计算负荷高精度地识别对象物的关节或者骨骼。附图说明图1是示意性地表示一个实施例的对象物识别系统的简要结构的图。图2是表示对象物识别装置的硬件结构的一个例子的图。图3是表示对象物识别装置的功能的一个例子的框图。图4是关节模型的一个例子的说明图。图5是示意性地表示EM算法部124的导出结果的图。图6是由长度计算部128进行的基于半峰全宽的决定方法的说明用的简要流程图。图7是表示对象物识别系统1的整体动作的一个例子的简要流程图。图8是表示部位识别处理的一个例子的简要流程图。图9A是由对象物识别系统进行的处理的说明图。图9B是由对象物识别系统进行的处理的说明图。图10是χkl'的说明图。图11是表示对用于χkl'的说明的部位分配编号的例子的图。图12是整体动作的一个例子的简要流程图。图13是微小拟合处理的一个例子的简要流程图。具体实施方式以下，参照附图对各实施例进行详细说明。在本说明书中，只要未特别提及，所谓的“导出某个参数(例如后述的参数θ)”意味着“导出该参数的值”。图1是示意性地表示一个实施例的对象物识别系统1的简要结构的图。在图1中，为了说明，示有对象者S(对象物的一个例子)。对象物识别系统1包含距离图像传感器21和对象物识别装置100。距离图像传感器21获取对象者S的距离图像。例如，距离图像传感器21是三维图像传感器，进行空间整体的传感检测来测量距离，并获取如数字图像那样每个像素具有距离信息的距离图像(点群数据的一个例子)。距离信息的获取方式是任意的。例如，距离信息的获取方式可以为将特定的图案投影至对象并利用图像传感器读取该图像，并根据投影图案的几何学形变通过三角测量的方式获取距离的主动立体(Activestereo)方式。另外，也可以是照射激光并通过图像传感器读取反射光，并根据其相位的偏差来测量距离的TOF(Time-of-Flight)方式。此外，距离图像传感器21可以以位置被固定的方式来设置，也可以以位置可动的方式来设置。对象物识别装置100基于从距离图像传感器21获得的距离图像，来识别对象者S的关节、骨骼。关于该识别方法，在后面详细叙述。对象者S是人、人型的机器人，具有多个关节。以下，作为一个例子，对象者S是人。对象者S根据用途，可以是特定的个人，也可以是不特定的人。例如，在用途是体操等的比赛时的动作的解析的情况下，对象者S也可以为比赛选手。此外，在用途为对如体操、花样滑冰等的比赛时的剧烈的动作(高速并且复杂的动作)进行解析的情况下，距离图像传感器21优选如图1中示意性所示那样设置多个，以获得接近对象者S的三维形状的点群数据。对象物识别装置100也可以以与距离图像传感器21连接的计算机的方式来实现。对象物识别装置100与距离图像传感器21的连接可以通过由有线形成的通信路径、由无线形成的通信路径、或者它们的组合来实现。例如，在对象物识别装置100是相对于距离图像传感器21相对远程地配置的服务器的方式的情况下，对象物识别装置100可以经由网络与距离图像传感器21连接。在该情况下，网络例如可以包含移动电话的无线通信网、互联网、WorldWideWeb(万维网)、VPN(virtualprivatenetwork：虚拟专用网)、WAN(WideAreaNetwork：广域网)、有线网络、或者它们的任意的组合等。另一方面，在对象物识别装置100相对于距离图像传感器21配置于相对附近的情况下，由无线形成的通信路径也可以通过近距离无线通信、蓝牙(注册商标)、Wi－Fi(WirelessFidelity：无线高保真)等来实现。另外，对象物识别装置100也可以通过不同的2个以上的装置(例如计算机、服务器等)协作来实现。图2是表示对象物识别装置100的硬件结构的一个例子的图。在图2所示的例子中，对象物识别装置100包含控制部101、主存储部102、辅助存储部103、驱动器装置104、网络I/F部106、输入部107。控制部101是执行主存储部102、辅助存储部103中存储的程序的运算装置，从输入部107、存储装置接受数据，并在运算、加工之后，输出至存储装置等。控制部101例如也可以包含CPU(CentralProcessingUnit：中央处理器)、GPU。主存储部102是ROM(ReadOnlyMemory：只读存储器)、RAM(RandomAccessMemory：随机存储器)等，是存储或者临时保存作为控制部101所执行的基本软件的OS、应用软件等的程序、数据的存储装置。辅助存储部103是HDD(HardDiskDrive：硬盘驱动器)等，是存储与应用软件等相关的数据的存储装置。驱动器装置104从记录介质105例如软盘读出程序，并安装到存储装置。记录介质105储存规定的程序。该记录介质105中储存的程序经由驱动器装置104被安装于对象物识别装置100。所安装的规定的程序能够由对象物识别装置100执行。网络I/F部106是周边设备与对象物识别装置100的接口，其中，周边设备具有经由由有线和/或无线线路等数据传输路径构建的网络连接的通信本文档来自技高网...

【技术保护点】
1.一种由计算机执行的对象物识别方法，包含：/n从获得三维位置信息的传感器，获取涉及具有多个关节的对象物的表面的点群数据，/n导出或者获取表示上述对象物的多个部位中的每一个部位的位置以及轴向的第一参数且是第一时刻的第一参数，/n基于比上述第一时刻靠后的第二时刻的上述点群数据、上述第一时刻的上述第一参数、以及具有轴的几何模型，导出上述第二时刻的上述第一参数。/n

【技术特征摘要】
【国外来华专利技术】1.一种由计算机执行的对象物识别方法，包含：
从获得三维位置信息的传感器，获取涉及具有多个关节的对象物的表面的点群数据，
导出或者获取表示上述对象物的多个部位中的每一个部位的位置以及轴向的第一参数且是第一时刻的第一参数，
基于比上述第一时刻靠后的第二时刻的上述点群数据、上述第一时刻的上述第一参数、以及具有轴的几何模型，导出上述第二时刻的上述第一参数。


2.根据权利要求1所述的对象物识别方法，其中，
在每个周期执行上述点群数据的获取，
上述第二时刻包含涉及上述第一时刻的周期的下一个周期。


3.根据权利要求1或2所述的对象物识别方法，其中，
上述第一时刻的上述第一参数的导出包含适用处理，上述适用处理使上述几何模型在多处位置分别适用于上述第一时刻的上述点群数据，并基于适用于上述第一时刻的上述点群数据的多个上述几何模型中的每一个几何模型的位置以及轴向，导出上述第一时刻的上述第一参数，
上述第二时刻的上述第一参数的导出包含作为上述第二时刻的上述第一参数导出适用于上述第二时刻的上述点群数据的多个上述几何模型中的每一个几何模型的位置以及轴向。


4.根据权利要求3所述的对象物识别方法，其中，
上述适用处理包含以均匀分布将上述点群数据所包含的噪声模型化。


5.根据权利要求3或4所述的对象物识别方法，其中，
上述几何模型涉及圆柱、圆锥、梯形柱、楕圆柱、椭圆锥、以及梯形楕圆柱中的至少任意一个，
基于上述第一时刻的上述第一参数的导出所使用的种类的多个上述几何模型导出上述第二时刻的上述第一参数。


6.根据权利要求3～5中任一项所述的对象物识别方法，其中，
在通过上述适用处理得到满足第一规定基准的上述第一参数之后执行上述第二时刻的上述第一参数的导出，
上述适用处理在每个周期反复，直到得到满足上述第一规定基准的上述第一参数。


7.根据权利要求6所述的对象物识别方法，其中，
上述适用处理包含计算基于上述第一时刻的上述点群数据的第一后验分布，
上述第一规定基准在上述多个部位的数量为规定量以上，并且，上述多个部位中的每一个部位所涉及的上述第一后验分布的数据和为第一规定值以上的情况下被满足。


8.根据权利要求6或7所述的对象物识别方法，其中，
还包含判定上述第二时刻的上述第一参数的导出结果是否满足第二规定基准，
并包含在上述第二时刻的上述第一参数的导出结果不满足上述第二规定基准的情况下，从新的上述第一时刻的上述第一参数的导出开始重新进行。


9.根据权利要求8所述的对象物识别方法，其中，
包含计算基于上述第二时刻的上述点群数据的第二后验分布，
上述多个部位包含与多个上述几何模型建立对应关系的多个第一部位和未与上述几何模型建立对应关系的多个第二部位，
上述第二规定基准在上述多个第一部位中的每一个所涉及的上述第二后验分布的数据和的合计为第二规定值以上的情况下被满足。


10.根据权利要求9所述的对象物识别方法，其中，
上述第二后验分布的计算按上述多个第一部位中的每一个，对上述第二时刻的上述点群数据中的距离与上述第一部位建立对应关系的上述几何模型的轴向的中心的轴向的距离为规定距离以上的数据，将上述第二后验分布设为0。


11.根据权利要求10所述的对象物识别方法，其中，
上述...

【专利技术属性】
技术研发人员：村上亮，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP