骨骼估计装置、骨骼估计方法以及骨骼估计程序制造方法及图纸

骨骼估计装置(100)大致确定对象者的头、双臂、躯干、双腿的区域，并在识别出双臂以及双腿的骨骼的位置后，将双臂以及双腿的骨骼的位置的识别结果设为约束条件，识别躯干的骨骼。例如，骨骼估计装置(100)通过在将双臂以及双腿的骨骼的坐标、和关节间的长度固定的状态下使角度参数变化来计算多个躯干的骨骼的位置的候补。骨骼估计装置(100)将躯干的骨骼的位置的候补中与躯干估算坐标接近的候补估计为躯干的骨骼的位置。

【技术实现步骤摘要】
【国外来华专利技术】骨骼估计装置、骨骼估计方法以及骨骼估计程序
本专利技术涉及骨骼估计装置等。
技术介绍
近年来，已经做出通过充分利用ICT(InformationandCommunicationTechnology：信息与通信技术)来提高体育运动的技能、实现业务的效率化的尝试。例如，作为提高体育运动的技能的技术，有对指导者的身体的运动和利用者的身体的运动进行比较解析，并对指导者和利用者的身体的运动的不同点进行显示的技术。在对人的身体的运动进行解析的情况下，使用从Kinect(注册商标)等3D(dimension)传感器获取距离图像信息，识别人的头、手、躯干、腿等各部位的位置的以往技术。以下，作为识别人的各部位的位置的以往技术的一个例子，对身体部位识别手法和模型拟合手法进行说明。对身体部位识别手法进行说明。身体部位识别手法将距离图像作为输入，使用利用随机森林方式学习得到的识别器来进行每个像素的标签分类。而且，身体部位识别手法使用与关节位置相当的标签的重心直接估计关节坐标。图58是用于说明身体部位识别手法的图。如图58所示，身体部位识别手法通过从3D传感器获取距离图像信息，并除去距离图像信息的背景，从而生成图像11(步骤S10)。身体部位识别手法使用利用随机森林方式学习得到的识别器来进行每个像素的标签分类(步骤S11)。身体部位识别手法将各标签的重心估计为关节位置(步骤S12)，将连结各标签的重心而成的区域识别为骨骼(步骤S13)。对模型拟合手法进行说明。模型拟合手法用圆柱模型(或圆锥模型)等定义连结各关节的区域，使模型的位置、大小变化，并计算出最适合观测点的圆柱模型的形状。模型拟合手法在与各部位相当的区域中反复执行计算圆柱模型的形状的处理，并将组合各圆柱模型而成的区域识别为骨骼。图59以及图60是用于说明模型拟合手法的图。如图59所示，模型拟合手法使圆柱20的半径r、高度h、两端的中心位置20a(x1，y1，z1)、20b(x2，y2，z2)这8个变量在某个一定范围中变化。模型拟合手法将圆柱20内所包含的观测点的数量设为评价值，将成为最高的评价值的圆柱作为骨骼。图59的圆相当于观测点。如图60所示，模型拟合手法通过对人的各部位反复执行图59中所说明的处理来求出与各部位相当的多个圆柱，将组合各圆柱而成的区域识别为骨骼。非专利文献1:J.Shotton，A.Fitzgibbon，M.Cook,T.Sharp，M.Finocchio，R.Moore，A.Kipman,A.Blake“Real-timehumanposerecognitioninpartsfromasingledepthimage”InProc.CVPR，2011.非专利文献2:堀内英一，“用于单扫描点群数据的半形状几何模型“，日本机器人学会期刊Vol.32No.8，pp.721～730，2014然而，在上述的以往技术中，存在不能够高速且准确地识别利用者的骨骼这个问题。由于身体部位识别手法根据标签的重心直接求出关节坐标，所以如果产生3D传感器的噪声、部位的隐藏所造成的标签分割、较难学习的姿势下的标签位置错误，则有时将不可能成为人体骨骼那样的位置估计为关节的位置。另外，由于身体部位识别手法针对每个像素按照概率进行标记，所以在部位的边界附近的标签变得模糊，在以时间序列帧观察的情况下，关节位置不稳定。图61是用于说明以往技术的问题的图。在图61中，圆表示关节的位置，将连结关节的直线定义为链节(link)。另外，将集中各关节和各链节的区域定义为骨骼。在图61中，示出了利用者进行高尔夫挥杆的时刻的骨骼，躯干25的关节的一部分局部被左臂隐藏。此时，产生标签的位置错误，不能够适当地识别骨骼。另一方面，由于模型拟合手法评价多个参数的组合，所以在进行如人体那样由多个部位构成的对象的拟合的情况下，计算时间变大。另外，在如躯干那样观测点较多的部位中，评价值的组合变多，与其它部位相比较，计算时间变大，不能够高速地识别利用者的骨骼。
技术实现思路
在一个方面，本专利技术的目的在于提供能够高速且准确地识别利用者的骨骼的骨骼估计装置、骨骼估计方法以及骨骼估计程序。在第一方案中，骨骼估计装置具有确定部、第一估计部和第二估计部。确定部从距离传感器获取存在于对象物上的多个观测点的三维信息，并基于三维信息从对象物的区域确定第一区域、和与第一区域相邻的多个第二区域，并确定第一区域、第二区域所包含的多个特征点的位置。第一估计部通过基于第二区域所包含的各特征点来设定链节，从而估计第二区域所包含的骨骼的位置。第二估计部在将确定第一区域所包含的部位的位置时所使用的多个参数中第二区域所包含的骨骼的端点、和从骨骼的端点到第一区域所包含的部位的位置为止的长度固定的状态下，进行如下处理。第二估计部确定第一区域所包含的部位的位置，并基于确定出的部位的位置来估计第一区域所包含的骨骼的位置。根据本专利技术的一个实施方式，能够高速且准确地识别利用者的骨骼。附图说明图1是表示本实施例1所涉及的骨骼估计装置的结构的功能框图。图2是表示本实施例1所涉及的三维数据表的数据结构的一个例子的图。图3是表示本实施例1所涉及的模型数据的数据结构的一个例子的图。图4是表示实施例1所涉及的骨骼数据表的数据结构的一个例子的图。图5是表示本实施例1所涉及的确定部确定的各区域的一个例子的图。图6是表示二值化图像的一个例子的图。图7是表示细化图像的一个例子的图。图8是表示除去图案的一个例子的图。图9是表示特征点的一个例子的图。图10是用于说明提取交点的处理的一个例子的图。图11是用于说明模型对照处理的一个例子的图。图12是用于说明圆柱主轴的决定处理的一个例子的图。图13是用于说明圆柱半径以及圆柱中心的决定处理的一个例子的图。图14是用于说明链节结合处理的一个例子的图。图15是用于说明本实施例1所涉及的第二估计部的处理的一个例子的图。图16是用于说明估计躯干估计坐标的处理的一个例子的图(1)。图17是用于说明估计躯干估计坐标的处理的一个例子的图(2)。图18是表示本实施例1所涉及的骨骼估计装置的处理顺序的流程图。图19是表示躯干的骨骼识别处理的处理顺序的流程图。图20是表示骨骼估计装置的硬件构成的一个例子的图。图21是本实施例2所涉及的技能判定装置的结构的功能框图。图22是表示帧数据的数据结构的一个例子的图。图23是表示示范数据的数据结构的一个例子的图。图24是表示技能判定定义数据的数据结构的一个例子的图。图25是用于对技能判定定义数据进行补充说明的图。图26是表示显示于显示装置上的显示画面的一个例子的图。图27是表示“PositionChecker”的参数设定画面的一个例子的图。图28是表示AngleChecker(1)”的参数设定画面的一个例子的图。图29是表示“AngleChecker(2)”的参数设定画面的一个例子的图。图30是用于说明帧匹配的一个例子的图。图31是用于说明权重的图。图32是用于说明技能判定部的处理的图(1)。图33是用于说明技能判定部的处理的图(2)。图34是表示输出部生成的显示画面的一个例子的图(1)。图35是表示输出部生成的显示画面的一个例子的图(2)。图36是表示技能判定装置的处理顺序的流程图。图37是表示技能判定处理的处理本文档来自技高网...

【技术保护点】
1.一种骨骼估计装置，其特征在于，具有：确定部，从距离传感器获取存在于对象物上的多个观测点的三维信息，并基于上述三维信息从上述对象物的区域确定第一区域、和与上述第一区域相邻的多个第二区域，并确定上述第二区域所包含的多个特征点的位置；第一估计部，通过基于上述第二区域所包含的各特征点来设定链节，从而估计上述第二区域所包含的骨骼的位置；以及第二估计部，在将确定上述第一区域所包含的部位的位置时所使用的多个参数中上述第二区域所包含的骨骼的端点、和从上述骨骼的端点到上述第一区域所包含的部位的位置为止的长度固定的状态下，确定上述第一区域所包含的部位的位置，并基于确定出的部位的位置来估计上述第一区域所包含的骨骼的位置。

【技术特征摘要】
【国外来华专利技术】1.一种骨骼估计装置，其特征在于，具有：确定部，从距离传感器获取存在于对象物上的多个观测点的三维信息，并基于上述三维信息从上述对象物的区域确定第一区域、和与上述第一区域相邻的多个第二区域，并确定上述第二区域所包含的多个特征点的位置；第一估计部，通过基于上述第二区域所包含的各特征点来设定链节，从而估计上述第二区域所包含的骨骼的位置；以及第二估计部，在将确定上述第一区域所包含的部位的位置时所使用的多个参数中上述第二区域所包含的骨骼的端点、和从上述骨骼的端点到上述第一区域所包含的部位的位置为止的长度固定的状态下，确定上述第一区域所包含的部位的位置，并基于确定出的部位的位置来估计上述第一区域所包含的骨骼的位置。2.根据权利要求1所述的骨骼估计装置，其特征在于，上述多个参数包括角度参数，上述第二估计部通过变更上述角度参数来确定多个部位候补的位置，并将多个部位候补中与上述第一区域内的预先决定的点的位置的距离近的部位候补确定为上述第一区域所包含的部位。3.根据权利要求2所述的骨骼估计装置，其特征在于，上述第二估计部在确定出上述第一区域所包含的部位的情况下，根据确定出的部位的位置来更新上述第一区域内的预先决定的点的位置。4.根据权利要求1、2或者3所述的骨骼估计装置，其特征在于，上述第一区域对应上述对象物的躯干部分的区域，上述多个第二区域对应上述对象物的头部的区域、臂部分的区域、腿部分的区域。5.一种骨骼估计方法，是计算机执行的骨骼估计方法，其特征在于，执行如下的处理：从距离传感器获取存在于对象物上的多个观测点的三维信息，并基于上述三维信息从上述对象物的区域确定第一区域、和与上述第一区域相邻的多个第二区域，并确定上述第二区域所包含的多个特征点的位置；通过基于上述第二区域所包含的各特征点来设定链节，从而估计上述第二区域所包含的骨骼的位置；以及在将确定上述第一区域所包含的部位的位置时所使用的多个参数中上述第二区域所包含的骨骼的端点、和从上述骨骼的端点到上述第一区域所包含的部位的位置为止的长度固定的状态下，确定上述第一区域所包含的部位的位置，并基于确定出的部位的位置来估计上述第一区域所包含的骨骼的位置。6.根据权利要求5所述的骨骼估计方法...

【专利技术属性】
技术研发人员：藤本博昭，桝井昇一，佐佐木和雄，阿部大辅，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP