运动识别方法、运动识别程序及信息处理装置制造方法及图纸

识别装置按时间序列取得基于包含进行运动的被摄体的特定关节的多个关节各自的位置信息的骨骼信息。然后，识别装置使用所述时间序列的骨骼信息各自所包含的多个关节的位置信息来估计对在运动中被使用的物体的区域进行分割而得到的多个区域中的、特定关节所在的区域。然后，识别装置使用时间序列的骨骼信息和估计出的特定关节的位置来识别被摄体的运动，输出识别结果。输出识别结果。输出识别结果。

【技术实现步骤摘要】
【国外来华专利技术】运动识别方法、运动识别程序及信息处理装置


[0001]本专利技术涉及运动识别方法、运动识别程序及信息处理装置。

技术介绍

[0002]在体操、医疗等广泛的领域中，使用选手、患者等人物的骨骼信息来自动识别人物的动作。例如，体操比赛中的当前的打分方法通过多个裁判的目视来进行，但由于器械的进化、训练方法的改善，伴随着运动的复杂化的行为的高度化进展，出现裁判对行为的识别变得困难的情况。其结果，选手的打分结果按照每个裁判而不同等打分的公平性、准确性的维持中产生了担忧。
[0003]因此，近年来，利用了使用选手的三维骨骼坐标(以后，有时记载为“骨骼信息”)的自动打分技术。例如，通过3D(Three
‑
Dimensional：三维)激光传感器取得选手的三维点组数据，使用三维点组数据计算选手的骨骼信息。然后，根据骨骼信息的时间序列信息来自动识别所实施的“行为”，将自动打分结果提供给裁判，由此确保打分的公平性、准确性。
[0004]当以体操比赛的鞍马为例说明这样的行为的自动识别时，预先按照每个区域对设置有作为鞍马的器械之一的鞍环的周边进行分类。例如，将鞍环1的左侧分类为区域1，将鞍环1的上方分类为区域2，将鞍环1与鞍环2之间分类为区域3，将鞍环2的上方分类为区域4，将鞍环2的右侧分类为区域5。
[0005]然后，根据骨骼信息识别表演者的骨骼，根据从骨骼识别结果得到的左右的手腕的位置位于哪个区域来估计手腕的支承位置。然后，使用根据时间序列的骨骼信息生成的时间序列的骨骼识别结果和估计出的手腕的支承位置，按照行为的规则对行为的识别、行为的精度等进行评价，执行自动打分。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1：国际公开第2018/070414号

技术实现思路

[0009]专利技术要解决的课题
[0010]但是，在上述技术中，使用了感测结果的骨骼识别处理的精度由于在3D激光传感器的感测中包含噪声的情况或将多个感测结果合并时的偏差等而下降，难以保证各关节的位置的估计精度。
[0011]另一方面，有时要求在识别运动的基础上，准确地识别存在于现实世界中的物体与被摄体的部位的位置关系。例如，存在最终的运动识别结果根据在鞍马的区域A中存在表演者的手腕、还是在鞍马的区域B中存在表演者的手腕而发生变化的情况等。即，即使运动本身相同，也存在当手支承区域A时识别为行为T、当手支承区域B时识别为行为S的情况等。
[0012]在上述技术中，直接使用从骨骼识别结果得到的部位的位置来对位于物体上的哪个区域进行了分类。但是，在骨骼识别结果有误差的情况下，所分配的区域有时不准确。例
如，虽然在鞍马中，在骨骼识别结果所表示的手腕虽然被分配给区域1，但是存在本来手放在区域2等的情况。当发生这样的状况时，其结果，将行为S识别为行为T等运动的识别结果有时会发生错误。
[0013]因此，本专利技术在一个侧面中，其目的在于提供一种通过提高针对被摄体的特定部位与存在于现实世界的物体中的多个区域的位置关系的估计精度来提高使用该位置关系的运动的识别精度的运动识别方法、运动识别系统以及信息处理装置。
[0014]用于解决问题的手段
[0015]在第1方案中，在运动识别方法中，计算机执行以下处理：按时间序列取得基于包含进行运动的被摄体的特定关节的多个关节各自的位置信息的骨骼信息。在运动识别方法中，计算机执行以下处理：用所述时间序列的骨骼信息各自所包含的所述多个关节的位置信息来估计对在所述运动中所使用的物体的区域进行分割而得到的多个区域中的、特定关节所在的区域。在运动识别方法中，计算机执行以下处理：使用所述时间序列的骨骼信息和估计出的所述特定关节的位置来识别所述被摄体的运动，输出识别结果。
[0016]专利技术效果
[0017]在一个侧面中，能够提高使用被摄体的特定部位与存在于现实世界的物体中的多个区域的位置关系的运动的识别精度。
附图说明
[0018]图1是示出实施例1的系统的整体结构例的图。
[0019]图2是示出实施例1的学习装置的功能结构的功能框图。
[0020]图3是说明距离图像的图。
[0021]图4是说明骨骼定义的图。
[0022]图5是说明骨骼数据的图。
[0023]图6是说明与鞍马相关的骨骼信息的图。
[0024]图7是说明类别分类的图。
[0025]图8是说明由于横向回旋时的支承位置引起的关节动作的差异的图。
[0026]图9是说明由于表演俄罗斯回旋时的支承位置引起的关节动作的差异的图。
[0027]图10是说明由于支承位置引起的脚踝的z值的变化的图。
[0028]图11是说明学习数据的生成的图。
[0029]图12是说明学习数据的整形的图。
[0030]图13是说明类别分类模型的学习的图。
[0031]图14是说明要学习的特征量的例子的图。
[0032]图15是示出实施例1的识别装置的功能结构的功能框图。
[0033]图16是说明类别分类处理的图。
[0034]图17是说明时间序列的类别分类结果的图。
[0035]图18是示出实施例1的打分装置的功能结构的功能框图。
[0036]图19是示出学习处理的流程的流程图。
[0037]图20是示出自动打分处理的流程的流程图。
[0038]图21是示出类别分类处理的流程的流程图。
[0039]图22是说明硬件结构例的图。
具体实施方式
[0040]以下，根据附图详细地说明本专利技术的运动识别方法、运动识别程序以及信息处理装置的实施例。另外，本专利技术不受该实施例限定。此外，各实施例能够在不矛盾的范围内适当地组合。
[0041]实施例1
[0042][整体结构][0043]图1是示出实施例1的系统的整体结构例的图。如图1所示，该系统具有3D(Three
‑
Dimensional：三维)激光传感器5、学习装置10、识别装置50、打分装置90，是拍摄作为被摄体的表演者1的三维数据并识别骨骼等来进行准确的行为的打分的系统。另外，在本实施例中，作为一例，以识别体操比赛中的表演者的骨骼信息的例子进行说明。
[0044]通常，体操比赛中的当前的打分方法是由多个打分者通过目视来进行的，但随着行为的高度化，通过打分者的目视难以打分的情况增加。近年来，已知有使用了3D激光传感器的打分比赛的自动打分系统、打分辅助系统。例如，在这些系统中，由3D激光传感器取得作为选手的三维数据的距离图像，根据距离图像来识别作为选手的各关节的朝向、各关节的角度等的骨骼。而且，在打分辅助系统中，通过利用3D模型显示骨骼识别的结果，打分者通过确认表演者的细节的状况等，对实施更准确的打分进行辅助。此外，在自动打分系统中，根据骨骼识别的结果来识别所表演的行为等，并参考打分规则进行打分。
[0045]在此，使用了本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种运动识别方法，其特征在于，在该运动识别方法中，计算机执行以下处理：按时间序列取得骨骼信息，该骨骼信息是基于多个关节各自的位置信息得到的，该多个关节包含进行运动的被摄体的特定关节；使用所述时间序列的骨骼信息各自包含的所述多个关节的位置信息来估计多个区域中的特定关节所在的区域，该多个区域是对在所述运动中使用的物体的区域进行分割而得到的；使用所述时间序列的骨骼信息和估计出的所述特定关节的位置来识别所述被摄体的运动；以及输出识别结果。2.根据权利要求1所述的运动识别方法，其特征在于，在所述估计的处理中，使用类别分类模型来估计所述特定关节所在的区域，该类别分类模型针对多个骨骼信息的输入，输出与表示所述多个区域的各类别对应的似然度。3.根据权利要求2所述的运动识别方法，其特征在于，在所述估计的处理中，使用所述类别分类模型来估计所述特定关节所在的区域，所述类别分类模型是使用将时间序列的骨骼信息设为说明变量、将所述特定关节所在的类别设为目标变量的学习数据进行学习而得到的。4.根据权利要求2所述的运动识别方法，其特征在于，在所述估计的处理中，以规定的动作单位取得所述时间序列的骨骼信息，根据将所取得的与所述规定的动作单位对应的各骨骼信息输入到所述类别分类模型而得到的输出结果，估计所述特定关节所在的类别。5.根据权利...

【专利技术属性】
技术研发人员：藤崎将嵩，佐藤卓也，矢吹彰彦，桝井昇一，本田崇，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：