识别装置按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体的各关节位置实施包含多个基本运动的一系列运动。识别装置根据基本运动的类别，决定采用使用了确定为基本运动的结果的第一特征量的第一运动识别方法和使用了在基本运动的过程中转变的第二特征量的第二运动识别方法中的哪一种方法。识别装置通过所决定的第一运动识别方法或者第二运动识别方法中的任意一种方法，使用骨骼信息来决定基本运动的类别，并输出所决定的基本运动的类别。的类别。的类别。
【技术实现步骤摘要】
【国外来华专利技术】运动识别方法、运动识别程序以及信息处理装置
[0001]本专利技术涉及运动识别方法、运动识别程序以及信息处理装置。
技术介绍
[0002]在体操、医疗等广泛的领域中，使用选手、患者等人物的骨骼信息来自动识别人物的动作。近年来，利用了基于感测到人物的距离的3D(Three Dimensions：三维)激光传感器(以下，也称作距离传感器、深度传感器)所输出的距离图像来识别人物的三维骨骼坐标并使用识别结果来自动识别人物的动作的装置。
[0003]例如，如果以体操为例进行说明，则使用按时间序列取得的表演者的骨骼信息的识别结果来分节一系列的动作，分割为基本运动单位。然后，针对分节后的各区间，计算使用了关节的朝向等的特征量，将确定基本运动的特征量与预先设定的规则进行比较，由此从一系列的动作中自动识别所表演的行为。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：国际公开第2018/070414号
技术实现思路
[0007]专利技术要解决的课题
[0008]然而，基本运动是使用骨骼信息并基于支承状态的变化来分节一系列的动作而得到的运动，能够进行多种多样的运动，自由度较高。作为这样的自由度较高的基本运动的识别手段，考虑利用对识别各基本运动所需的特征量进行定义并对每个特征量的规则以基本运动的数量进行定义而得到的上述规则库、和使用了机器学习等的学习模型。
[0009]在利用规则库的情况下，基本运动的自由度越高，用于识别各基本运动的特征量越多，作为结果，必须定义的规则变得复杂。另一方面，在使用学习模型的情况下，不需要定义特征量。但是，虽然从学习模型输出基本运动的识别结果，但不一定与运动等中的准确的判定基准一致。例如，即使得到了“空翻”这样的输出，根据在学习时利用的数据的不同，有时该输出结果也没有可靠地满足体操比赛的规则簿上的空翻的必要条件。
[0010]因此，关于本专利技术，在一个侧面中，其目的在于提供一种能够通过使用适于运动性质的方法来提高自由度较高的运动的识别精度的运动识别方法、运动识别程序以及信息处理装置。
[0011]用于解决课题的手段
[0012]在第1方案中，在运动识别方法中，计算机执行以下处理：按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体实施包含多个基本运动的一系列运动。在运动识别方法中，计算机执行以下处理：根据所述基本运动的类别，决定采用使用了确定为所述基本运动的结果的第一特征量的第一运动识别方法和使用了在所述基本运动的过程中转变的第二特征量的第二运动识别方法中的哪一种方法。在运动识别方法中，计算机执行以下
处理：利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述骨骼信息来决定所述基本运动的类别，并输出所决定的所述基本运动的类别。
[0013]专利技术效果
[0014]在一个侧面中，能够提高自由度较高的运动的识别精度。
附图说明
[0015]图1是示出实施例1的自动打分系统的整体结构例的图。
[0016]图2是说明实施例1的识别装置的图。
[0017]图3是示出实施例1的识别处理的流程的流程图。
[0018]图4是示出实施例1的学习装置的功能结构的功能框图。
[0019]图5是说明距离图像的图。
[0020]图6是说明骨骼定义的图。
[0021]图7是说明骨骼数据的图。
[0022]图8是说明学习数据的生成的图。
[0023]图9是说明识别模型的学习的图。
[0024]图10是示出实施例1的识别装置的功能结构的功能框图。
[0025]图11是说明结果特征量用规则的图。
[0026]图12是说明行为识别规则的图。
[0027]图13是说明使用了特征量的基本运动的识别的图。
[0028]图14是说明使用了过程特征量的基本运动的识别的图。
[0029]图15是示出实施例1的打分装置的功能结构的功能框图。
[0030]图16是示出学习处理的流程的流程图。
[0031]图17是示出自动打分处理的流程的流程图。
[0032]图18是示出过程识别处理的流程的流程图。
[0033]图19是说明针对过程识别结果的基于结果特征量的校正的图。
[0034]图20是说明硬件结构例的图。
具体实施方式
[0035]以下，根据附图详细地说明本专利技术的运动识别方法、运动识别程序以及信息处理装置的实施例。另外，本专利技术不受该实施例限定。此外，各实施例能够在不矛盾的范围内适当地组合。
[0036][实施例1][0037][整体结构][0038]图1是示出实施例1的自动打分系统的整体结构例的图。如图1所示，该系统具有3D(Three
‑
Dimensional：三维)激光传感器5、学习装置10、识别装置50、打分装置90，是拍摄作为被摄体的表演者1的三维数据并识别骨骼等来进行准确的行为的打分的系统。在本实施例中，作为一例，以识别体操比赛中的表演者的骨骼信息的例子进行说明。
[0039]另外，3D激光传感器5是拍摄表演者1的距离图像的传感器的一例，学习装置10是执行识别装置50所利用的学习模型的学习的装置的一例。识别装置50是使用基于距离图像
的、表示表演者1的三维骨骼位置的骨骼信息来自动识别表演的行为等的装置的一例，打分装置90是使用识别装置50的识别结果来对表演者1的表演进行自动打分的装置的一例。
[0040]通常，体操比赛中的当前的打分方法是由多个打分者通过目视来进行的，但随着行为的高度化，通过打分者的目视难以打分的情况增加。近年来，已知有使用了3D激光传感器的、打分比赛的自动打分系统、打分辅助系统。例如，在这些系统中，由3D激光传感器取得作为选手的三维数据的距离图像，根据距离图像来识别作为选手的各关节的朝向、各关节的角度等的骨骼。而且，在打分辅助系统中，通过利用3D模型显示骨骼识别的结果，打分者通过确认表演者的细节的状况等，辅助实施更准确的打分。此外，在自动打分系统中，根据骨骼识别的结果，识别所表演的行为等，并参照打分规则进行打分。
[0041]在此，关于所表演的行为的自动识别，使用由骨骼识别的结果得到的骨骼信息来确定根据支承状态的变化来分节表演者1的一系列运动而得到的运动即基本运动，利用各分节间的基本运动的组合来进行行为的确定。
[0042]然而，在通过规则库方法进行基本运动的识别的情况下，需要记述关于自由度较高的运动在时间上转变的身体部位彼此的关系，规则变得复杂。此外，通过使用机器学习，能够在不记述复杂的规则的情况下，进行识别，但有时也无法保证满足比赛的打分规则上的必要条件，表演整体中的识别率有时会降低。
[0043]因此，在实施例1中，通过识别装置50将分节后的基本运动分类为需要观测过程的基本运动和不需要观测过程的基本运动，使用在基本运动的过程中转变的过程特征量进行识别本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种运动识别方法，其特征在于，在该运动识别方法中，计算机执行以下处理：按时间序列取得包含被摄体的各关节位置的骨骼信息，该被摄体实施包含多个基本运动的一系列运动；根据所述基本运动的类别，决定采用第一运动识别方法和第二运动识别方法中的哪一种方法，其中，该第一运动识别方法使用了作为所述基本运动的结果确定的第一特征量，该第二运动识别方法使用了在所述基本运动的过程中转变的第二特征量；利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述骨骼信息来决定所述基本运动的类别；以及输出所决定的所述基本运动的类别。2.根据权利要求1所述的运动识别方法，其特征在于，使所述计算机进一步执行如下处理：通过将基于所述骨骼信息的所述一系列运动分节为多个区间，确定所述多个基本运动，在所述决定的处理中，针对所述多个区间，分别决定采用所述第一运动识别方法和所述第二运动识别方法中的哪一种方法，在所述决定的处理中，利用所决定的所述第一运动识别方法或者所述第二运动识别方法中的任意一种方法，使用所述多个区间各自的骨骼信息来针对各区间内的基本运动分别决定类别，在所述输出的处理中，输出所决定的所述各区间的基本运动各自的类别。3.根据权利要求2所述的运动识别方法，其特征在于，在所述决定的处理中，依照对应规则，决定所述各区间内的基本运动的类别，其中，该对应规则是将使用属于所述基本运动的区间内的骨骼信息而计算出的、针对所述基本运动的类别为唯一的所述第一特征量与所述基本运动的类别建立对应而得到的。4.根据权利要求2所述的运动识别方法，其特征在于，在所述决定的处理中，根据在使用学习数据进行学习而得到的学习模型中输入与所述各区间对应的各关节矢量而得到的结果，决定所述各区间内的基本运动的类别，其中，该学习数据将关节矢量设为说明变量、将所述基本运动的类别设为目标变量，该关节矢量是使用属于所述基本运动的区间内的骨骼信息，作为所述第二特征量计算出的，且表示各关节的朝向。5.根据权利要求2所述的运动识别方法，其特征在于，在所述决定的处理中，在通过所述第二运动识别方法识别为特定的基本运动的情况下，计算所述第一特征量，通过使用了所述第一特征...
【专利技术属性】
技术研发人员：草岛育生，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。