一种基于骨骼关键点的动作还原方法以及装置制造方法及图纸

本申请实施例公开了一种基于骨骼关键点的动作还原方法，可以应用于机械领域或者动作识别领域的机器人动作生成，该方法可以包括获取三维空间中目标对象映射在目标平面上第一骨骼关键点的坐标位置；确定该目标平面上以第一骨骼关键点为中心点的一个或多个曲线，该曲线上的每一个点的坐标位置对应第二骨骼关键点在三维空间中的一个或多个角度信息；根据映射到目标平面上第二骨骼关键点的坐标位置，确定第二骨骼关键点所属的目标曲线；根据第二骨骼关键点的坐标位置和目标曲线，确定第二骨骼关键点的空间位置。采用本申请有效地根据二维平面图像和空间角度信息，通过相关机器人还原目标对象的动作。

【技术实现步骤摘要】
一种基于骨骼关键点的动作还原方法以及装置
本申请涉及机器人动作领域，尤其涉及一种基于骨骼关键点的动作还原方法以及装置。
技术介绍
当下机器人越来越多地走进普通人的生活和工作中，在家务、娱乐、教育等方向出现了各种各样形态的机器人产品；其中，外观模拟人或卡通形象的机器人，肢体的动作、头部的动作、面部的表情，需要根据预先编排好的机器动作，以控制机器人完成特定的行动，从而在人机交互过程中，带来较好的用户体验。不同机器人的动画制作的过程有所不同，会依赖于机器人的硬件形态、结构，因此机器人的自由度越多会越复杂。目前，现有机器人动画制作方案一般通过一段目标对象的动作视频(例如人体四肢的动作)，获取一系列动作对应的多帧二维平面图像；根据多张二维平面图像获取每一帧图像中人体的姿态；根据预设的约束条件和算法，将每一帧人体姿态有时序地在相应的机器人上还原，以达到生成一系列对应的机器人动作。为了能够尽可能地还原二维图像对应的三维动作，一般会在图像或视频中运用计算机视觉技术，确定目标对象的各个骨骼关键点的位置，然后根据关节点的位置变化情况来还原动作；但是，对于多自由度机器人的动作而言，从二维影像中进行动作的还原比较麻烦。例如，真人的肩关节是可以三向活动的，而机器人受到电机体积的制约可能只能实现较少方向的活动。并且，二维影像缺少了深度信息，难以仅仅根据二维坐标还原特定骨骼关键点(该特定骨骼关键点对应机器人相应的结构位置)在空间中的真实位置。因此造成动作的失真，更直接的降低了机器人动作的完成度。因此，如何有效地根据二维图像还原三维空间里的机器人动作，成为亟待解决的问题。
技术实现思路
本申请实施例提供了一种基于骨骼关键点的动作还原装置以及方法，实现了根据二维平面图像和预设动作的约束条件，有效地还原三维空间里的相应动作。第一方面，本申请实施例提供了一种基于骨骼关键点的动作还原方法，可以应用于机器人的动作生成，所述方法可包括：获取所述第一骨骼关键点在目标平面上的坐标位置；所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；确定所述目标平面上以所述第一骨骼关键点的坐标位置为中心点的一个或多个曲线，所述曲线用于指示所述第二骨骼关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二骨骼关键点在三维空间中的一个或多个角度信息；根据所述第二骨骼关键点在所述目标平面上的坐标位置，确定所述第二骨骼关键点所属的目标曲线，所述目标曲线为所述一个或多个曲线中的一个；根据所述第二骨骼关键点的坐标位置和所述目标曲线，确定所述第二骨骼关键点的空间位置。本申请实施例中，根据二维平面投影上的一系列动作获取运动参数，而反推出机器人动作，从而实现机器人手臂在空间中运动轨迹。首先，针对某一帧视频图像中的多个骨骼关键点，选择关联运动的骨骼关键点；例如，肩关节点和手腕点的骨骼关键点作为第一骨骼关键点和第二骨骼关键点。在该帧图像中，设立二维坐标系；例如，以肩关节为坐标原点，预设第二骨骼关键点的多个可能出现的位置。例如，在二维平面上，机器人手臂按最大幅度来运动360°，手腕位置的动作轨迹是一个圆，圆心为对应手臂肩膀(即肩关节点)的位置；由于受到机器结构的影响，其二维形状可以是一个不规则的闭合曲线。那么按照最小幅度到最大幅度之间，机器人的手臂都运动360°，可以得到多组封闭曲线，即以第一骨骼关键点为中心点的一个或多个不规则封闭的曲线。曲线上每一个点都可能是手腕点的位置。然后根据第一骨骼关键点和第二骨骼关键点的坐标，确定在该帧图像上两个骨骼关键点的位置，以及第二骨骼关键点(即肩关节点)在目标曲线的目标位置。每个曲线上的点都对应一个或多个机器人相应结构位置上舵机旋转的角度数值(即舵机控制信号的一种)。在确定了第二骨骼关键点的坐标之后，结合该点对应的舵机控制信号，可以还原该帧图像中手腕点在空间中的位置。因此，在准确确定了点二维坐标后，根据与该点对应的舵机控制信号(例如手腕在身前与二维平面之间的深度数据)可以有效还原其在空间中的位置。在一种可能的实现方式中，所述获取所述第一骨骼关键点在目标平面上的坐标位置之前，还包括：获取所述目标对象的图像信息；基于所述图像信息确定所述目标对象的第一骨骼关键点和第二骨骼关键点，所述第一骨骼关键点和所述第二骨骼关键点为所述目标对象的相邻骨骼关键点。本申请实施例，首先获取包含目标对象的图像信息，然后从图像信息中确定目标对象的多个骨骼关键点中的第一骨骼关键点和第二骨骼关键点。例如，图像信息为一张图像，从图像中根据预设的骨骼关键点识别算法将第一骨骼关键点和第二骨骼关键点提取出来，并确定两者之间的关系。在一种可能的实现方式中，所述图像信息为视频；所述第一骨骼关键点和所述第二骨骼关键点为同一帧视频中同一关节上相邻的骨骼关键点；所述基于所述图像信息确定所述目标对象的第一骨骼关键点和第二骨骼关键点，包括：在所述同一帧视频中确定所述目标对象的多个骨骼关键点；从所述多个骨骼关键点中确定所述第一骨骼关键点，以及与所述第一骨骼关键点在所述同一个关节上相邻的所述第二骨骼关键点。本申请实施例中，通过在确定的多个骨骼关键点中，找到相互关联的一对骨骼关键点；并根据目标对象的身体结构以及预设的骨骼关键点的提取位置，从多个骨骼关键点中确定出所需要第一骨骼关键点和第二骨骼关键点的相关位置。其中，多个骨骼关键点中位置相对固定的骨骼关键点在每一帧视频图像中位置变化较小。在一种可能的实现方式中，所述在所述同一帧视频中确定所述目标对象的多个骨骼关键点，包括：从所述目标对象的视频中提取每一帧视频图片，并获取所述每一帧视频图片对应的目标平面；根据预设的骨骼关键点识别算法，确定所述每一帧视频图片对应的目标平面中所述目标对象的多个骨骼关键点。本申请实施例，对目标对象进行拍摄(例如人体)得到视频；然后根据从视频中提取多帧视频图像；获取对应的有时间顺序的多张视频图像，将每一张视频图像映射到二维目标平面上，以便于根据图像动作还原视频动作的数据处理。在一种可能的实现方式中，所述确定所述第二骨骼关键点的空间位置之后，还包括：根据所述每一帧视频图片的排列顺序，依次确定所述每一帧视频图片中所述第二骨骼关键点的空间位置，以生成所述第二骨骼关键点的运动轨迹。本申请实施例中，在确定了每一帧视频图片中第二骨骼关键点的空间位置后，根据第二骨骼关键点在各个连续视频图像中的空间位置还原成连贯的动作，以确定第二骨骼关键点的运动路径。在一种可能的实现方式中，所述根据所述第二骨骼关键点在所述目标平面上的坐标位置，确定所述第二骨骼关键点所属的目标曲线，包括：在所述目标平面上建立二维平面坐标系，确定所述第二骨骼关键点在所述目标平面上的二维坐标；根据所述二维坐标，确定所述第二骨骼关键点所属的所述目标曲线。本申请实施例中，通过第一骨骼关键点和第二骨骼关键点的二维坐标，确定了准确的第二骨骼关键点在曲线上的目标位置，提高了针对该图像还原动作的准确度。在一种可能的实现方式中，通过相对距离表示所述第一骨骼点和第二骨本文档来自技高网...

【技术保护点】
1.一种基于骨骼关键点的动作还原方法，其特征在于，包括：/n获取所述第一骨骼关键点在目标平面上的坐标位置；所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；/n确定所述目标平面上以所述第一骨骼关键点的坐标位置为中心点的一个或多个曲线，所述曲线用于指示所述第二骨骼关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二骨骼关键点在三维空间中的一个或多个角度信息；/n根据所述第二骨骼关键点在所述目标平面上的坐标位置，确定所述第二骨骼关键点所属的目标曲线，所述目标曲线为所述一个或多个曲线中的一个；/n根据所述第二骨骼关键点的坐标位置和所述目标曲线，确定所述第二骨骼关键点的空间位置。/n

【技术特征摘要】
1.一种基于骨骼关键点的动作还原方法，其特征在于，包括：
获取所述第一骨骼关键点在目标平面上的坐标位置；所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
确定所述目标平面上以所述第一骨骼关键点的坐标位置为中心点的一个或多个曲线，所述曲线用于指示所述第二骨骼关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二骨骼关键点在三维空间中的一个或多个角度信息；
根据所述第二骨骼关键点在所述目标平面上的坐标位置，确定所述第二骨骼关键点所属的目标曲线，所述目标曲线为所述一个或多个曲线中的一个；
根据所述第二骨骼关键点的坐标位置和所述目标曲线，确定所述第二骨骼关键点的空间位置。


2.根据权利要求1所述的方法，其特征在于，所述获取所述第一骨骼关键点在目标平面上的坐标位置之前，还包括：
获取所述目标对象的图像信息；
基于所述图像信息确定所述目标对象的第一骨骼关键点和第二骨骼关键点，所述第一骨骼关键点和所述第二骨骼关键点为所述目标对象的相邻骨骼关键点。


3.根据权利要求2所述的方法，其特征在于，所述图像信息为视频；所述第一骨骼关键点和所述第二骨骼关键点为同一帧视频中同一关节上相邻的骨骼关键点；所述基于所述图像信息确定所述目标对象的第一骨骼关键点和第二骨骼关键点，包括：
在所述同一帧视频中确定所述目标对象的多个骨骼关键点；
从所述多个骨骼关键点中确定所述第一骨骼关键点，以及与所述第一骨骼关键点在所述同一个关节上相邻的所述第二骨骼关键点。


4.根据权利要求3所述的方法，其特征在于，所述在所述同一帧视频中确定所述目标对象的多个骨骼关键点，包括：
从所述目标对象的视频中提取每一帧视频图片，并获取所述每一帧视频图片对应的目标平面；
根据预设的骨骼关键点识别算法，确定所述每一帧视频图片对应的目标平面中所述目标对象的多个骨骼关键点。


5.根据权利要求4所述的方法，其特征在于，所述确定所述第二骨骼关键点的空间位置之后，还包括：
根据所述每一帧视频图片的排列顺序，依次确定所述每一帧视频图片中所述第二骨骼关键点的空间位置，以生成所述第二骨骼关键点的运动轨迹。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第二骨骼关键点在所述目标平面上的坐标位置，确定所述第二骨骼关键点所属的目标曲线，包括：
在所述目标平面上建立二维平面坐标系，确定所述第二骨骼关键点在所述目标平面上的二维坐标；
根据所述二维坐标，确定所述第二骨骼关键点所属的所述目标曲线。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：通过相对距离表示所述第一骨骼点和第二骨骼点的距离关系；所述相对距离为所述第一骨骼关键点和所述第二骨骼关键点之间在所述图像信息上的实际距离，与所述第一骨骼关键点和所述第二骨骼关键点之间在所述图像信息上能够呈现的最大距离之比。


8.一种基于骨骼关键点的动作还原装置，其特征在于，包括：
坐标获取单元，用于获取所述第一骨骼关键点在目标平面上的坐标位置；所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；
曲线预设单元，用于确定所述目标平面上以所述第一骨骼关键点的坐标位置为中心点的一个或多个曲线，所述曲线用于指示所述第...

【专利技术属性】
技术研发人员：孙继强，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44