一种动作模仿方法、动作模仿装置及终端设备制造方法及图纸

本申请提供了一种动作模仿方法、动作模仿装置及终端设备，该方法包括：获取待模仿对象的手指弯曲角度信息，并获取所述待模仿对象中关键点的位姿；根据所述关键点的位姿，以及所述关键点在之前时刻的历史位姿，对姿态变化量进行滤波处理，得到修正后的所述关键点的位姿；将修正后的所述关键点的位姿映射到机器人空间，得到所述机器人空间下的关键点的位姿，并基于所述手指弯曲角度信息，计算所述机器人抓取部弯曲的角度值；基于所述机器人空间下的关键点的位姿信息以及所述机器人抓取部弯曲的角度值，驱动所述机器人对所述待模仿对象的动作进行模仿。本申请可以在不增大人工工作负担的情况下，仍能使机器人实现高复杂性动作。

An action imitation method, device and terminal equipment

【技术实现步骤摘要】
一种动作模仿方法、动作模仿装置及终端设备
本申请属于机器人控制
，尤其涉及一种动作模仿方法、动作模仿装置及终端设备。
技术介绍
目前，为了让机器人实现高复杂性的动作，事先需要编程人员对机器人进行编程，这显然会增大人工工作负担。因此，如何在不增大人工工作负担的情况下，仍能使机器人实现高复杂性动作是目前亟待解决的技术问题。
技术实现思路
有鉴于此，本申请实施例提供了一种动作模仿方法、动作模仿装置及终端设备，可以在不增大人工工作负担的情况下，仍能使机器人实现高复杂性动作。本申请实施例的第一方面提供了一种动作模仿方法，该方法包括：获取待模仿对象的手指弯曲角度信息，并获取所述待模仿对象中关键点的位姿；根据所述关键点的位姿，以及所述关键点在之前时刻的历史位姿，计算所述关键点的姿态变化量，对所述姿态变化量进行滤波处理，根据滤波处理后的姿态变化量以及所述历史位姿，得到修正后的所述关键点的位姿；将修正后的所述关键点的位姿映射到机器人空间，得到所述机器人空间下的关键点的位姿，并基于所述手指弯曲角度信息，计算所述机器人抓取部弯曲的角度值；基于所述机器人空间下的关键点的位姿信息以及所述机器人抓取部弯曲的角度值，驱动所述机器人对所述待模仿对象的动作进行模仿。本申请实施例的第二方面提供了一种动作模仿装置，该装置包括：信息获取模块，用于获取待模仿对象的手指弯曲角度信息，并获取所述待模仿对象中关键点的位姿；姿态滤波模块，用于根据所述关键点的位姿，以及所述关键点在之前时刻的历史位姿，计算所述关键点的姿态变化量，对所述姿态变化量进行滤波处理，根据滤波处理后的姿态变化量以及所述历史位姿，得到修正后的所述关键点的位姿；映射模块，用于将修正后的所述关键点的位姿映射到机器人空间，得到所述机器人空间下的关键点的位姿，并基于所述手指弯曲角度信息，计算所述机器人抓取部弯曲的角度值；驱动模块，用于基于所述机器人空间下的关键点的位姿信息以及所述机器人抓取部弯曲的角度值，驱动所述机器人对所述待模仿对象的动作进行模仿。本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面所述方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。本申请实施例的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面所述方法的步骤。由上可见，本申请提供了一种动作模仿方法，首先，获取待模仿对象中关键点的位姿以及该待模仿对象的手指弯曲角度信息；其次，根据上述位姿，计算姿态变化量，得到修正后的位姿；然后，将修正后的位姿映射到机器人空间，得到机器人空间下的位姿，基于该机器人空间下的位姿以及待模仿对象的手指弯曲角度信息，实现对待模仿对象的动作模仿。由此可见，本申请所提供的技术方案中，完全可以使机器人通过模仿动作，实现高复杂性动作的执行，从而能够避免事先对机器人进行复杂编程，在一定程度上简化编程负担。所以，本申请所提供的技术方案，能够在一定程度上解决了如何在不增大人工工作负担的情况下，仍能使机器人实现高复杂性的动作的技术问题。此外，本申请所提供的技术方案中，还进一步限定了对采集的关键点姿态进行去噪的方式。由于待模仿对象的姿态可能会发生突变，直接对姿态进行去噪，可能会使得去噪后的姿态偏离待模仿对象实际所做的姿态，本申请是对两个时刻点的姿态差进行平滑处理，不仅能够保留姿态的突变信息，而且还能够在一定程度上滤除噪声，从而使得机器人能够更为逼真地模仿待模仿对象的动作。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。图1是本申请实施例一提供的一种动作模仿方法的实现流程示意图；图2是本申请实施例二提供的一种动作模仿装置的结构示意图；图3是本申请实施例三提供的终端设备的结构示意图；具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。本申请实施例提供的动作模仿方法可以适用于终端设备，示例性地，该终端设备包括但不限于：机器人、智能手机、平板电脑、笔记本、桌上型计算机、云端服务器等。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。实施例一下面对本申请实施例一提供的一种动作模仿方法进行描述，请参阅附图1，该动作模仿方法包括：在步骤S101中，获取待模仿对象的手指弯曲角度信息，并获取所述待模仿对象中关键点的位姿；在本申请实施例一中，为了简化对机器人的编程负担，需要事先对待模仿对象的动作进行获取，即需要首先获取待模仿对象(比如，人)的手指弯曲角度信息，以及该待模仿对象的关键点的姿态。目前，现有技术中存在多种不同类型的运动捕捉系统，可以采集待模仿对象中关键点的姿态，比如，现有技术提供了机械式运动捕捉系统、声学式运动捕捉系统、光学式运动捕捉系统以及电磁式运动捕捉系统等，市面上较为常见的是自然点NaturalPoint公司的光学捕捉OptiTrack运动捕捉系统。执行该步骤S101的终端设备可以与OptiTrack运动捕捉系统通信连接，从而获取所采集的待模仿对象上关键点的空间信息。此外，现有技术也提供了多种不同的手势识别系统来采集待模仿对象的手指弯曲角度信息，比如，可以采用北京无远弗届科技有限公司的Vrtrix数据手套来采本文档来自技高网...

【技术保护点】
1.一种动作模仿方法，其特征在于，包括：/n获取待模仿对象的手指弯曲角度信息，并获取所述待模仿对象中关键点的位姿；/n根据所述关键点的位姿，以及所述关键点在之前时刻的历史位姿，计算所述关键点的姿态变化量，对所述姿态变化量进行滤波处理，根据滤波处理后的姿态变化量以及所述历史位姿，得到修正后的所述关键点的位姿；/n将修正后的所述关键点的位姿映射到机器人空间，得到所述机器人空间下的关键点的位姿，并基于所述手指弯曲角度信息，计算所述机器人抓取部弯曲的角度值；/n基于所述机器人空间下的关键点的位姿信息以及所述机器人抓取部弯曲的角度值，驱动所述机器人对所述待模仿对象的动作进行模仿。/n

【技术特征摘要】
1.一种动作模仿方法，其特征在于，包括：
获取待模仿对象的手指弯曲角度信息，并获取所述待模仿对象中关键点的位姿；
根据所述关键点的位姿，以及所述关键点在之前时刻的历史位姿，计算所述关键点的姿态变化量，对所述姿态变化量进行滤波处理，根据滤波处理后的姿态变化量以及所述历史位姿，得到修正后的所述关键点的位姿；
将修正后的所述关键点的位姿映射到机器人空间，得到所述机器人空间下的关键点的位姿，并基于所述手指弯曲角度信息，计算所述机器人抓取部弯曲的角度值；
基于所述机器人空间下的关键点的位姿信息以及所述机器人抓取部弯曲的角度值，驱动所述机器人对所述待模仿对象的动作进行模仿。


2.如权利要求1所述的动作模仿方法，其特征在于，所述获取所述待模仿对象中关键点的位姿，包括：
获取所述待模仿对象中腕部关键点、肘部关键点以及肩部关键点在世界坐标系下的位姿。


3.如权利要求2所述的动作模仿方法，其特征在于，所述根据所述关键点的位姿，以及所述关键点在之前时刻的历史位姿，计算所述关键点的姿态变化量，对所述姿态变化量进行滤波处理，根据滤波处理后的姿态变化量以及所述历史位姿，得到修正后的所述关键点的位姿，包括：
根据所述待模仿对象中腕部关键点在世界坐标系下的位姿，以及所述待模仿对象中该腕部关键点在所述世界坐标系下的历史位姿，计算该腕部关键点在所述世界坐标系下的姿态变化量，对该姿态变化量进行滤波处理，根据滤波处理后的姿态变化量以及所述世界坐标系下的历史位姿，得到修正后的所述待模仿对象中腕部关键点在所述世界坐标系下的位姿，将该位姿变换到胸腔坐标系下，得到修正后的所述待模仿对象中腕部关键点在所述胸腔坐标系下的位姿，其中，所述胸腔坐标系为位于所述待模仿对象胸部且与所述待模仿对象躯干相对静止的坐标系；
得到修正后的所述待模仿对象中肩部关键点和肘部关键点在所述胸腔坐标系下的位姿，其中，所述肩部关键点在所述胸腔坐标系下的位姿与所述肘部关键点在所述胸腔坐标系下的位姿与所述腕部关键点在所述胸腔坐标系下的位姿计算方式相同。


4.如权利要求3所述的动作模仿方法，其特征在于，所述将修正后的所述关键点的位姿映射到机器人空间，得到所述机器人空间下的关键点的位姿，包括：
将所述待模仿对象的腕部关键点、肘部关键点以及肩部关键点分别在所述胸腔坐标系下的位姿均映射到机器人空间，得到机器人空间下的腕部关键点、肘部关键点以及肩部关键点在所述胸腔坐标系下的位姿。


5.如权利要求4所述的动作模仿方法，其特征在于，所述机器人的机械臂为多自由度串联杆件结构；

【专利技术属性】
技术研发人员：林泽才，安昭辉，刘益彰，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44