一种动作模仿方法、装置、终端及计算机存储介质制造方法及图纸

本申请适用于计算机应用技术领域，提供了一种动作模仿方法、装置、终端及计算机存储介质，该动作模仿方法包括：实时采集待模仿对象的二维图像；获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述二维图像中的二维坐标转换为所述待模仿对象的关节特征点对应的空间三维坐标，并根据所述待模仿对象的关节特征点对应的空间三维坐标以及各个关节特征点之间的配对关系生成所述机器人的动作控制指令，能够使得机器人执行动作模仿任务时不受环境的限制，同时，待模仿对象也不需要穿上带有光感元件的设备。

【技术实现步骤摘要】
一种动作模仿方法、装置、终端及计算机存储介质
本申请属于计算机应用
，尤其涉及一种动作模仿方法、装置、终端及计算机存储介质。
技术介绍
当前人形机器人在实现对人类的动作的模仿过程中，主要通过在特定场所布置多视角的相机，并让待模仿对象穿上带有光感元件的设备，并且，将光感元件放置在人体的关节等重要位置，然后通过多视角的相机捕捉光感元件并进行多视角融合来准确定位人体的各个关节，从而获取待模仿对象做出的动作，进行相应的动作模仿。然而，这种动作模仿方式不仅需要待模仿对象穿上带有光感元件的设备，而且还容易受到环境的限制，在室外环境中有可能无法正常工作。
技术实现思路
有鉴于此，本申请实施例提供了一种动作模仿方法、装置、终端及计算机存储介质，能够使得机器人执行动作模仿任务时不受环境的限制，同时，待模仿对象也不需要穿上带有光感元件的设备。本申请实施例的第一方面提供了一种动作模仿方法，包括：实时采集待模仿对象的二维图像；获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述二维图像中的二维坐标转换为所述待模仿对象的关节特征点对应的空间三维坐标，并根据所述待模仿对象的关节特征点对应的空间三维坐标以及各个关节特征点之间的配对关系生成所述机器人的动作控制指令，所述动作控制指令用于控制所述机器人模仿所述待模仿对象的动作。本申请实施例的第二方面提供了动作模仿装置，配置于机器人，包括：采集单元，用于实时采集待模仿对象的二维图像；获取单元，用于获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；模仿单元，用于利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述二维图像中的二维坐标转换为所述待模仿对象的关节特征点对应的空间三维坐标，并根据所述待模仿对象的关节特征点对应的空间三维坐标以及各个关节特征点之间的配对关系生成所述机器人的动作控制指令，所述动作控制指令用于控制所述机器人模仿所述待模仿对象的动作。本申请实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。本申请实施例的第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述方法的步骤。本申请实施例中，通过实时采集待模仿对象的二维图像，然后，获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；接着，利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述二维图像中的二维坐标转换为所述待模仿对象的关节特征点对应的空间三维坐标，并根据所述待模仿对象的关节特征点对应的空间三维坐标以及各个关节特征点之间的配对关系生成所述机器人的动作控制指令，使得机器人可以根据该动作控制指令模仿所述待模仿对象的动作，并且，能够使得机器人执行动作模仿任务时不受环境的限制，同时，待模仿对象也不需要穿上带有光感元件的设备。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种动作模仿方法的实现流程示意图；图2是本申请实施例提供的待模仿对象的各个关节特征点以及各个关节特征点之间的配对关系的示意图；图3是本申请实施例提供的第二神经网络模型的训练流程示意图；图4是本申请实施例提供的第一神经网络模型的训练流程示意图；图5是本申请实施例提供的各种坐标系的示意图；图6是本申请实施例提供的一种动作模仿装置的示意图；图7是本申请实施例提供的一种终端的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“所述”意在包括复数形式。当前人形机器人在实现对人类的动作的模仿过程中，主要通过在特定场所布置多视角的相机，并让待模仿对象穿上带有光感元件的设备，并且，将光感元件放置在人体的关节等重要位置，然后通过多视角的相机捕捉光感元件并进行多视角融合来准确定位人体的各个关节，从而获取待模仿对象做出的动作，进行相应的动作模仿。然而，这种动作模仿方式不仅需要待模仿对象穿上带有光感元件的设备，而且还容易受到环境的限制，在室外环境中有可能无法正常工作。基于此，本申请实施例提供一种动作模仿方法、装置、终端和计算机可读存储介质，可以使得机器人执行动作模仿任务时不受环境的限制，同时，待模仿对象也不需要穿上带有光感元件的设备。需要说明的是，本申请实施例提供的动作模仿方法、装置、终端和计算机可读存储介质，是利用单目相机拍摄的二维图像获取待模仿对象执行的动作，并且，具体是通过对待模仿对象的各个关节特征点在单目相机拍摄的二维图像中的二维坐标进行三维坐标预测，获取待模仿对象执行的动作，与传统的利用单目相机拍摄的二维图像获取待模仿对象执行的动作不同。传统的利用单目相机拍摄的二维图像获取待模仿对象执行的动作的具体实现方式是，通过对二维图像进行2d关键点的检测，并假定人体的动作朝向，通过肢体的长度来计算关节角度，这种方法无法区分动作的前后，即无法获取任何深度信息；因此，传统的利用单目相机拍摄的二维图像获取待模仿对象执行的动作的方式具有一定的局限性，而本申请通过对待模仿对象的各个关节特征点在单目相机拍摄的二维图像中的二维坐标进行三维坐标预测，可以获取待模仿对象的各个关节特征点完整且较准确的三维坐标信息，可以提高机器人动作模仿的精度。本申请实施例中，通过实时采集待模仿对象的二维图像，然后，获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；接着，利用预先训练好的第一神经网络模型将所述待模仿对象的本文档来自技高网...

【技术保护点】
1.一种动作模仿方法，应用于机器人，其特征在于，所述动作模仿方法包括：/n实时采集待模仿对象的二维图像；/n获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；/n利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述二维图像中的二维坐标转换为所述待模仿对象的关节特征点对应的空间三维坐标，并根据所述待模仿对象的关节特征点对应的空间三维坐标以及各个关节特征点之间的配对关系生成所述机器人的动作控制指令，所述动作控制指令用于控制所述机器人模仿所述待模仿对象的动作。/n

【技术特征摘要】
1.一种动作模仿方法，应用于机器人，其特征在于，所述动作模仿方法包括：
实时采集待模仿对象的二维图像；
获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系；
利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述二维图像中的二维坐标转换为所述待模仿对象的关节特征点对应的空间三维坐标，并根据所述待模仿对象的关节特征点对应的空间三维坐标以及各个关节特征点之间的配对关系生成所述机器人的动作控制指令，所述动作控制指令用于控制所述机器人模仿所述待模仿对象的动作。


2.如权利要求1所述的动作模仿方法，其特征在于，所述获取所述待模仿对象的各个关节特征点在所述二维图像中的二维坐标以及各个关节特征点之间的配对关系，包括：
将所述二维图像输入预先训练好的第二神经网络模型，由所述第二神经网络模型输出所述待模仿对象的关节特征点在所述二维图像中的二维坐标，以及各个关节特征点之间的配对关系。


3.如权利要求2所述的动作模仿方法，其特征在于，所述第二神经网络模型的训练包括：
获取第一样本二维图像，以及预先标记好的样本待模仿对象的各个关节特征点在所述第一样本二维图像中的第一样本二维坐标和预先标记好的所述样本待模仿对象的各个关节特征点之间的第一配对关系；
将所述第一样本二维图像输入待训练的第二神经网络模型，并由所述待训练的第二神经网络模型输出所述样本待模仿对象的各个关节特征点在所述样本二维图像中的第二样本二维坐标，以及所述样本待模仿对象的各个关节特征点之间的第二配对关系；
根据所述第一配对关系以及所述第二配对关系确定与所述第一样本二维坐标匹配的第二样本二维坐标；
计算所述第一样本二维坐标与所述第二样本二维坐标的第一损失函数值，并在第一损失函数值小于第一阈值，且变化率小于第二阈值时，得到所述训练好的第二神经网络模型。


4.如权利要求1所述的动作模仿方法，其特征在于，所述第一神经网络模型的训练，包括：
获取预先标记的第二样本二维图像中样本待模仿对象的各个关节特征点的第三样本二维坐标，以及预先确定的所述第三样本二维坐标对应的第一样本三维坐标；
将所述第二样本二维图像中样本待模仿对象的各个关节特征点的第三样本二维坐标输入待训练的第一神经网络模型，并由所述待训练的第一神经网络模型输出所述第三样本二维坐标对应的第二样本三维坐标；
计算所述待训练的第一神经网络模型输出的所述第二样本三维坐标与所述第一样本三维坐标的第二损失函数值，并在所述第二损失函数值小于第三阈值，且变化率小于第四阈值时，得到所述训练好的第一神经网络模型。


5.如权利要求1所述的动作模仿方法，其特征在于，所述利用预先训练好的第一神经网络模型将所述待模仿对象的关节特征点在所述...

【专利技术属性】
技术研发人员：郭渺辰，张惊涛，王东，胡淑萍，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44