机器人的控制方法及装置、计算机设备、存储介质制造方法及图纸

本发明专利技术提供了一种机器人的控制方法及装置、计算机设备、存储介质，该方法包括：当控制对象呈现行为动作时，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征；根据所述关节位置和所述面部特征计算机器人的控制力矩；根据所述控制力矩计算所述机器人的控制参数，其中，所述控制参数用于控制所述机器人模仿所述行为动作。通过本发明专利技术，解决了相关技术中机器人模仿的动作有限、控制机器人不便等技术问题。

【技术实现步骤摘要】
机器人的控制方法及装置、计算机设备、存储介质
本专利技术涉及计算机领域，具体而言，涉及一种机器人的控制方法及装置、计算机设备、存储介质。
技术介绍
相关技术中，机器学习能让机器人学会许多不同复杂的技能，例如机械臂的pickandplace(拾放)以及motionplanning(运动规划)，然而学习这些技能通常需要人工编写奖励函数(rewardfunction)，才能让机器人在此基础上做优化。相比之下，人类可以通过观察别人的做法来理解任务的目标，或被告知目标是什么，就可以完成任务。人类之所以可以这样做，是因为人类利用了自己对世界的先验知识，然而让机器人理解这种复杂的语义信息，对于学术界和工业界都是一件相当复杂的任务。模仿学习不同于传统的机器学习或者强化学习，它是指从示教者提供的范例中学习，范例中通常包含状态和动作序列，抽取出来再做进一步的行为分析，从而达到模仿的效果。目前世面上已经有基于模仿学习的产品，例如拟人机器人SEER(赛尔号)可以捕捉并模仿人类面部细节的微表情，但仅限眉毛和眼睛；再比如第三代仿人形机器人T-HR3可以实时模仿人类的动作，甚至是一些高难度动作，但目前，控制者还需要穿上一套机械衣和VR(全称为VirtualReality，虚拟现实)设备来同步控制机器人。针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
技术实现思路
本专利技术实施例提供了一种机器人的控制方法及装置、计算机设备、存储介质，以至少解决相关技术中机器人模仿的动作有限、控制机器人不便等技术问题。根据本专利技术的一个实施例，提供了一种机器人的控制方法，包括：当控制对象呈现行为动作时，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征；根据所述关节位置和所述面部特征计算机器人的控制力矩；根据所述控制力矩计算所述机器人的控制参数，其中，所述控制参数用于控制所述机器人模仿所述行为动作。可选的，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征包括：通过深度摄像头捕捉所述控制对象的三维动作图像；基于所述控制对象的躯干中心构建第一坐标系；基于所述第一坐标系，从所述三维动作图像中提取所述关节位置信息，根据对所述三维动作图像进行图像分割获得所述面部特征。可选的，从所述三维动作图像中提取所述关节位置信息包括：向视觉定位PoseNet模型中输入所述三维动作图像；通过调用所述PoseNet模型的估计单姿态函数estimateSinglePose()解析所述三维动作图像，得到多个关节的多组三维位置坐标。可选的，根据对所述三维动作图像进行图像分割获得所述面部特征包括：获取所述三维动作图像中的点云数据；对所述点云数据进行体素化处理，得到所述三维动作图像的平面图像；对所述平面图像进行图像分割，以确定所述控制对象的面部区域；识别所述面部区域中的多个关键点特征，其中，所述多个关键点特征包括所述多个关键点的位置坐标、所述多个关键点的状态以及所述多个关键点的动作时间序列对，用于识别所述控制对象的面部表情。可选的，根据所述关节位置和所述面部特征计算机器人的控制力矩包括：以所述机器人的指定位置为中心构建第二坐标系；根据所述第二坐标系和第一坐标系之间的映射关系将所述关节位置信息和所述面部特征映射到所述机器人身上对应的目标位置；基于所述指定位置计算所述目标位置的旋转角度θ；根据所述旋转角度计算所述控制力矩。可选的，根据所述旋转角度计算所述控制力矩包括：通过以下公式计算所述控制力矩τ：其中，H表示所述机器人的舵机的控制比例系数，表示θ对时间的一阶导数。可选的，根据所述控制力矩计算所述机器人的控制参数包括：通过以下公式计算所述控制参数：Ii＝τi/K，其中，τi表示所述控制力矩，i表示所述机器人的第i个活动部件，K表示第i个活动部件的控制电机的转角常数，Ii表示第i个活动部件的控制电机的电流。根据本专利技术的一个实施例，提供了一种机器人的控制装置，包括：获取模块，用于当控制对象呈现行为动作时，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征；第一计算模块，用于根据所述关节位置和所述面部特征计算机器人的控制力矩；第二计算模块，用于根据所述控制力矩计算所述机器人的控制参数，其中，所述控制参数用于控制所述机器人模仿所述行为动作。可选的，所述获取模块包括：捕捉单元，用于通过深度摄像头捕捉所述控制对象的三维动作图像；第一构建单元，用于基于所述控制对象的躯干中心构建第一坐标系；提取单元，用于基于所述第一坐标系，从所述三维动作图像中提取所述关节位置信息，根据对所述三维动作图像进行图像分割获得所述面部特征。可选的，所述提取单元包括：输入子单元，用于向视觉定位PoseNet模型中输入所述三维动作图像；解析子单元，用于通过调用所述PoseNet模型的估计单姿态函数estimateSinglePose()解析所述三维动作图像，得到多个关节的多组三维位置坐标。可选的，所述提起单元还包括：获取子单元，用于获取所述三维动作图像中的点云数据；处理子单元，用于对所述点云数据进行体素化处理，得到所述三维动作图像的平面图像；确定子单元，用于对所述平面图像进行图像分割，以确定所述控制对象的面部区域；识别子单元，用于识别所述面部区域中的多个关键点特征，其中，所述多个关键点特征包括所述多个关键点的位置坐标、所述多个关键点的状态以及所述多个关键点的动作时间序列对，用于识别所述控制对象的面部表情。可选的，所述第一计算模块包括：第二构建单元，用于以所述机器人的指定位置为中心构建第二坐标系；映射单元，用于根据所述第二坐标系和第一坐标系之间的映射关系将所述关节位置信息和所述面部特征映射到所述机器人身上对应的目标位置；第一计算单元，用于基于所述指定位置计算所述目标位置的旋转角度θ；第二计算单元，用于根据所述旋转角度计算所述控制力矩。可选的，所述第二计算单元，用于通过以下公式计算所述控制力矩τ：其中，H表示所述机器人的舵机的控制比例系数，表示θ对时间的一阶导数。可选的，所述第二计算模块包括：第三计算单元，用于通过以下公式计算所述控制参数：Ii＝τi/K，其中，τi表示所述控制力矩，i表示所述机器人的第i个活动部件，K表示第i个活动部件的控制电机的转角常数，I_i表示第i个活动部件的控制电机的电流。根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本专利技术，当控制对象呈现行为动作时，获取所述控制对象的关节位置信息和面部特征，根据关节位置和面部特征计算机器人的控制力矩，解决了相关技术中的机器人仅能模仿控制对象的有限个动作，以及无法准确的识别出控制对象的面部表情的技术问题，再根据所述控制力矩计算所述机器人本文档来自技高网...

【技术保护点】
1.一种机器人的控制方法，其特征在于，包括：/n当控制对象呈现行为动作时，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征；/n根据所述关节位置和所述面部特征计算机器人的控制力矩；/n根据所述控制力矩计算所述机器人的控制参数，其中，所述控制参数用于控制所述机器人模仿所述行为动作。/n

【技术特征摘要】
1.一种机器人的控制方法，其特征在于，包括：
当控制对象呈现行为动作时，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征；
根据所述关节位置和所述面部特征计算机器人的控制力矩；
根据所述控制力矩计算所述机器人的控制参数，其中，所述控制参数用于控制所述机器人模仿所述行为动作。


2.根据权利要求1所述的方法，其特征在于，获取所述控制对象的关节位置信息，以及识别所述控制对象的面部特征包括：
通过深度摄像头捕捉所述控制对象的三维动作图像；
基于所述控制对象的躯干中心构建第一坐标系；
基于所述第一坐标系，从所述三维动作图像中提取所述关节位置信息，根据对所述三维动作图像进行图像分割获得所述面部特征。


3.根据权利要求2所述的方法，其特征在于，从所述三维动作图像中提取所述关节位置信息包括：
向视觉定位PoseNet模型中输入所述三维动作图像；
通过调用所述PoseNet模型的估计单姿态函数estimateSinglePose()解析所述三维动作图像，得到多个关节的多组三维位置坐标。


4.根据权利要求2所述的方法，其特征在于，根据对所述三维动作图像进行图像分割获得所述面部特征包括：
获取所述三维动作图像中的点云数据；
对所述点云数据进行体素化处理，得到所述三维动作图像的平面图像；
对所述平面图像进行图像分割，以确定所述控制对象的面部区域；
识别所述面部区域中的多个关键点特征，其中，所述多个关键点特征包括所述多个关键点的位置坐标、所述多个关键点的状态以及所述多个关键点的动作时间序列对，用于识别所述控制对象的面部表情。


5.根据权利要求1所述的方法，其特征在于，根据所述关节位置和所述面部特征计算...

【专利技术属性】
技术研发人员：喻凌威，贾怀礼，周宝，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44