一种动作模仿方法、装置、计算机可读存储介质及机器人制造方法及图纸

本申请属于机器人技术领域，尤其涉及一种动作模仿方法、装置、计算机可读存储介质及机器人。所述方法采集被模仿对象的动作图像；使用预训练好的卷积神经网络对所述动作图像进行处理，得到所述动作图像对应的位置坐标集合，所述位置坐标集合中包括各个人体关节点的二维位置坐标；根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度；根据所述被模仿对象的各个关节角度控制机器人进行运动。通过本申请实施例，无需借助于高精度的深度相机，仅通过对普通相机采集的图像进行分析处理，即可得到被模仿对象的各个关节角度，并据此控制机器人进行运动，极大减少了所需成本，可以进行更大范围的推广使用。

A method, device, computer readable storage medium and robot for action imitation

【技术实现步骤摘要】
一种动作模仿方法、装置、计算机可读存储介质及机器人
本申请属于机器人
，尤其涉及一种动作模仿方法、装置、计算机可读存储介质及机器人。
技术介绍
现有技术中的人形机器人已经可以在一定程度上仿照人类的运动方式进行运动，如抓取、双足直立行走等，但是在一些人类的习惯性动作上依然显得生硬，不够拟人化，因此需要一种方法将人类的动作直接传达给机器人。目前已有的方法可以分为两种，一种是基于可穿戴式控制设备的运动模仿，另一种是基于视觉的动作模仿。第一种方法需要操作人员穿上特定的设备，来采集人体的关节运动信息，然后同步到人形机器人相应的关节中。这种方法获取的数据较为精确，但是缺点也十分明显，可穿戴式控制设备制作成本以及维护成本较高，不适合大量普及，且应用场景极其有限，仅限于实验室操作，同时穿戴与拆卸过程繁琐，用户体验性差。基于视觉的方法可以有效改善第一种方法遇到的问题。通过人形机器人内部自带的深度相机或者环境中安置的深度相机即可实现动作模仿，不需要额外设备，大大拓展了应用场景，但由于该方法需要借助于高精度的深度相机，成本较高，难以进行推广使用。
技术实现思路
有鉴于此，本申请实施例提供了一种动作模仿方法、装置、计算机可读存储介质及机器人，以解决现有的动作模仿方法成本较高，难以进行推广使用的问题。本申请实施例的第一方面提供了一种动作模仿方法，可以包括：采集被模仿对象的动作图像；使用预训练好的卷积神经网络对所述动作图像进行处理，得到所述动作图像对应的位置坐标集合，所述位置坐标集合中包括各个人体关节点的二维位置坐标；根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度；根据所述被模仿对象的各个关节角度控制机器人进行运动。进一步地，在使用预训练好的卷积神经网络对所述动作图像进行处理之前，还包括：获取预设的训练样本集，所述训练样本集中包括N个样本图像，且每个样本图像均对应于一个预先标注的第一集合，N为正整数；使用卷积神经网络分别对所述训练样本集中的各个样本图像进行处理，得到各个样本图像对应的第二集合；根据各个样本图像对应的第一集合和第二集合计算所述训练样本集的训练损失值；若所述训练损失值大于预设的损失阈值，则对卷积神经网络的参数进行调整，并返回执行所述使用卷积神经网络分别对所述训练样本集中的各个样本图像进行处理的步骤；若所述训练损失值小于或等于所述损失阈值，则结束训练，得到所述预训练好的卷积神经网络。进一步地，所述根据各个样本图像对应的第一集合和第二集合计算所述训练样本集的训练损失值包括：根据下式计算所述训练样本集的训练损失值：其中，n为各个样本图像的序号，0≤n≤N-1，p为各个人体关节点的序号，0≤p≤PN-1，PN为人体关节点的数目，(FtXn,p,FtYn,p)为第n个样本图像对应的第一集合中的第p个人体关节点的二维位置坐标，(SdXn,p,SdYn,p)为第n个样本图像对应的第二集合中的第p个人体关节点的二维位置坐标，Loss为所述训练样本集的训练损失值。进一步地，在得到所述动作图像对应的位置坐标集合之后，还包括：对所述位置坐标集合中的各个人体关节点的二维位置坐标进行卡尔曼滤波，得到滤波后的位置坐标集合。进一步地，所述根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度包括：根据所述位置坐标集合计算所述被模仿对象的各个关节长度；根据所述被模仿对象的各个关节长度和预设的各个关节最大长度计算所述被模仿对象的各个关节角度。进一步地，所述根据所述被模仿对象的各个关节长度和预设的各个关节最大长度计算所述被模仿对象的各个关节角度包括：根据下式计算所述被模仿对象的各个关节角度：cosθq＝Lq/MaxLq其中，q为各个人体关节的序号，0≤q≤Q-1，Q为人体关节的数目，Lq为所述被模仿对象的第q个人体关节的关节长度，MaxLq为所述被模仿对象的第q个人体关节的关节最大长度，θq为所述被模仿对象的第q个人体关节的关节角度。进一步地，在根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度之后，还包括：对所述被模仿对象的各个关节角度进行卡尔曼滤波，得到滤波后的各个关节角度。本申请实施例的第二方面提供了一种动作模仿装置，可以包括：动作图像采集模块，用于采集被模仿对象的动作图像；图像处理模块，用于使用预训练好的卷积神经网络对所述动作图像进行处理，得到所述动作图像对应的位置坐标集合，所述位置坐标集合中包括各个人体关节点的二维位置坐标；关节角度计算模块，用于根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度；运动控制模块，用于根据所述被模仿对象的各个关节角度控制机器人进行运动。进一步地，所述动作模仿装置还可以包括：训练样本集获取模块，用于获取预设的训练样本集，所述训练样本集中包括N个样本图像，且每个样本图像均对应于一个预先标注的第一集合，N为正整数；样本图像处理模块，用于使用卷积神经网络分别对所述训练样本集中的各个样本图像进行处理，得到各个样本图像对应的第二集合；训练损失值计算模块，用于根据各个样本图像对应的第一集合和第二集合计算所述训练样本集的训练损失值；参数调整模块，用于若所述训练损失值大于预设的损失阈值，则对卷积神经网络的参数进行调整，并返回执行所述使用卷积神经网络分别对所述训练样本集中的各个样本图像进行处理的步骤；结束训练模块，用于若所述训练损失值小于或等于所述损失阈值，则结束训练，得到所述预训练好的卷积神经网络。进一步地，所述训练损失值计算模块具体用于根据下式计算所述训练样本集的训练损失值：其中，n为各个样本图像的序号，0≤n≤N-1，p为各个人体关节点的序号，0≤p≤PN-1，PN为人体关节点的数目，(FtXn,p,FtYn,p)为第n个样本图像对应的第一集合中的第p个人体关节点的二维位置坐标，(SdXn,p,SdYn,p)为第n个样本图像对应的第二集合中的第p个人体关节点的二维位置坐标，Loss为所述训练样本集的训练损失值。进一步地，所述动作模仿装置还可以包括：位置坐标滤波模块，用于对所述位置坐标集合中的各个人体关节点的二维位置坐标进行卡尔曼滤波，得到滤波后的位置坐标集合。进一步地，所述关节角度计算模块可以包括：关节长度计算单元，用于根据所述位置坐标集合计算所述被模仿对象的各个关节长度；关节角度计算单元，用于根据所述被模仿对象的各个关节长度和预设的各个关节最大长度计算所述被模仿对象的各个关节角度。进一步地，所述关节角度计算单元具体用于根据下式计算所述被模仿对象的各个关节角度：cosθq＝Lq/MaxLq其中，q为各个人体关节的序号，0≤q≤Q-1，Q为人体关节的数目，Lq为所述被模仿对象的第q个人体关节的关节长度，本文档来自技高网...

【技术保护点】
1.一种动作模仿方法，其特征在于，包括：/n采集被模仿对象的动作图像；/n使用预训练好的卷积神经网络对所述动作图像进行处理，得到所述动作图像对应的位置坐标集合，所述位置坐标集合中包括各个人体关节点的二维位置坐标；/n根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度；/n根据所述被模仿对象的各个关节角度控制机器人进行运动。/n

【技术特征摘要】
1.一种动作模仿方法，其特征在于，包括：
采集被模仿对象的动作图像；
使用预训练好的卷积神经网络对所述动作图像进行处理，得到所述动作图像对应的位置坐标集合，所述位置坐标集合中包括各个人体关节点的二维位置坐标；
根据所述动作图像对应的位置坐标集合计算所述被模仿对象的各个关节角度；
根据所述被模仿对象的各个关节角度控制机器人进行运动。


2.根据权利要求1所述的动作模仿方法，其特征在于，在使用预训练好的卷积神经网络对所述动作图像进行处理之前，还包括：
获取预设的训练样本集，所述训练样本集中包括N个样本图像，且每个样本图像均对应于一个预先标注的第一集合，N为正整数；
使用卷积神经网络分别对所述训练样本集中的各个样本图像进行处理，得到各个样本图像对应的第二集合；
根据各个样本图像对应的第一集合和第二集合计算所述训练样本集的训练损失值；
若所述训练损失值大于预设的损失阈值，则对卷积神经网络的参数进行调整，并返回执行所述使用卷积神经网络分别对所述训练样本集中的各个样本图像进行处理的步骤；
若所述训练损失值小于或等于所述损失阈值，则结束训练，得到所述预训练好的卷积神经网络。


3.根据权利要求2所述的动作模仿方法，其特征在于，所述根据各个样本图像对应的第一集合和第二集合计算所述训练样本集的训练损失值包括：
根据下式计算所述训练样本集的训练损失值：



其中，n为各个样本图像的序号，0≤n≤N-1，p为各个人体关节点的序号，0≤p≤PN-1，PN为人体关节点的数目，(FtXn,p,FtYn,p)为第n个样本图像对应的第一集合中的第p个人体关节点的二维位置坐标，(SdXn,p,SdYn,p)为第n个样本图像对应的第二集合中的第p个人体关节点的二维位置坐标，Loss为所述训练样本集的训练损失值。


4.根据权利要求1所述的动作模仿方法，其特征在于，在得到所述动作图像对应的位置坐标集合之后，还包括：
对所述位置坐标集合中的各个人体关节点的二维位置坐标进行卡尔曼滤波，得到滤波后的位置坐标集合。


5...

【专利技术属性】
技术研发人员：郭渺辰，程骏，张惊涛，胡淑萍，王东，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44