一种基于Kinect的仿人机器人人体行为模仿方法技术

本发明专利技术公开了一种基于Kinect的仿人机器人人体行为模仿方法，包括以下步骤：1)从Kinect采集到的RGB‑D图像中提取人体骨架信息，构建人体的运动模型；2)根据仿人机器人自身的肢体结构特点构建仿人机器人的运动模型；3)通过映射模型将采集到的人类动作转换成机器人运动模型中的动作；4)利用平衡控制技术调整机器人关节角度使得在模仿过程中机器人保持稳定；5)对机器人的状态进行自碰撞避免处理后，将最终的关节配置数据发送给机器人以完成模仿动作；本发明专利技术采用八条运动链的映射技术让仿人机器人模仿人类尽可能多的关节位置，动作模仿相似，可以在线实时执行。可以用于仿人机器人对人体动作的学习、远程控制等方面。

【技术实现步骤摘要】

本专利技术涉及仿人机器人动作控制
，具体是一种基于Kinect的仿人机器人人体行为模仿方法。
技术介绍
仿人机器人是一种外形像人的机器人，它可以在人们所处的现实环境中工作并且能够使用人类的工具，世界上最早的仿人机器人首推1973年早稻田大学加藤一郎研究室的WABOT-1，经过四十多年的发展，仿人机器人现在已被广泛地应用在各个领域；目前，仿人机器人进入了一个新的研究阶段，仿人机器人和人工智能的结合将会让仿人机器人具有思维，进而可以更好地融入人类生活为人类服务和工作。仿人机器人作为一个火热的研究领域已经在人类社会展现出独特的风采；日本本田公司研发的ASIMO机器人在展览会上表演跳跃、跑步和为客人倒水等动作，展现出仿人机器人超强的服务能力；日本夏普研发的手机机器人是一个微缩的仿人机器人，它除了一般智能手机的功能外还可以走路和跳舞，而且这款机器人手机已经投入市场并且深受人们欢迎；因此，仿人机器人的应用已经开始投入市场，并且将来一定会普及到人类的日常生活中。在仿人机器人的研究中，将人工智能和仿人机器人结合是让机器人融入人类生活的关键，而目前人工智能尚不成熟而且很多人工智能产品都是有领域针对性的，这并不能让仿人机器人具有比较完整的意识；基于目前的情况，一方面可以让机器人做一些简单重复的机械动作，例如流水线上的装配工作可以交给机器人完成；另一方面人类可以远程操控在机器人去代替人类完成一些危险或者困难的任务。由于机器人智力低，它无法根据当前的情况作出正确的判断，只能听从于指令行动，如果使得仿人机器人具有模仿性，让机器人跟着人去做相似的动作，则能极大的扩宽仿人机器人的使用范围，提高其使用性能。模仿技术是一种基于动作捕获设备得到人类运动数据并利用模仿算法完成从人类动 作映射到仿人机器人动作的技术；模仿可以保证机器人稳定的前提下让它做出和人类相似的动作，这样可以让人类远程控制机器人去做一些危险的事，例如火灾救援或者抓取危险物品；机器人还可以根据人类的动作学习一些基础动作例如基于仿人机器人的哑语动作学习，之后机器人就可以和聋哑人进行手语交流；除此之外，利用动作学习机器人可以记录人类舞蹈并且将舞蹈动作以机器人的形态再现，这样就可以很好地记录我们国家的非物质文化遗产，例如一些快要消失的少数名族的舞蹈。然而，已知的大多数模仿算法都是离线的或者只针对上肢的模仿，尽管存在少量的全身行为模仿算法，但模仿的部位甚少以致模仿效果不理想；针对以上问题，本专利技术旨在提出一种实时的全身行为模仿算法，要求模仿的部位尽可能多以提高模仿效果。
技术实现思路
本专利技术的目的在于提供一种以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础去构建人体八条运动链的运动模型，并通过映射模型和平衡控制机制将动作映射到机器人运动模型中去实时地让机器人再现模仿动作的基于Kinect的仿人机器人人体行为模仿方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于Kinect的仿人机器人人体行为模仿方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，构建人体八条运动链的运动模型，并通过映射模型和平衡控制机制将动作映射到机器人运动模型中去实时表示，包括以下步骤：1)建立动作数据采集、动作数据处理和关节配置三个模块，动作数据采集模块负责构建人体动作的抽象模型，动作数据处理模块把人类动作映射给机器人并对机器人的动作优化处理，关节配置模块将处理后的关节数据发送到机器人来执行模仿动作；2)动作数据采集过程：针对Kinect采集到的RGB-D图像逐帧提取人体运动模型，每一帧都用抽象模型去表示当前捕获的人类行为；3)动作数据处理过程：对采集到的每帧数据分别进行映射模型处理、平衡控制处理以及自碰撞避免处理三个步骤，最终得到对应仿人机器人模仿姿态的关节角度配置；4)映射模型处理过程：逐帧将人体运动模型下表示的八条运动链向量转换到机器人运动模型下去表示，利用映射后得到的向量计算机器人各个末端效应器的位置，然后结合逆运动学公式求解机器人所有运动链上的所有关节配置；5)平衡控制过程：计算每帧机器人的重心位置并判断机器人重心的铅直投影是否在其支撑多边形之内以决定机器人的平衡状态，判断为不平衡时修改机器人下肢的关节配置使其重心铅直投影落在支撑多边形范围内；6)自碰撞避免过程：利用立方体量化表示躯干所占空间，结合正运动学和逆运动学判断机器人的末端效应器是否和躯体发生自碰撞，判定发生自碰撞时则调节上肢角度使得末端效应器远离躯干，并再次判断自碰撞状态；7)关节配置过程：判断机器人的下肢是否有动作，判断为上肢动作但下肢无动作时则对动作执行提速，缩短配置时间以提高机器人的执行速度；作为本专利技术进一步的方案：实时动作模仿针对连续图像序列在线进行，图像序列中包含的人体行为的起始和终止时间点都是未知的。作为本专利技术再进一步的方案：所述步骤1中，采集到的每帧图像在动作处理过程结束之后执行关节配置过程。作为本专利技术再进一步的方案：所述步骤2中，从Kinect提取到的人类运动模型是用八条运动链表示的，八条运动链分别由上肢的两条前臂、后臂以及下肢的两条上腿和下腿构成，抽象模型中用向量去表示八条运动链，姿态表示方式为： P = [ V L E l b o w L S h o u l d e r , V L H a n d L E l b o w , V R E l b o w R S h o u l d e r , V R本文档来自技高网...

【技术保护点】
一种基于Kinect的仿人机器人人体行为模仿方法，以从Kinect采集到的RGB‑D图像中提取到的人体骨架信息为基础，构建人体八条运动链的运动模型，并通过映射模型和平衡控制机制将动作映射到机器人运动模型中去实时表示，其特征在于，包括以下步骤：1)建立动作数据采集、动作数据处理和关节配置三个模块，动作数据采集模块负责构建人体动作的抽象模型，动作数据处理模块把人类动作映射给机器人并对机器人的动作优化处理，关节配置模块将处理后的关节数据发送到机器人来执行模仿动作；2)动作数据采集过程：针对Kinect采集到的RGB‑D图像逐帧提取人体运动模型，每一帧都用抽象模型去表示当前捕获的人类行为；3)动作数据处理过程：对采集到的每帧数据分别进行映射模型处理、平衡控制处理以及自碰撞避免处理三个步骤，最终得到对应仿人机器人模仿姿态的关节角度配置；4)映射模型处理过程：逐帧将人体运动模型下表示的八条运动链向量转换到机器人运动模型下去表示，利用映射后得到的向量计算机器人各个末端效应器的位置，然后结合逆运动学公式求解机器人所有运动链上的所有关节配置；5)平衡控制过程：计算每帧机器人的重心位置并判断机器人重心的铅直投影是否在其支撑多边形之内以决定机器人的平衡状态，判断为不平衡时修改机器人下肢的关节配置使其重心铅直投影落在支撑多边形范围内；6)自碰撞避免过程：利用立方体量化表示躯干所占空间，结合正运动学和逆运动学判断机器人的末端效应器是否和躯体发生自碰撞，判定发生自碰撞时则调节上肢角度使得末端效应器远离躯干，并再次判断自碰撞状态；7)关节配置过程：判断机器人的下肢是否有动作，判断为上肢动作但下肢无动作时则对动作执行提速，缩短配置时间以提高机器人的执行速度。...

【技术特征摘要】
1.一种基于Kinect的仿人机器人人体行为模仿方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，构建人体八条运动链的运动模型，并通过映射模型和平衡控制机制将动作映射到机器人运动模型中去实时表示，其特征在于，包括以下步骤：1)建立动作数据采集、动作数据处理和关节配置三个模块，动作数据采集模块负责构建人体动作的抽象模型，动作数据处理模块把人类动作映射给机器人并对机器人的动作优化处理，关节配置模块将处理后的关节数据发送到机器人来执行模仿动作；2)动作数据采集过程：针对Kinect采集到的RGB-D图像逐帧提取人体运动模型，每一帧都用抽象模型去表示当前捕获的人类行为；3)动作数据处理过程：对采集到的每帧数据分别进行映射模型处理、平衡控制处理以及自碰撞避免处理三个步骤，最终得到对应仿人机器人模仿姿态的关节角度配置；4)映射模型处理过程：逐帧将人体运动模型下表示的八条运动链向量转换到机器人运动模型下去表示，利用映射后得到的向量计算机器人各个末端效应器的位置，然后结合逆运动学公式求解机器人所有运动链上的所有关节配置；5)平衡控制过程：计算每帧机器人的重心位置并判断机器人重心的铅直投影是否在其支撑多边形之内以决定机器人的平衡状态，判断为不平衡时修改机器人下肢的关节配置使其重心铅直投影落在支撑多边形范围内；6)自碰撞避免过程：利用立方体量化表示躯干所占空间，结合正运动学和逆运动学判断机器人的末端效应器是否和躯体发生自碰撞，判定发生自碰撞时则调节上肢角度使得末端效应器远离躯干，并再次判断自碰撞状态；7)关节配置过程：判断机器人的下肢是否有动作，判断为上肢动作但下肢无动作时则对动作执行提速，缩短配置时间以提高机器人的执行速度。2.根据权利1所述的基于Kinect的仿人机器人人体行为模仿方法，其特征在于，实时动作模仿针对连续图像序列在线进行，图像序列中包含的人体行为的起始和终止时间点都是未知的。3.根据权利要求1所述的基于Kinect的仿人机器人人体行...

【专利技术属性】
技术研发人员：朱光明，张亮，宋娟，沈沛意，程志浩，刘宇飞，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61