一种基于景深感知机制的机器人操控系统及其工作方法技术方案

本发明专利技术公开了一种基于景深感知机制的机器人操控系统及其工作方法，系统包括处理终端、通信设备、机器人以及景深信息采集设备，该机器人具备类似于人体的骨骼关节，且每个关节包含相应的控制关节活动的自由度；景深信息采集设备将人体抽象为一个骨骼结构，将各个人体关节抽象为相应的骨骼点；处理终端根据景深信息采集设备获取的人体骨骼点坐标数据计算出人体关节的相应自由度及行走方向，然后将这些关节的自由度信息和人体的行走方向信息通过无线连接传输到机器人的控制中心；机器人的控制中心从处理终端获取相关信息之后，驱动机器人完成人体的动作指令。本发明专利技术利用景深信息采集设备获取人体骨骼点坐标的特点，实现了基于景深感知机制的机器人操控。

Robot manipulation system based on depth of field perception mechanism and working method thereof

The invention discloses a robot control system and its working depth perception mechanism based on the method of system including processing terminal, communication equipment, robot and depth of field information acquisition device, the robot has similar to human bones and joints, each joint comprises a control joint activity corresponding to the degree of freedom; depth of field information collection equipment will be abstracted into human body a skeletal structure, each human joint is abstracted as corresponding skeleton points; processing terminal based on human skeleton point depth information acquisition device to obtain the coordinate data to calculate the corresponding degrees of freedom and the walking direction of human joints, and the control center walking direction freedom of information and the information of the human body these joints to connect the transmission to the robot through wireless control center; after the robot to obtain relevant information from the processing terminal, to drive the robot end The instructions of a human body. The invention uses the depth of field information acquisition device to acquire the coordinates of the human skeleton points, and realizes the robot manipulation based on the depth of field perception mechanism.

【技术实现步骤摘要】
一种基于景深感知机制的机器人操控系统及其工作方法
本专利技术涉及景深感知以及智能机器人
，具体是一种基于景深感知机制的机器人操控系统及其工作方法。
技术介绍
目前，智能机器人行业发展迅猛，很多行业都离不开机器人的身影，包括一些高危险行业。但是，如何更好的与机器人进行交互，对机器人进行操控，是一个难题。传统意义上的机器人操控主要是通过遥控器，操作手柄等实现。但是随着机器人功能的不断增强以及机器人的越来越人性化的特点，利用传统的机器人操控方式对机器人进行操控，一来，操控方式单调乏味，二来，通过遥控器上的几个按钮也不能很好的发挥出机器人的所有潜能。因此，在机器人硬件能力得到加强的同时，机器人的软件控制能力也要进一步增强。
技术实现思路
针对于上述现有技术的不足，本专利技术的目的在于提供一种基于景深感知机制的机器人操控系统及其工作方法，以解决现有技术中传统的机器人控制方式无法发挥机器人的所有潜能等问题。本专利技术通过充分利用景深信息采集设备具有抽象人体骨骼结构以及采集骨骼点坐标的特点，结合相应的数学模型和算法实现了对机器人的操控。为达到上述目的，本专利技术的一种基于景深感知机制的机器人操控系统，包括：机器人，其拥有类似于人体的骨骼关节，每个骨骼关节包含若干个相关的自由度，在各个骨骼关节的自由度的允许范围内，关节自由活动；景深信息采集设备，其以自身为原点建立一个三维的空间坐标系，当人体处于其照射范围内时，即处于该空间坐标系之中；该景深信息采集设备将照射范围内的人体抽象为一个骨骼结构，该骨骼结构由若干个骨骼点构成，每个骨骼点由一组三维空间坐标进行标识；处理终端，其能够与景深信息采集设备进行互联，同时获取景深信息采集设备采集到的骨骼点的坐标数据，能够运行基于参考位置的算法以将这些坐标数据转换为相应骨骼关节的自由度，能够运行基于双脚位置信息的状态机判断人体的行走方向，最终能够将自由度和行走方向信息通过无线连接传输到机器人的控制中心；机器人根据接收到的上述信息来执行相应的动作；通信设备，用于处理终端与机器人的控制中心之间的信息传输。优选地，上述的景深信息采集设备将人体抽象为一个骨骼结构，通过景深信息采集设备建立的空间坐标系，根据空间坐标来标识每个骨骼点的位置，从而确定每个骨骼点的形态。优选地，上述的景深信息采集设备传输到处理终端的坐标数据含有环境噪声，采用滤波算法来滤除原始坐标数据中的环境噪声；滤除噪声后，处理终端根据双脚的相对位置关系和双臂的相对位置关系判断出是人体在行走还是人体在做出手臂的相关动作。优选地，上述的处理终端判断情况具体包括如下：a.当处理终端判断人体在行走时，处理终端启动基于双脚位置信息的状态机对人体的行走方向进行判断；b.当处理终端判断人体的手臂在做动作时，处理终端运行基于参考位置的算法，将人体骨骼点的坐标信息转化为人体关节的自由度信息；c.通过通信设备将方向信息以及自由度信息传输到机器人的控制中心。优选地，上述的状态机包含两个转移条件，分别是abs(lz-Lz)＞abs(rz-Rz)，以及abs(lz-Lz)＜abs(rz-Rz)，其中lz和Lz分别表示前一个状态左脚骨骼点到景深信息采集设备的距离和当前状态左脚到景深信息采集设备的距离，rz和Rz分别表示前一个状态右脚骨骼点到景深信息采集设备的距离和当前状态右脚到景深信息采集设备的距离，abs表示对括号中的数值取绝对值。优选地，上述的状态机包含五个状态，分别是左脚向前、左脚向后、右脚向前、右脚向后以及起始状态，其中，起始状态表示左脚和右脚到景深信息采集设备的距离相等。优选地，上述基于参考位置的算法包括两部分，第一部分根据景深信息采集设备采集到的坐标数据得到骨骼点间的向量特征，进而根据向量间的夹角计算公式得到部分肘关节自由度和肩关节自由度，即肘关节翻滚角和肩关节翻滚角；第二部分根据构造出的参考点和参考平面计算出剩下的肘关节自由度和肩关节自由度，即肘关节偏航角和肩关节俯仰角。本专利技术的一种基于景深感知机制操控机器人的工作方法，包括如下步骤：1)景深信息采集设备将人体抽象为一个骨骼结构，同时采集每个骨骼点的坐标信息，并将坐标信息传输到处理终端；2)处理终端运用滤波算法滤除坐标数据中的环境噪声；3)处理终端根据双脚的相对位置关系和双臂的相对位置关系来判断当前的人体是在行走状态还是做出手臂动作。4)处理终端判断出人体在做手臂动作，则运行基于参考位置的算法，运用景深信息采集设备提供的骨骼点坐标数据计算出肘关节自由度和肩关节自由度，即肘关节翻滚角、肩关节翻滚角、肘关节偏航角以及肩关节俯仰角；5)处理终端将人体的行走方向信息以及人体的关节自由度信息通过无线连接传输到机器人的控制中心，机器人的控制中心根据上述接收到的信息驱动机器人模仿人体的动作。本专利技术的有益效果：本专利技术增加了人体行走方向的判别，有了这个方向信息，就可以控制机器人朝需要的方向行走，扩大了机器人的活动范围；本专利技术运用基于参考位置的算法，可以高效、快速计算出自由度ElbowYaw和自由度ShoulderPitch，有了这两个自由度信息，机器人的关节的可控制的活动范围增大，使得机器人能够完成更多的动作，这是其它系统所不具备的。附图说明图1为系统场景示意图；图2为计算肘关节自由度ElbowYaw示意图；图3a为计算肩关节自由度ShoulderPitch的人体侧面示意图；图3b为计算肩关节自由度ShoulderPitch的人体正面示意图；图4为判断人体行走方向的状态机示意图；图5为机器人手臂关节自由度示意图。具体实施方式为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。参照图1所示，本专利技术的一种基于景深感知机制的机器人操控系统，包括：机器人，其拥有类似于人体的骨骼关节(可以理解为机器人的骨骼关节相当于人体的骨骼关节)，每个骨骼关节包含若干个相关的自由度，比如肘关节包含两个自由度，分别是ElbowYaw(肘关节偏航角)、ElbowRoll(肘关节翻滚角)，肩关节包含两个自由度，分别是ShoulderPitch(肩关节俯仰角)、ShoulderRoll(肩关节翻滚角)；在各个骨骼关节的自由度的允许范围内，关节自由活动。景深信息采集设备，其以自身为原点建立一个三维的空间坐标系，当人体处于其照射范围内时，即处于该空间坐标系之中；该景深信息采集设备将照射范围内的人体抽象为一个骨骼结构，该骨骼结构由若干个骨骼点构成，每个骨骼点由一组三维空间坐标进行标识；如肘关节可以通过坐标(Ex，Ey，Ez)来标识其位置。处理终端，其能够与景深信息采集设备进行互联，同时获取景深信息采集设备采集到的骨骼点的坐标数据，能够运行基于参考位置的算法以将这些坐标数据转换为相应骨骼关节的自由度，能够运行基于双脚位置信息的状态机判断人体的行走方向，最终能够将自由度和行走方向信息通过无线连接传输到机器人的控制中心；机器人的控制中心根据接收到的上述信息来执行相应的动作。通信设备，用于处理终端与机器人的控制中心之间的信息传输。其中，上述的景深信息采集设备将人体抽象为一个骨骼结构，通过景深信息采集设备建立的空间坐标系，根据空间坐标来标识每个骨骼点的位置，从而确定每个骨骼点的形态。其中，上述的景深信息采本文档来自技高网...

【技术保护点】
一种基于景深感知机制的机器人操控系统，其特征在于，包括：机器人，其拥有类似于人体的骨骼关节，每个骨骼关节包含若干个相关的自由度，在各个骨骼关节的自由度的允许范围内，关节自由活动；景深信息采集设备，其以自身为原点建立一个三维的空间坐标系，当人体处于其照射范围内时，即处于该空间坐标系之中；该景深信息采集设备将照射范围内的人体抽象为一个骨骼结构，该骨骼结构由若干个骨骼点构成，每个骨骼点由一组三维空间坐标进行标识；处理终端，其能够与景深信息采集设备进行互联，同时获取景深信息采集设备采集到的骨骼点的坐标数据，能够运行基于参考位置的算法以将这些坐标数据转换为相应骨骼关节的自由度，能够运行基于双脚位置信息的状态机判断人体的行走方向，最终能够将自由度和行走方向信息通过无线连接传输到机器人的控制中心；机器人的控制中心根据接收到的上述信息来执行相应的动作；通信设备，用于处理终端与机器人的控制中心之间的信息传输。

【技术特征摘要】
1.一种基于景深感知机制的机器人操控系统，其特征在于，包括：机器人，其拥有类似于人体的骨骼关节，每个骨骼关节包含若干个相关的自由度，在各个骨骼关节的自由度的允许范围内，关节自由活动；景深信息采集设备，其以自身为原点建立一个三维的空间坐标系，当人体处于其照射范围内时，即处于该空间坐标系之中；该景深信息采集设备将照射范围内的人体抽象为一个骨骼结构，该骨骼结构由若干个骨骼点构成，每个骨骼点由一组三维空间坐标进行标识；处理终端，其能够与景深信息采集设备进行互联，同时获取景深信息采集设备采集到的骨骼点的坐标数据，能够运行基于参考位置的算法以将这些坐标数据转换为相应骨骼关节的自由度，能够运行基于双脚位置信息的状态机判断人体的行走方向，最终能够将自由度和行走方向信息通过无线连接传输到机器人的控制中心；机器人的控制中心根据接收到的上述信息来执行相应的动作；通信设备，用于处理终端与机器人的控制中心之间的信息传输。2.根据权利要求1所述的基于景深感知机制的机器人操控系统，其特征在于，上述的景深信息采集设备将人体抽象为一个骨骼结构，通过景深信息采集设备建立的空间坐标系，根据空间坐标来标识每个骨骼点的位置，从而确定每个骨骼点的形态。3.根据权利要求1所述的基于景深感知机制的机器人操控系统，其特征在于，上述的景深信息采集设备传输到处理终端的坐标数据含有环境噪声，采用滤波算法滤除原始坐标数据中的环境噪声；滤除噪声后，处理终端根据双脚的相对位置关系和双臂的相对位置关系判断出是人体在行走还是人体在做出手臂的相关动作。4.根据权利要求3所述的基于景深感知机制的机器人操控系统，其特征在于，上述的处理终端判断情况具体包括如下：a.当处理终端判断人体在行走时，处理终端启动基于双脚位置信息的状态机对人体的行走方向进行判断；b.当处理终端判断人体的手臂在做动作时，处理终端运行基于参考位置的算法，将人体骨骼点的坐标信息转化为人体关节的自由度信息；c.通过通信设备将方向信息以及自由度信息传输到机器人的控制中心。5....

【专利技术属性】
技术研发人员：谢磊，薛涛，陆桑璐，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32