一种基于增强现实的机器人示教再现方法及装置制造方法及图纸

本发明专利技术公开了一种基于增强现实的机器人示教方法及装置。方法包括以下步骤：对体感设备获取的手势位姿进行滤波处理与数据优化；将优化后的数据通过无线网络发送给增强现实设备，驱动AR设备中虚拟机器人再现操作者的示教轨迹；示教者从增强现实设备中观察虚拟机器人的再现轨迹，通过语音调整误差较大的示教点，并修改之前的示教点，重复操作直至所有示教点的误差都在满意的限度内，则示教完成；将最终的示教轨迹转化为驱动真实机器人所需的关节角，控制真实机器人再现操作者的示教路径。本发明专利技术的装置包括体感设备、PC机、麦克风、光学透视式增强现实设备、WiFi路由器和机器人。本发明专利技术具有对示教者专业要求低，避免损坏作业机器人，重复效率高等优点。 1

Method and device for teaching reproduction of robot based on Augmented Reality

The invention discloses a robot teaching method and device based on augmented reality. The method includes the following steps: filtering and optimizing the gesture and posture obtained by the somatosensory device; sending the optimized data to the augmented reality device through the wireless network and driving the virtual robot to reproduce the teaching path of the operator in the AR device; the instructor observed the reproduction track of the virtual robot from the enhancement of the actual equipment. Trace, by adjusting the teaching point of large error by voice, and modifying the previous teaching point, repeated operation until the error of all the teaching points is within the satisfactory limit, the instruction completion is completed; the final teaching trajectory is transformed into the joint angle needed to drive the real robot, and the teaching path of the real robot is reproduced. The device of the invention includes somatosensory devices, PC machines, microphones, optical perspective augmented reality devices, WiFi routers and robots. The invention has the advantages of low professional requirements for the instructor, avoiding damage to the operation robot, and high repetition efficiency. One

【技术实现步骤摘要】
一种基于增强现实的机器人示教再现方法及装置
本专利技术涉及工业机器人示教领域，特别是涉及一种基于增强现实技术的机器人在线示教再现方法及装置。
技术介绍
机器人从60年代诞生发展到现在，经历了三代：示教再现机器人、有感知能力机器人和智能机器人，然而示教再现型机器人仍然是工业领域应用最多的机器人。机器人示教的目的是为了获得机器人完成作业所需的位姿，其示教方法可分为在线示教和离线示教。在线示教方式的缺点是示教过程繁琐费时，需要根据工作任务反复调整机器人的姿态，时效性差，而且很难规划复杂的工作路径。离线示教是利用计算机图形学技术建立机器人及其工作环境的几何模型，然后对机器人所要完成的任务进行离线规划和编程，并对结果进行动态仿真，最后将满足要求的示教路径传送给机器人控制器。离线示教方式的缺点是建模过程比较复杂，且模型与真实环境存在偏差，示教再现前需要进行相应的校正，对编程人员要求较高。随着计算机软硬件技术的发展，虚拟现实技术得到了广泛的应用，在机器人示教领域形成了一种新的虚拟示教方法。为了进行虚拟示教，需要机器人及其工作环境的完整描述的CAD模型。此CAD模型存在着对真实场景模拟精度不高的问题，在一个松结构化的环境中对机器人任务进行示教需要做许多标定和工件定位的工作，这是虚拟示教方式的缺点。对此近年来公开了采用增强现实技术来提高机器人示教方法操作性的方法和装置。中国专利号：CN106363637A，名称：一种机器人快速示教方法及装置，该专利技术公开了一种增强现实环境中的机器人快速示教方法及装置，采用手势完成机器人示教过程，并通过语音对示教的动作进行命名，增强现实设备捕捉周围环境信息构成三维场景在显示屏上显示。然而该专利技术只是将语音用于示教动作的命名，没有利用语音指令的精确性对手势示教过程的误差进行优化，且未充分利用增强现实技术的虚实叠加特性来降低误操作对真实机器人和工件的损害，仅作为显示设备。中国专利号：CN106863295A，名称：机器人系统，该专利技术公开了一种具备影像显示装置的机器人系统，该影像显示装置利用增强现实处理技术来将虚拟物体的图像叠加在机器人的影像上进行显示。该装置可以在没有机器人末端执行器的情况下完成机器人示教，然而，这种靠图像识别处理来完成虚实物体叠加的方式需要大量的计算量。综上，目前机器人示教迫切需要一种自然、高效、安全、直观的示教编程方法。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种基于增强现实的机器人示教再现方法及装置。为了实现本专利技术的目的所采用的技术方案是。一种基于增强现实的机器人示教再现方法，包括以下步骤：S1、启动示教模式，体感设备获取手势的位置与姿态S1、启动示教模式，体感设备获取手势的位置与姿态；S2、对S1中获取的手势位姿进行滤波处理与数据优化；S3、将优化后的数据通过无线网络发送给光学透视式增强现实设备，驱动AR设备中虚拟机器人再现操作者的示教轨迹；S4、在虚拟机器人再现的过程中，示教者从增强现实设备中观察虚拟机器人的再现轨迹，对于误差大于期望误差的示教点，通过语音指令进行调整，并修改之前的示教点，直至所有示教点的误差都在期望误差范围内，则示教完成；S5、将最终的示教轨迹转化为驱动真实机器人所需的关节角，发送给机器人控制器，从而让真实作业机器人再现操作者的示教路径。进一步的，步骤S1中，操作者沿着实际工作路径示教一遍工作位姿，体感设备(如深度相机Kinect，LeapMotion等)以固定频率采集示教者的手势的位置与姿态数据作为示教点处的位姿。具体的，示教者右手食指指尖的位置作为示教点的位置，掌心和食指根、无名指根这三个点所形成平面的法向量与参考坐标系(即世界坐标系)的夹角作为示教点姿态的欧拉角；具体计算过程如下：世界坐标系为右手螺旋坐标系，x轴水平向右，y轴垂直向上，z轴垂直于纸面向外。设掌心为点A(x1,y1,z1)，食指根为点B(x2,y2,z2)、无名指根为点C(x3,y3,z3)，由不共线的三点形成的平面的法向量为根据法向量与平面内任意向量垂直，则有展开即得由式(2)解得法向量机器人姿态用RPY(Roll，Pitch，Yaw)来表示，绕世界坐标系z轴的旋转角称为Roll，记为φa；绕世界坐标系y轴的旋转角称为Pitch，记为φo；绕世界坐标系x轴的旋转角称为Yaw，记为φn。由法向量可得其RPY角为进一步的，步骤S2中，手势示教的准确度完全依赖手势采集系统采集的手势位姿，而人手由于生理原因，存在着固有的抖动，测量设备也存在着测量噪声，故对步骤S1中获取的手势位姿数据进行滤波和优化，来获得稳定的示教点位姿。⑴数据滤波对于Kinect获取的数据，采用自回归滑动平均滤波器进行滤波。自回归滑动平均(ARMA)滤波器是一类线性滤波器，ARMA滤波器的输出是当前值与N个之前输入和M个之前滤波器输出的加权平均：其中系数ai和bi表示第i项滤波器参数。式(4)等号右边第一部分叫做滑动平均(MA)项，是一个低通滤波器允许直流分量通过；第二部分叫做自回归(AR)项；根据式(4)对采集的位姿数据进行滤波，从而得到光滑稳定的示教轨迹。⑵数据优化采用递推最小二乘(RLS)算法消除人手肌肉造成的固有抖动。数据优化系统的数学模型为：A(z-1)y(k)＝B(z-1)u(k)+w(k)，其中na、nb为数据优化系统模型的阶次，z-i为系统z变换的第i项，表示延迟i个时刻，ai、bi为待估计参数，y(k)为系统k时刻的输出观测数据，u(k)为系统k时刻的输入采样数据，w(k)为系统k时刻的随机噪声。我们定义：由以往时刻的系统输出y(k-1),...,y(k-na)和系统输入u(k-1),...,u(k-nb)组成的k‐1时刻的观测数据向量φ(k-1)为φ(k-1)＝[y(k-1),...,y(k-na)u(k-1),...,u(k-nb)]T(T表示转置)由系统模型待估计参数组成的回归参数向量θ为表示k时刻θ的估计值，其递推计算式为K(k)为k时刻误差增益，其计算式为P(k)为k时刻方差更新矩阵，其计算式为P(k)＝[I-K(k)φT(k-1)]P(k-1)(8)则递推最小二乘算法基本计算步骤如下：①确定多项式A(z-1)和B(z-1)的阶次na，nb；②设定递推参数初值P(0)；③采样获取新的观测数据y(k)和u(k)，并组成观测数据向量φ(k-1)；④用式(6)～(8)所示的RLS法计算当前参数递推估计值⑤采样次数k加1，然后转回到第③步骤继续循环，直到满足以下的停止准则：式中为参数向量θ的第i个元素在第N+1次的递推计算结果，εRLS为给定的表示精度要求的某一正数。进一步的，步骤S3中，对于上一步优化过后的数据，需要通过无线网络传送给光学透视式增强现实设备(如Hololens)，这些数据驱动光学透视式增强现实设备中的虚拟机器人末端运动，在增强现实的环境中完成示教任务的再现过程。进一步的，步骤S3中，增强现实设备中的虚拟机器人需要在启动示教模式之前离线建模好。进一步的，步骤S4中，通过语音指令对手势示教过程中误差较大的示教点进行调整，实现精确示教。这是因为步骤S1中手势示教采集系统是以固定频率采集示教者的手势位姿，且人手手指有一定的大小，故示教轨迹本身存在误差，需在步骤S4中通本文档来自技高网...

【技术保护点】
1.一种基于增强现实的机器人示教再现方法，其特征在于，包括以下步骤：

【技术特征摘要】
1.一种基于增强现实的机器人示教再现方法，其特征在于，包括以下步骤：S1、启动示教模式，体感设备获取手势的位置与姿态；S2、对S1中获取的手势位姿进行滤波处理与数据优化；S3、将优化后的数据通过无线网络发送给光学透视式增强现实设备，驱动AR设备中虚拟机器人再现操作者的示教轨迹；S4、在虚拟机器人再现的过程中，示教者从增强现实设备中观察虚拟机器人的再现轨迹，对于误差大于期望误差的示教点，通过语音指令进行调整，并修改之前的示教点，直至所有示教点的误差都在期望误差范围内，则示教完成；S5、将最终的示教轨迹转化为驱动真实机器人所需的关节角，发送给机器人控制器，从而让真实作业机器人再现操作者的示教路径。2.根据权利要求1所述的基于增强现实的机器人示教再现方法，其特征在于，步骤S1中示教者沿着实际工作路径示教一遍工作位姿，体感设备以固定频率采集示教者的手势的位置与姿态数据作为示教点处的位姿；位姿的计算方法为：示教者右手食指指尖的位置作为示教点的位置，掌心和食指根、无名指根这三个点所形成平面的法向量与参考坐标系即世界坐标系的夹角作为示教点姿态的欧拉角；具体计算过程如下：世界坐标系为右手螺旋坐标系，x轴水平向右，y轴垂直向上，z轴垂直于纸面向外。设掌心为点A(x1,y1,z1)，食指根为点B(x2,y2,z2)、无名指根为点C(x3,y3,z3)，由不共线的三点形成的平面的法向量为根据法向量与平面内任意向量垂直，则有展开即得由式(2)解得法向量机器人姿态用RPY(Roll，Pitch，Yaw)来表示，绕世界坐标系的z轴的旋转角称为Roll，记为φa；绕世界坐标系y轴的旋转角称为Pitch，记为φo；绕世界坐标系x轴的旋转角称为Yaw，记为φn；由法向量可得其RPY角为3.根据权利要求1所述的基于增强现实的机器人示教再现方法，其特征在于，步骤S2中，对步骤S1中获取的手势位姿数据进行滤波处理和优化，以获得稳定准确的示教点位姿。具体计算步骤为：⑴数据滤波对于Kinect获取的数据，采用自回归滑动平均滤波器进行滤波；自回归滑动平均(ARMA)滤波器是一类线性滤波器，ARMA滤波器的输出是当前值与N个之前输入和M个之前滤波器输出的加权平均：其中系数ai和bi表示第i项滤波器参数，式(4)等号右边第一部分叫做滑动平均(MA)项，是一个低通滤波器允许直流分量通过；第二部分叫做自回归(AR)项；根据式(4)对采集的位姿数据进行滤波，从而得到光滑稳定的示教轨迹；⑵数据优化采用递推最小二乘(RLS)算法消除人手肌肉造成的固有抖动。数据优化系统的数学模型为：A(z-1)y(k)＝B(z-1)u(k)+w(k)，其中na、nb为数据优化系统模型的阶次，z-i为系统z变换的第i项，表示延迟i个时刻，ai、bi为待估计参数，y(k)为系统k时刻的输出观测数据，u(k)为系统k时刻的输入采样数据，w(k)为系统k时刻的随机噪声；定义：由以往时刻的系统输出y(k-1),...,y(k-na)和系统输入u(k-1),...,u(k-nb)组成的k‐1时刻的观测数据向量φ(k-1)为φ(k-1)＝[y(k-1),...,y(k-na)u(k-1),...,u(k-nb)]T，T表示转置...

【专利技术属性】
技术研发人员：张平，陈偕权，杜广龙，陈晓丹，李方，陈明轩，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44