基于人体自然信号的虚拟现实机器人交互系统及交互方法技术方案

本发明专利技术公开了一种基于人体自然信号的虚拟现实机器人交互系统及交互方法，本发明专利技术通过能采集人体姿态语言并通过人体姿态语言控制机器人运行，并且能根据用户需求，将用户的手及手臂关节的空间状态信息和肌电信息状态映射到虚拟机器人末端，增强了交互适应性，使用户具有良好的体验感。

Virtual Reality Robot Interactive System and Interactive Method Based on Human Natural Signal

【技术实现步骤摘要】
基于人体自然信号的虚拟现实机器人交互系统及交互方法
本专利技术涉及一种基于人体自然信号的虚拟现实机器人交互系统及交互方法。
技术介绍
许多现有的虚拟交互设备包括遥控器，带位置跟踪数据手套和视觉捕捉装置。然而这些设备在虚拟现实环境下促进人与机器人交互受限。例如HTCVIVE，采用控制器上位置传感器来捕捉人手运动位置，但是通过控制器上按钮才能实现控制指令发送，缺少人与虚拟现实交互的自然感。特别是移动虚拟现实中的物体时，用户是通过按下按钮，而不是做出自然的抓取姿势。例如接触式手势识别设备5DTCyberGlove配合空间定位装置或者非接触式手势识别设备Kinect能识别人手的状态和位置，其人手运动速度与虚拟现实机器人运动速度的比值是预先设定的常量，由于比值没有根据用户需求实时改变，用户在交互过程中交互体验感会降低。
技术实现思路
本专利技术的目的是提供一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，以解决传统按钮式交互遇到的操作繁琐和传统数据手套交互适应性差的问题。为解决上述技术问题，本专利技术提供一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，包括手势采集装置、皮表肌肉电采集装置以及分别与所述手势采集装置和皮表肌肉电采集装置通信连接的控制器；其中，手势采集装置用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息；皮表肌肉电采集装置用于采集人体手臂皮表肌电信息，输出肌电信息；控制器用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。进一步地，该虚拟现实机器人交互系统还包括虚拟现实机器人驱动驱动器，所述虚拟现实机器人驱动器用于根据所述控制器发出的控制指令控制控制机器人末端执行器动作。进一步地，该虚拟现实机器人交互系统还包括虚拟现实机器人模型，所述虚拟现实机器人模型用于将机器人运动通过3D图像实时反馈给用户。进一步地，所述手势采集装置可采用非接触式体感控制器或采用接触式数据手套和空间定位装置。进一步地，所述皮表肌肉电采集装置可采用可穿戴式皮表肌肉电传感器。此外，本申请还提供了一种基于表肌电信号和手势信号的虚拟现实机器人交互方法，包括以下步骤：S1：获取手及手臂关节的空间状态信息以及人体手臂的肌电信息；S2：根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；S3：根据手势类别、机器人模型动力学影响参数及虚拟现实动力学模型建立人机交互装配模型，根据所述手势类别控制机器人末端执行器的动作，根据所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。进一步地，所述手势类别识别方法具体包括：将手指的关节弯曲度作为输入层，依次经过权值、求和、激活后输出手势类型，最后输出结果为：其中，αi为关节弯曲度，ωi为权值，f()为激活函数。进一步地，所述机器人模型动力学影响参数计算方法具体包括：将人体手臂的肌电信息作为输入信号，依次经过卡尔曼滤波、整流、求包络后得到机器人模型动力学影响参数。进一步地，所述人机交互装配模型为：物体的平移分量为rPn+1＝rPn+Δt·rUn+1，(2)rUn+1＝hUn+1·β，(3)hUn+1＝(hPn+1-hPn)/Δt，(4)其中，rPn表示n序列时刻物体在机器人坐标系位置，rUn表示n序列时刻物体在机器人坐标系速度，hPn表示n序列时刻物体在人手坐标系位置，hUn表示n序列时刻物体在人手坐标系速度，β为采集的肌电系数，作为机器人模型动力学影响参数，Δt为n与n+1的时间差；物体的旋转分量由四元数表示，四元数由一个标量和一个向量构成，假设三维空间下标准正交基的3个单位向量为，则四元数q可以用公式(5)表示手的旋转变化可以表示为Δhq(n+1)＝hq(n+1)hq(n)-1，(6)四元数归一化可以求单位四元数人手旋转角度变化求解Δhθ(n+1)＝2arccos(Δhq(n+1)0)，(8)人手旋转轴求解通过(8)(9)得到机器人末端四元数变化量其中机器人末端旋转角度与手旋转角度关系可以表示为Δrθ(n+1)＝ψΔhθ(n+1)，(11)rq(n+1)＝Δrq(n+1)rq(n)，(12)其中，hq(n+1)为手的四元数，rq(n+1)为机器人末端的四元数，ψ是与肌电信号有关的控制系数，Δhθ(n+1)为人手在n+1时刻绕旋转轴旋转角度θ，Δrθ(n+1)为机器人末端在n+1时刻绕旋转轴旋转角度θ，为四元数旋转轴，q(n)0、q(n)1、q(n)2、q(n)3分别为四元数基本构成参数，T表示矩阵转置。本专利技术的有益效果为：本专利技术通过能采集人体姿态语言并通过人体姿态语言控制机器人运行，并且能根据用户需求，将用户的手及手臂关节的空间状态信息和肌电信息状态映射到虚拟机器人末端，增强了交互适应性，使用户具有良好的体验感。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术的一个实施例的原理示意图。图2为本专利技术的一个实施例的原理框图。图3为物体平移的坐标变换。图4为物体旋转的坐标变换。图5为手势类别识别方法。其中：1、皮表肌肉电采集装置；2、手势识别区域；3、手势采集装置；4、虚拟现实机器人模型；5、控制器；6、机器人驱动器。具体实施方式如图1所示的基于表肌电信号和手势信号的虚拟现实机器人交互系统，包括手势采集装置3、皮表肌肉电采集装置1以及分别与所述手势采集装置3和皮表肌肉电采集装置1通信连接的控制器5。下面分别对手势采集装置3、皮表肌肉电采集装置1以及控制器5进行详细描述：手势采集装置3用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息。人体的自然姿态语言包括手移动、旋转、抓取、挥舞等手势以及关节运动，可采用非接触式体感控制器5(Leapmotion)或采用接触式数据手套配合空间定位装置对用户手势进行采集。将采集到的手及手臂关节的位置信息和状态信息通过深度学习等模式识别算法后获取用户当前的手势类别，并将该手势类别作为机器人模型动力学控制参数输入到系统中。皮表肌肉电采集装置1用于采集人体手臂皮表肌电信息，输出肌电信息；皮表肌肉电采集装置1可采用穿戴式皮表肌肉电传感器如，EMG(肌肉电)，EEG(脑电图)采集身体内部生理信息。控制器5用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。如图2所示，通过深度学习等模式识别算法根据手势采集装置3采集到的空间状态信息获取当前手势类别，再将手势类别作为机器人模型动力学控制参数输入到系统中；皮表肌肉电采集装置1采集到的肌电信息通过滤波，整流，求本文档来自技高网...

【技术保护点】
1.一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，包括手势采集装置，用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息；皮表肌肉电采集装置，用于采集人体手臂皮表肌电信息，输出肌电信息；控制器，用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。

【技术特征摘要】
1.一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，包括手势采集装置，用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息；皮表肌肉电采集装置，用于采集人体手臂皮表肌电信息，输出肌电信息；控制器，用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。2.根据权利要求1所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，该虚拟现实机器人交互系统还包括虚拟现实机器人驱动驱动器，所述虚拟现实机器人驱动器用于根据所述控制器发出的控制指令控制控制机器人末端执行器动作。3.根据权利要求1或2所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，该虚拟现实机器人交互系统还包括虚拟现实机器人模型，所述虚拟现实机器人模型用于将机器人运动通过3D图像实时反馈给用户。4.根据权利要求1所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，所述手势采集装置可采用非接触式体感控制器或采用接触式数据手套和空间定位装置。5.根据权利要求1所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，所述皮表肌肉电采集装置可采用可穿戴式皮表肌肉电传感器。6.一种基于表肌电信号和手势信号的虚拟现实机器人交互方法，其特征在于，包括以下步骤：S1：获取手及手臂关节的空间状态信息以及人体手臂的肌电信息；S2：根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；S3：根据手势类别、机器人模型动力学影响参数及虚拟现实动力学模型建立人机交互装配模型，根据所述手势类别控制机器人末端执行器的动作，根据所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。7.根据权利要求6所述的虚...

【专利技术属性】
技术研发人员：赵雪，陈小安，合烨，吴鹏凡，曾君，雷霆，范磊，陈天弛，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50