当前位置: 首页 > 专利查询>东北大学专利>正文

一种用于虚拟现实系统的多信息体感交互手套系统及方法技术方案

技术编号:14875963 阅读:398 留言:0更新日期:2017-03-23 23:30
本发明专利技术提供一种用于虚拟现实系统的多信息体感交互手套系统及方法,涉及虚拟现实技术领域。体感交互手套系统包括手套本体、传感器模块、信号运算放大器模块及模数转换模块、震动反馈模块、处理器模块和通讯模块,采用该体感交互手套系统进行手部运动信息和位姿的计算,计算方法以程序的形式载入上述手套系统的处理器模块,实时对手部运动和姿态信息进行计算,同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块来模拟触觉,实现双向交互。本发明专利技术通过多传感器信息融合技术和基于sEMG的隐式交互,可以对操作人的手部三维运动姿态和力进行精确的识别和计算,为使用者带来身临其境的交互体验。

【技术实现步骤摘要】

本专利技术涉及虚拟现实
,尤其涉及一种用于虚拟现实系统的多信息体感交互手套系统及方法
技术介绍
虚拟现实系统的信息输入方式问题一直是研究的一大困扰,而对于手部运动信息这一最主要的虚拟现实输入端,现有的交互手套只通过单一的惯性信息或弯曲传感器来检测手部姿态,无法对手部动作进行真正精确模拟,特别是无法预测运动力的大小,实际体验不自然;而且现有的交互手套不具有反馈交互功能,只是系统对人进行单向的手势识别,这种交互方式无法带来真实沉浸的虚拟体验。
技术实现思路
针对现有技术的缺陷,本专利技术提供一种用于虚拟现实系统的多信息体感交互手套系统及方法,多信息体感交互手套系统作为虚拟现实系统的输入,通过多传感器信息融合技术和基于sEMG的隐式交互,可以对操作人的手部三维运动姿态和力进行精确的识别和计算,为使用者带来身临其境的交互体验。一方面,本专利技术提供一种用于虚拟现实系统的多信息体感交互手套系统,包括手套本体、传感器模块、信号运算放大器模块及模数转换模块、震动反馈模块、处理器模块和通讯模块。手套本体用于搭载和固定其他模块组,穿戴于使用者手部,包括手指部、手腕部和套袖部,套袖部能套至使用者前臂处。传感器模块,用于采集手部的运动和姿态信息,包括弯度传感器组、肌电传感器组、惯性传感器组和压力传感器组;弯度传感器组固定于手套本体手指段的每个指套外侧指部夹层中,用于采集手指弯曲度,包括5个柔性弯曲传感器;肌电传感器组固定于手套本体的前臂套袖部,用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG),包括8个肌电传感器;惯性传感器组固定于手套本体的手腕部,用于采集手腕处的运动信息,包括三维加速度计和三维陀螺仪;压力传感器组固定于手套本体手指部的每个指套内侧,用于测量手指接触力,包括5个接触式压力传感器。信号运算放大器模块,固定于手套本体前臂套袖部外侧,用于将肌电传感器组采集的sEMG微信号进行放大。模数转换模块,固定于手套本体前臂套袖部的外侧,用于将肌电传感器组检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号,以提高肌电信号的采样率。震动反馈模块,固定于手套本体手指部的指套内侧处,用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部,包括4个震动反馈单元。处理器模块,固定于手套本体的手腕部外侧,用于收集和处理模数转换模块的信号,并计算手部的姿态、位移、接触力与非接触力,以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块。通讯模块,固定于处理器模块旁,用于连接处理器模块和虚拟现实系统的上位机,实现信息交流和通讯,所述通讯模块为蓝牙通讯模块。另一方面,本专利技术还提供一种采用上述的用于虚拟现实系统的多信息体感交互手套系统进行手部运动信息和位姿的计算方法,该方法以程序的形式载入上述体感交互手套系统的处理器模块,实时对手部运动和姿态信息进行计算,同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块来模拟触觉,实现双向交互,具体方法如下:步骤1:实时收集传感器模块中各传感器组的信号,并进行模数转换;步骤2:设计数字滤波器算法,对模数转换后的各数字信号进行滤波和去噪预处理;步骤3:根据弯度传感器组采集的数据计算各个手指弯度,根据肌电传感器组的数据计算手指相关肌肉的激活度,根据惯性传感器组的三维加速度计信号和三维陀螺仪信号计算手腕线性运动和旋转角度,即手部姿态的三维角度,根据压力传感器组的数据获取手指接触力;步骤4:建立多肌肉动力学模型,对手指指力进行估计,指力包括接触力和非接触力,具体包括以下步骤:步骤4.1:进行基于多肌肉动力学模型的指力预测,建立肌肉激活度与肌肉力之间的多肌肉动力学模型,用于由输入的相关肌肉激活度计算肌肉力,该肌肉力用来预测手指指力;步骤4.2:利用压力传感器组检测的手指接触力与多肌肉动力学模型估计的手指指力建立状态方程,通过扩展卡尔曼滤波精确估计手指指力;步骤5:将得到的手指弯度、手腕线性运动和旋转角度、手指接触力与非接触力信息发送至通信模块端口,同时接收虚拟现实系统上位机的触觉反馈信息用于控制震动反馈模块。进一步地,所述步骤2中,对sEMG信号的预处理过程采用IIR数字带通滤波器进行去噪,主要滤除高频噪声和50Hz工频干扰,式(1)为预处理过程的计算公式;其中,L表示带通滤波器函数;e(t)为原始sEMG信号;为选取时间窗内的平均值;u(t)为预处理后的sEMG信号;u0为偏移量。进一步地,所述步骤3中手腕线性运动和旋转角度的计算方法为:定义旋转幅度为p,该旋转幅度为T个采样点内的角速度绝对值的和,如下式所示:其中,abs()为求绝对值运算,为第t个采样点处i轴方向的角速度;定义手部姿态(三维角度)的两种求解方法,分别由加速度计和陀螺仪数据计算获得:方法1:利用加速度传感器计算关节角度:确定x、y、z三个方向加速度信号的矢量和R,如下式所示:其中,ax、ay、az分别为x、y、z三个方向的加速度信号;确定各个方向的角度anglei,如式(4)所示,其中,i=x,y,z。方法2:利用陀螺仪计算关节角度,如式(5)所示;anglei(n)=anglei(n-1)+wi·T1(5)其中,anglei(n)为当前采样点的关节角度,anglei(n-1)为前一采样点的关节角度,wi为采集的i方向的角速度,T1为陀螺仪采集数据的时间变化率;当旋转幅度p<p1时,为静态或低速状态,使用方法1计算手部三维角度;当p1≤p≤p2时,速度适中,使用方法1和2的结果加权和计算手部三维角度;当p>p2时,速度较快,使用方法2计算手部三维角度;其中,p1、p2和p3分别为手部运动最大角速度的20%、40%和60%。进一步地,所述步骤4.1进行基于多肌肉动力学模型的指力预测,具体包括以下步骤:步骤4.1.1:建立激活度模型,用于计算肌肉的激活程度,反应肌肉力的大小,肌肉激活度由预处理后的sEMG信号根据式(6)计算得到;其中,a(t)表示t时刻的激活度,u(t)为t时刻预处理后的sEMG信号;步骤4.1.2:建立肌肉收缩动力学模型,简称Hill模型,该模型包括产生主动收缩力的主动收缩单位(CE)和与其并联的产生被动弹性力的弹性单元(PE);Hill模型中的肌腱单元力F1mt由主动收缩力和被动弹性力的叠加Fm产生,如下式所示;其中,φ为肌肉纤维与腱的夹角;主动收缩力由其与肌肉长度项函数与肌肉收缩速度项函数fV(v)、肌肉激活度a(t)和肌肉最大等肌收缩能力表示,被动弹性力由其与肌肉长度项函数和肌肉最大等肌收缩能力表示,如式(8)所示;作如下近似假设:肌肉纤维和腱的夹角φ保持不变,取0.2;肌肉收缩速率对主动力变化的影响可以忽略;腱的刚度比较大,即腱长基本保持不变;则归一化肌肉长展可由下式计算:其中,lm表示肌肉长度,表示最佳肌肉长度;主动收缩力与肌肉长度项函数和被动弹性力与肌肉长度项函数的函数形式,通过现有的基于医学研究的数据作曲线拟合来建立,所得到的拟合函数式分别如式(10)和式(11)所示;步骤4.1.3:将得到的肌肉激活度a(t)和归一化肌肉长度带入到式(7)至式(9),得到肌肉力预测值。进一步地,所述步骤4.2中扩展卡尔曼滤波精确估计的方法为:步骤4.2.1:建立以手指指力为状态的状态方程;设手指指本文档来自技高网...
一种用于虚拟现实系统的多信息体感交互手套系统及方法

【技术保护点】
一种用于虚拟现实系统的多信息体感交互手套系统,其特征在于:该系统包括手套本体(1)、传感器模块、信号运算放大器模块(6)及模数转换模块(7)、震动反馈模块(8)、处理器模块(9)和通讯模块(10);所述手套本体(1)用于搭载和固定其他模块组,穿戴于使用者手部,包括手指部(101)、手腕部(102)和套袖部(103),套袖部(103)能套至使用者的前臂处;所述传感器模块,用于采集手部的运动和姿态信息,包括弯度传感器组(2)、肌电传感器组(3)、惯性传感器组(4)和压力传感器组(5);所述弯度传感器组(2)固定于手套本体(1)手指段的每个指套外侧指部夹层中,用于采集手指弯曲度,包括5个柔性弯曲传感器;所述肌电传感器组(3)固定于手套本体(1)的前臂套袖部(103),用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG),包括8个肌电传感器;所述惯性传感器组(4)固定于手套本体(1)的手腕部(102),用于采集手腕处的运动信息,包括三维加速度计和三维陀螺仪;所述压力传感器组(5)固定于手套本体(1)手指部(101)的每个指套内侧,用于测量手指接触力,包括5个接触式压力传感器;所述信号运算放大器模块(6),固定于手套本体(1)前臂套袖部(103)外侧,用于将肌电传感器组(3)采集的sEMG微信号进行放大;所述模数转换模块(7),固定于手套本体(1)前臂套袖部(103)的外侧,用于将肌电传感器组(3)检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号,以提高肌电信号的采样率;所述震动反馈模块(8),固定于手套本体(1)手指部(101)的指套内侧处,用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部,包括4个震动反馈单元;所述处理器模块(9),固定于手套本体(1)的手腕部(102)外侧,用于收集和处理模数转换模块(7)的信号,并计算手部的姿态、位移、接触力与非接触力,以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块(8);所述通讯模块(10),固定于处理器模块(9)旁,用于连接处理器模块(9)和虚拟现实系统的上位机,实现信息交流和通讯,所述通讯模块(10)为蓝牙通讯模块。...

【技术特征摘要】
1.一种用于虚拟现实系统的多信息体感交互手套系统,其特征在于:该系统包括手套本体(1)、传感器模块、信号运算放大器模块(6)及模数转换模块(7)、震动反馈模块(8)、处理器模块(9)和通讯模块(10);所述手套本体(1)用于搭载和固定其他模块组,穿戴于使用者手部,包括手指部(101)、手腕部(102)和套袖部(103),套袖部(103)能套至使用者的前臂处;所述传感器模块,用于采集手部的运动和姿态信息,包括弯度传感器组(2)、肌电传感器组(3)、惯性传感器组(4)和压力传感器组(5);所述弯度传感器组(2)固定于手套本体(1)手指段的每个指套外侧指部夹层中,用于采集手指弯曲度,包括5个柔性弯曲传感器;所述肌电传感器组(3)固定于手套本体(1)的前臂套袖部(103),用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG),包括8个肌电传感器;所述惯性传感器组(4)固定于手套本体(1)的手腕部(102),用于采集手腕处的运动信息,包括三维加速度计和三维陀螺仪;所述压力传感器组(5)固定于手套本体(1)手指部(101)的每个指套内侧,用于测量手指接触力,包括5个接触式压力传感器;所述信号运算放大器模块(6),固定于手套本体(1)前臂套袖部(103)外侧,用于将肌电传感器组(3)采集的sEMG微信号进行放大;所述模数转换模块(7),固定于手套本体(1)前臂套袖部(103)的外侧,用于将肌电传感器组(3)检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号,以提高肌电信号的采样率;所述震动反馈模块(8),固定于手套本体(1)手指部(101)的指套内侧处,用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部,包括4个震动反馈单元;所述处理器模块(9),固定于手套本体(1)的手腕部(102)外侧,用于收集和处理模数转换模块(7)的信号,并计算手部的姿态、位移、接触力与非接触力,以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块(8);所述通讯模块(10),固定于处理器模块(9)旁,用于连接处理器模块(9)和虚拟现实系统的上位机,实现信息交流和通讯,所述通讯模块(10)为蓝牙通讯模块。2.一种采用权利要求1所述的用于虚拟现实系统的多信息体感交互手套系统进行手部运动信息和位姿的计算方法,其特征在于:该方法以程序的形式载入上述手套系统的处理器模块(9),实时对手部运动和姿态信息进行计算,同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块(8)来模拟触觉,实现双向交互,具体方法如下:步骤1:实时收集传感器模块中各传感器组的信号,并进行模数转换;步骤2:设计数字滤波器算法,对模数转换后的各数字信号进行滤波和去噪预处理;步骤3:根据弯度传感器组(2)采集的数据计算各个手指弯度,根据肌电传感器组(3)的数据计算手指相关肌肉的激活度,根据惯性传感器组(4)的三维加速度计信号和三维陀螺仪信号计算手腕线性运动和旋转角度,即手部姿态的三维角度,根据压力传感器组(5)的数据获取手指接触力;步骤4:建立多肌肉动力学模型,对手指指力进行估计,指力包括接触力和非接触力,具体包括以下步骤:步骤4.1:进行基于多肌肉动力学模型的指力预测,建立肌肉激活度与肌肉力之间的多肌肉动力学模型,用于由输入的相关肌肉激活度计算肌肉力,该肌肉力用来预测手指指力;步骤4.2:利用压力传感器组(5)检测的手指接触力与多肌肉动力学模型估计的手指指力建立状态方程,通过扩展卡尔曼滤波精确估计手指指力;步骤5:将得到的手指弯度、手腕线性运动和旋转角度、手指接触力与非接触力信息发送至通信模块端口,同时接收虚拟现实系统上位机的触觉反馈信息用于控制震动反馈模块(8)。3.根据权利要求2所述的一种手部运动信息和位姿的计算方法,其特征在于:所述步骤2中,对sEMG信号的预处理过程采用IIR数字带通滤波器进行去噪,主要滤除高频噪声和50Hz工频干扰,式(1)为预处理过程的计算公式;u(t)=L(|e(t)-e‾(t)|)-u0---(1)]]>其中,L表示带通滤波器函数;e(t)为原始sEMG信号;为选取时间窗内的平均值;u(t)为预处理后的sEMG信号;u0为偏移量。4.根据权利要求3所述的一种手部运动信息和位姿的计算方法,其特征在于:所述步骤3中手腕线性运动和旋转角度的计算方法为:定义旋转幅度为p,该旋转幅度为T个采样点内的角速度绝对值的和,如下式所示:p=Σt=1Tabs(wit)---(2)]]>其中,abs()为求绝对值运算,为第t个采样点处i轴方向的角速度;定义手部姿态(三维角度)的两种求解方法,分别由加速度计和陀螺仪数据计算获得:方法1:利用加速度传感器计算关节角度:确定x、y、z三个方向加速度信号的矢量和R,如下式所示:R=ax2+ay2+az2---(3)]]>其中,ax、ay、az分别为x、y、z三个方向的加速度信号;确定各个方向的角度anglei,如式(4)所示,其中,i=x,y,z。anglei=180πarccos(azR)---(4)]]>方法2:利用陀螺仪计算关节角度,如式(5)所示;anglei(n)=anglei(n-1)+wi·T1(5)其中,anglei(n)为当前采样点的关节角度,anglei(n-1)为前一采...

【专利技术属性】
技术研发人员:王斐甘昆鹭
申请(专利权)人:东北大学
类型:发明
国别省市:辽宁;21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1