【技术实现步骤摘要】
本专利技术涉及虚拟现实
,尤其涉及一种用于虚拟现实系统的多信息体感交互手套系统及方法。
技术介绍
虚拟现实系统的信息输入方式问题一直是研究的一大困扰,而对于手部运动信息这一最主要的虚拟现实输入端,现有的交互手套只通过单一的惯性信息或弯曲传感器来检测手部姿态,无法对手部动作进行真正精确模拟,特别是无法预测运动力的大小,实际体验不自然;而且现有的交互手套不具有反馈交互功能,只是系统对人进行单向的手势识别,这种交互方式无法带来真实沉浸的虚拟体验。
技术实现思路
针对现有技术的缺陷,本专利技术提供一种用于虚拟现实系统的多信息体感交互手套系统及方法,多信息体感交互手套系统作为虚拟现实系统的输入,通过多传感器信息融合技术和基于sEMG的隐式交互,可以对操作人的手部三维运动姿态和力进行精确的识别和计算,为使用者带来身临其境的交互体验。一方面,本专利技术提供一种用于虚拟现实系统的多信息体感交互手套系统,包括手套本体、传感器模块、信号运算放大器模块及模数转换模块、震动反馈模块、处理器模块和通讯模块。手套本体用于搭载和固定其他模块组,穿戴于使用者手部,包括手指部、手腕部和套袖部,套袖部能套至使用者前臂处。传感器模块,用于采集手部的运动和姿态信息,包括弯度传感器组、肌电传感器组、惯性传感器组和压力传感器组;弯度传感器组固定于手套本体手指段的每个指套外侧指部夹层中,用于采集手指弯曲度,包括5个柔性弯曲传感器;肌电传感器组固定于手套本体的前臂套袖部,用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG),包括8个肌电传感器;惯性传感器组固定于手套本体的手腕部,用于采集手 ...
【技术保护点】
一种用于虚拟现实系统的多信息体感交互手套系统,其特征在于:该系统包括手套本体(1)、传感器模块、信号运算放大器模块(6)及模数转换模块(7)、震动反馈模块(8)、处理器模块(9)和通讯模块(10);所述手套本体(1)用于搭载和固定其他模块组,穿戴于使用者手部,包括手指部(101)、手腕部(102)和套袖部(103),套袖部(103)能套至使用者的前臂处;所述传感器模块,用于采集手部的运动和姿态信息,包括弯度传感器组(2)、肌电传感器组(3)、惯性传感器组(4)和压力传感器组(5);所述弯度传感器组(2)固定于手套本体(1)手指段的每个指套外侧指部夹层中,用于采集手指弯曲度,包括5个柔性弯曲传感器;所述肌电传感器组(3)固定于手套本体(1)的前臂套袖部(103),用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG),包括8个肌电传感器;所述惯性传感器组(4)固定于手套本体(1)的手腕部(102),用于采集手腕处的运动信息,包括三维加速度计和三维陀螺仪;所述压力传感器组(5)固定于手套本体(1)手指部(101)的每个指套内侧,用于测量手指接触力,包括5个接触式压力传感器;所述信号 ...
【技术特征摘要】
1.一种用于虚拟现实系统的多信息体感交互手套系统,其特征在于:该系统包括手套本体(1)、传感器模块、信号运算放大器模块(6)及模数转换模块(7)、震动反馈模块(8)、处理器模块(9)和通讯模块(10);所述手套本体(1)用于搭载和固定其他模块组,穿戴于使用者手部,包括手指部(101)、手腕部(102)和套袖部(103),套袖部(103)能套至使用者的前臂处;所述传感器模块,用于采集手部的运动和姿态信息,包括弯度传感器组(2)、肌电传感器组(3)、惯性传感器组(4)和压力传感器组(5);所述弯度传感器组(2)固定于手套本体(1)手指段的每个指套外侧指部夹层中,用于采集手指弯曲度,包括5个柔性弯曲传感器;所述肌电传感器组(3)固定于手套本体(1)的前臂套袖部(103),用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG),包括8个肌电传感器;所述惯性传感器组(4)固定于手套本体(1)的手腕部(102),用于采集手腕处的运动信息,包括三维加速度计和三维陀螺仪;所述压力传感器组(5)固定于手套本体(1)手指部(101)的每个指套内侧,用于测量手指接触力,包括5个接触式压力传感器;所述信号运算放大器模块(6),固定于手套本体(1)前臂套袖部(103)外侧,用于将肌电传感器组(3)采集的sEMG微信号进行放大;所述模数转换模块(7),固定于手套本体(1)前臂套袖部(103)的外侧,用于将肌电传感器组(3)检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号,以提高肌电信号的采样率;所述震动反馈模块(8),固定于手套本体(1)手指部(101)的指套内侧处,用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部,包括4个震动反馈单元;所述处理器模块(9),固定于手套本体(1)的手腕部(102)外侧,用于收集和处理模数转换模块(7)的信号,并计算手部的姿态、位移、接触力与非接触力,以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块(8);所述通讯模块(10),固定于处理器模块(9)旁,用于连接处理器模块(9)和虚拟现实系统的上位机,实现信息交流和通讯,所述通讯模块(10)为蓝牙通讯模块。2.一种采用权利要求1所述的用于虚拟现实系统的多信息体感交互手套系统进行手部运动信息和位姿的计算方法,其特征在于:该方法以程序的形式载入上述手套系统的处理器模块(9),实时对手部运动和姿态信息进行计算,同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块(8)来模拟触觉,实现双向交互,具体方法如下:步骤1:实时收集传感器模块中各传感器组的信号,并进行模数转换;步骤2:设计数字滤波器算法,对模数转换后的各数字信号进行滤波和去噪预处理;步骤3:根据弯度传感器组(2)采集的数据计算各个手指弯度,根据肌电传感器组(3)的数据计算手指相关肌肉的激活度,根据惯性传感器组(4)的三维加速度计信号和三维陀螺仪信号计算手腕线性运动和旋转角度,即手部姿态的三维角度,根据压力传感器组(5)的数据获取手指接触力;步骤4:建立多肌肉动力学模型,对手指指力进行估计,指力包括接触力和非接触力,具体包括以下步骤:步骤4.1:进行基于多肌肉动力学模型的指力预测,建立肌肉激活度与肌肉力之间的多肌肉动力学模型,用于由输入的相关肌肉激活度计算肌肉力,该肌肉力用来预测手指指力;步骤4.2:利用压力传感器组(5)检测的手指接触力与多肌肉动力学模型估计的手指指力建立状态方程,通过扩展卡尔曼滤波精确估计手指指力;步骤5:将得到的手指弯度、手腕线性运动和旋转角度、手指接触力与非接触力信息发送至通信模块端口,同时接收虚拟现实系统上位机的触觉反馈信息用于控制震动反馈模块(8)。3.根据权利要求2所述的一种手部运动信息和位姿的计算方法,其特征在于:所述步骤2中,对sEMG信号的预处理过程采用IIR数字带通滤波器进行去噪,主要滤除高频噪声和50Hz工频干扰,式(1)为预处理过程的计算公式;u(t)=L(|e(t)-e‾(t)|)-u0---(1)]]>其中,L表示带通滤波器函数;e(t)为原始sEMG信号;为选取时间窗内的平均值;u(t)为预处理后的sEMG信号;u0为偏移量。4.根据权利要求3所述的一种手部运动信息和位姿的计算方法,其特征在于:所述步骤3中手腕线性运动和旋转角度的计算方法为:定义旋转幅度为p,该旋转幅度为T个采样点内的角速度绝对值的和,如下式所示:p=Σt=1Tabs(wit)---(2)]]>其中,abs()为求绝对值运算,为第t个采样点处i轴方向的角速度;定义手部姿态(三维角度)的两种求解方法,分别由加速度计和陀螺仪数据计算获得:方法1:利用加速度传感器计算关节角度:确定x、y、z三个方向加速度信号的矢量和R,如下式所示:R=ax2+ay2+az2---(3)]]>其中,ax、ay、az分别为x、y、z三个方向的加速度信号;确定各个方向的角度anglei,如式(4)所示,其中,i=x,y,z。anglei=180πarccos(azR)---(4)]]>方法2:利用陀螺仪计算关节角度,如式(5)所示;anglei(n)=anglei(n-1)+wi·T1(5)其中,anglei(n)为当前采样点的关节角度,anglei(n-1)为前一采...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。