一种手部虚实交互系统技术方案

本发明专利技术公开了虚实交互技术领域的一种手部虚实交互系统，包括数据手套和上位机，所述数据手套包括控制系统、电源系统、监控模块、通信模块和数据采集模块，所述手部数据采集单元和大小臂姿态检测模块捕获的数据通过数据手套的控制系统将采集到的数据进行卡尔曼姿态融合和数据限幅消抖，将获得的手部动作数据通过通信模块传输至上位机进行数据融合分析，计算出当前空间坐标和运动方向，基于unity3D平台，采用3DMax对手部进行虚拟建模，在满足一定网格数量的前提下，对手模型进行纹理贴图，实现数据可视，为用户提供实时的视觉反馈。为用户提供实时的视觉反馈。为用户提供实时的视觉反馈。

【技术实现步骤摘要】
一种手部虚实交互系统


[0001]本专利技术涉及虚实交互的
，尤其是涉及一种手部虚实交互系统。

技术介绍

[0002]虚拟现实技术作为迄今为止较为强大的人机交互接口，在模拟训练，医疗康复，生产制造等各个领域得到深度开发与应用，其中手部的虚实交互显得尤为重要。在众多的虚实交互系统中，手部的虚实交互是进行虚拟现实体验不可缺少的交互系统之一，缺少了手部的虚实交互系统将使交互体验感大大减弱。而本专利技术设计的手部虚实交互系统具有宽广的应用前景，在娱乐休闲、安全培训、职业教育等领域，可以为用户提供更有代入感交互体验；在工业控制领域，可以实现更加安全且高效的远程操作；在医疗领域，可以用于远程手术，并能使医生便捷的查看三维医学影像。如果能将手与虚拟环境直接进行交互，将日常中获得的生活经验和技能直接运用到虚拟交互活动中，则大大提高了虚实交互的可操作性，同时也使虚拟对象能够完成更加复杂的任务，所以在虚拟世界中用双手去自然灵活的操纵虚拟对象也就成为了用户的首要选择，这种交互方式比鼠标，键盘和触摸屏等传统交互方式更直观便捷，也更加符合人类的行为习惯和思维逻辑。
[0003]近年来，许多科研团队和公司机构研发了很多解决方案来实现对手部行为的捕捉和对虚拟对象的操作，其核心是如何控制并实时再现用户手部行为的3D手部模型，主要数据参数包括空间位置，方向和行为动作。到目前主流的动作数据捕捉有两种系统方法，一种是通过光学系统，在光学系统中，通过摄像头等光学设备采集并跟踪手部的动作数据。通过手部跟踪算法和光学设备捕获并识别手部动作。一套完备的光学系统由多组红光学镜头，反光标记点，POE交换机，标定框和线缆组成。光学动作捕捉系统基于计算机视觉原理，由多个高速相机从不同角度对目标特征点的监视和跟踪，同时结合骨骼解算的算法来完成动作捕捉。理论上对于空间中的任意一个点，只要它能同时被两台以上相机所见，就可以确定这一时刻该点在空间中的3D位置。当相机以高帧率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。虽然通过光学系统可以独立实现对手部动作的捕捉，但仍然有一些问题无法规避，例如空间的限制，照明的条件，以及在捕捉动作的过程中对动作标记点的遮挡，这些环境的影响限制了数据的采集和动作的流畅性和完整度，容易使用户无法获得沉浸式的体验。而另一种则是通过多种传感器组成的控制系统，例如，压电传感器，惯性传感器等。
[0004]而基于多种传感器组成的控制系统巧妙地避开了这些问题，其体积小巧的特点可以使该系统附着在用户身上，适用于一些复杂的环境，从而更加灵活可靠地捕捉动作数据。数据手套的出现为人机交互中充分发挥手在交互过程中的自然性、灵巧性和适应性创造了条件。数据手套是一种虚拟现实系统的交互设备，通过数据手套上的传感器系统，可以将操作者的动作变成传感信号输入到上位机，上位机读取并分析传感器的信号，以便控制虚拟手做出不同的手势或抓取、移动和释放物体，完成与虚拟环境的交互。通过数据手套可以获得用户更丰富的交互意图，可以跟踪操作者灵活多变的手势。数据手套的主要用途是在手的实际角度和传感器感应之间建立映射，相对于基于解剖学的约束的交叉效应。
[0005]目前手部虚实交互系统存在如下问题：
[0006]1.手部虚实交互首要步骤是实时捕获用户手部的位置、方向、手指关节角度。在选择使用传感器作为本专利技术的数据采集单元时，在器件的选择上就要考虑如何保证数据精度的同时，还要兼顾该系统的采集量程。同样，在姿态解析的算法设计中，要考虑控制模块对数据的处理能力是否满足该算法的需求。
[0007]2.在传感器获取的测量信号中，往往会混入一些与被测量无关的干扰信号，这些干扰信号会随着时间的累积使得测量误差越来越大。
[0008]3.在现有的手部虚实交互系统中，大多采用光学设备对手部的空间位置进行定位并将动作数据映射到虚拟环境中，但这种方式容易受环境因素限制干扰且需要架设数据基站这无疑增加了交互成本也影响了交互体验。
[0009]4.上位机作为硬件设备和执行程序的数据桥梁，不仅应具备数据传输，数据实时显示的功能，现有上位机功能不完备。
[0010]5.手作为交互的主体，虚拟手模型的逼真程度对交互体验产生直接影响。传统建模方法操作简单，但与真实手掌差距较大，当手指弯曲时关节连接处容易出现断裂现象。
[0011]针对上述中的相关技术，本专利技术提供一种手部虚实交互系统。

技术实现思路

[0012]本专利技术提供一种手部虚实交互系统，通过分析现有系统的特点，本专利技术选取适合该系统的数据采集单元进行手部动作姿态的数据采集，之后使用改进型姿态算法方案，实时解析计算手部关键部位的动作信息和空间坐标，利用合适的矫正算法，提高数据采集平台的解算精度以及使用的便捷度。最后，设计虚拟实验，实现人与计算机内虚拟物体的交互过程。此外，数据采集系统将充分考虑人手部以及手臂的骨骼特征，构造出合理的穿戴模型，使解析得到手部空间坐标真实可靠，选择合适的平台，实现数据可视化，为用户提供实时的视觉反馈。实现虚拟手在虚拟场景中可以灵活自然地实时映射手部的移动，抓取和释放动作，为使用者提供实时的数据反馈和虚拟场景中的手部动作状态。
[0013]本专利技术提供一种手部虚实交互系统，采用如下的技术方案：包括数据手套和上位机，所述数据手套包括控制系统、电源系统、监控模块、通信模块和数据采集模块，所述数据采集模块包括手部数据采集单元和大小臂姿态检测模块，所述手部数据采集单元用于完成对虚拟手掌的动作映射，所述大小臂姿态检测模块用于实时捕获大小臂姿态角，跟踪手部在空间内的运动轨迹，手部数据采集单元包括柔性传感器和MPU9250姿态传感器；大小臂姿态检测模块采用MPU9250姿态传感器，
[0014]所述手部数据采集单元和大小臂姿态检测模块捕获的数据通过数据手套的控制系统将采集到的数据进行卡尔曼姿态融合和数据限幅消抖，将获得的手部动作数据通过通信模块传输至上位机进行数据融合分析，计算出当前空间坐标和运动方向，
[0015]基于unity3D平台，采用3DMax对手部进行虚拟建模，在满足一定网格数量的前提下，对手模型进行纹理贴图，实现数据可视化。
[0016]可选的，所述控制系统采用atmega328p单片机、监控模块采用电流驱动芯片TB6612、通信模块采用蓝牙HC
‑
05，所述电源系统采用AMS1117
‑5‑
3.3稳压电路模块，所述AMS1117
‑5‑
3.3稳压电路模块将外部接入的3～5V电源转化为稳定的5V或3.3V输出内部电
源，所述AMS1117
‑5‑
3.3稳压电路模块为数据手套提供温度电源，同时控制系统通过电流驱动芯片TB6612输出的脉冲波监控电流是否稳定，所述姿态传感器通过IIC接口接到单片机，所述柔性传感器输出电压信号接到单片机的IO口，所述控制系统将采集到的姿态传感器数据和柔性传感器数据进行程序整合、平滑滤波后，通过蓝牙模块HC
‑
05传输至上位机进行处理。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手部虚实交互系统，其特征在于：包括数据手套和上位机，所述数据手套包括控制系统、电源系统、监控模块、通信模块和数据采集模块，所述数据采集模块包括手部数据采集单元和大小臂姿态检测模块，所述手部数据采集单元用于完成对虚拟手掌的动作映射，所述大小臂姿态检测模块用于实时捕获大小臂姿态角，跟踪手部在空间内的运动轨迹，手部数据采集单元包括柔性传感器和MPU9250姿态传感器；大小臂姿态检测模块采用MPU9250姿态传感器，所述手部数据采集单元和大小臂姿态检测模块捕获的数据通过数据手套的控制系统将采集到的数据进行卡尔曼姿态融合和数据限幅消抖，将获得的手部动作数据通过通信模块传输至上位机进行数据融合分析，计算出当前空间坐标和运动方向，基于unity3D平台，采用3DMax对手部进行虚拟建模，在满足一定网格数量的前提下，对手模型进行纹理贴图，实现数据可视化。2.根据权利要求1所述的一种手部虚实交互系统，其特征在于：所述控制系统采用atmega328p单片机、监控模块采用电流驱动芯片TB6612、通信模块采用蓝牙HC
‑
05，所述电源系统采用AMS1117
‑5‑
3.3稳压电路模块，所述AMS1117
‑5‑
3.3稳压电路模块将外部接入的3～5V电源转化为稳定的5V或3.3V输出内部电源，所述AMS1117
‑5‑
3.3稳压电路模块为数据手套提供温度电源，同时控制系统通过电流驱动芯片TB6612输出的脉冲波监控电流是否稳定，所述姿态传感器通过IIC接口接到单片机，所述柔性传感器输出电压信号接到单片机的IO口，所述控制系统将采集到的姿态传感器数据和柔性传感器数据进行程序整合、平滑滤波后，通过蓝牙模块HC
‑
05传输至上位机进行处理。3.根据权利要求1所述的一种手部虚实交互系统，其特征在于：所述手部数据采集单元使用5路柔性传感器和姿态传感器，5路柔性传感器附着在手指部位，用于检测手指的弯曲程度，单片机通过IO口连接到柔性传感器两端；姿态传感器放置于手背中心，用于检测手部的实时姿态角数据，数据通过传感器的IIC接口输入到单片机的IIC引脚，大小臂姿态检测模块包括两个大小臂模块，放置于大臂和小臂的中心位置，其串口接口与WIFI芯片串口接口相连。4.根据权利要求1所述的一种手部虚实交互系统，其特征在于：所述柔性传感器的解析计算通过输出电压与弯曲程度来决定的，手指的弯曲度为：a
n
＝AF
n
/20
ꢀꢀꢀ
(1)其中，a
n
∈(50,200)，AF
n
为柔性传感器的输出电压范围1000～4000mv，手指的指节AF
U.V
范围为：ltz＝(lfresult[1]
‑
W)+UI.lthum_a
ꢀꢀꢀ
(2)其中，I为手部的手指，J为第I手指的指节，ltz为AF
U.V
，lfresult[1]为读...

【专利技术属性】
技术研发人员：刘思远，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：