一种用于虚拟手术仿真教学的手势交互系统及方法技术方案

本发明专利技术公开了一种用于虚拟手术仿真教学的手势交互系统及方法，系统包括有手势传感单元、惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元、上位机；手势传感单元用于获取手部手指关节的屈伸程度；惯性测量单元用于确定手部的空间位置；辅助测量单元用于在三维空间内对手部关节的运动进行精准稳定的感知和追踪；数据解算和控制单元用于对获取的手部运动数据进行实时处理，并控制所述的手势传感单元、测量单元和辅助测量单元，实现对手势的精准识别、对手部运动的追踪功能；本发明专利技术首先进行手势捕获，然后把数据发送到上位机的虚拟手术仿真教学系统，进行可视化操作，从而进行更加逼真的仿真手术训练和考核，提升训练考核效果。

Hand gesture interaction system and method for virtual surgery simulation teaching

The invention discloses a method for gesture interactive system and method of virtual surgery simulation teaching system, including gesture sensing unit, inertial measurement unit, auxiliary measuring unit, data calculation and control unit, WIFI communication unit and PC; gesture sensing unit is used for obtaining the hand finger joint flexion degree; inertial measurement unit for determining the spatial position of hand; auxiliary measurement unit used in three-dimensional space of hand joint motion sensing and tracking precision stable; data calculation and control unit for real-time processing of hand motion data acquisition, gesture sensing unit, unit and auxiliary measuring unit for measuring and controlling the. To achieve accurate identification of gesture hand motion tracking function; the invention first gesture capture, and then send the data to the host computer. Virtual surgery simulation teaching system is used for visual operation, so as to make more realistic simulation, operation training and assessment, and improve training evaluation effect.

【技术实现步骤摘要】
一种用于虚拟手术仿真教学的手势交互系统及方法
本专利技术属于仿真
，涉及一种用于虚拟仿真教学的手势交互系统及方法，尤其是涉及一种以数据手套作为载体的可用于虚拟手术仿真教学系统的手势交互系统及方法。
技术介绍
虚拟手术是利用各种医学影像数据，利用虚拟现实技术在计算机中建立一个模拟环境，医生借助虚拟环境中的信息进行手术计划、训练，以及实际手术过程中引导手术的新兴学科。其目的是使用计算机技术(主要是计算机图形学与虚拟现实)来模拟、指导医学手术所涉及的各种过程，在时间段上包括了术前、术中、术后，在实现的目的上有手术计划制定，手术排练演习，手术教学，手术技能训练，术中引导手术、术后康复等。运用虚拟现实技术可以使医务工作者沉浸于虚拟的场景内，通过视、听、触觉感知并反复学习各种手术实际操作，体验并学习如何应付临床手术中的实际情况。这样节约了培训医务人员的费用和时间，使非熟练人员进行手术的风险性大大降低，对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义。虚拟手术这个研究方向目前正在逐步形成之中，与之相关的一些研究方向主要有：医学可视化，医学增强现实，医用机器人，手术模拟，图象引导手术，计算机辅助手术等。当前已经出现了一些虚拟手术仿真系统，但是它们都缺少一种精确有效实时的信息交互方法，它多是采用手柄或者其他握持类的输入设备，在一些场景下不能给使用者很好的体验。而此专利技术则解决了这个问题，它是以数据手套为载体的手势交互方法，完全还原了人自然的操作方式，和真实手术的感觉一样，能大大优化用户的使用体验、提高医护人员的训练效率。
技术实现思路
为了解决现有虚拟仿真手术的手势交互方式所存在的缺陷，提供了一种能更加精确获取手部动作和运动姿态并向其他设备提供还原手部信息的交互系统及方法。本专利技术的系统所采用的技术方案是：一种用于虚拟手术仿真教学的手势交互系统，其特征在于：包括有手势传感单元、惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元、上位机；所述手势传感单元、惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元集成到手套上，穿戴在手上；所述手势传感单元用于获取手部手指关节的屈伸程度；所述惯性测量单元用于确定手部的空间位置；所述辅助测量单元用于结合惯性测量单元的数据，在三维空间内对用户手部的运动进行精准稳定的感知和追踪；所述数据解算和控制单元分别与所述手势传感单元、惯性测量单元、辅助测量单元连接，用于对手势传感单元、测量单元和辅助测量单元获取的数据进行处理，并控制所述对手势传感单元、测量单元和辅助测量单元，实现对手势的识别、对手部运动的追踪功能；所述数据解算和控制单元通过所述WIFI通信单元与所述上位机连接通信。本专利技术的方法所采用的技术方案是：一种用于虚拟手术仿真教学的手势交互方法，其特征在于，包括以下步骤：步骤1：采集各手指关节及拇指和手掌之间弯曲度、手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置、手部运动角速度和三轴加速度；步骤2：通过各手指弯曲度数据得到手部的姿态，通过手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置的数据得到手部的三维坐标，通过手部的运动角速度和三轴加速度还原手部运动，从而计算出手部的三维坐标；步骤3：对步骤2中得到的数据进行修正，从而精准还原出手部状态。本专利技术具有如下优点：1.采用柔性弯曲度电阻传感器检测弯曲角度。此类传感器采用了一种特殊材料，这类材料对弯曲形变极其敏感，能够将弯曲形变转换为电阻阻值的变化，电阻阻值经过信号处理和转换方法，最后转化为数字电路能够处理的数字信号。通过这种方式避免了使用微电子惯性测量元件造成的运算量大、误差较大的弊端，也避免了图像识别造成的抗干扰能力差、计算量大的弱点；2.采用了通过综合手部多个关节角度来还原出手势的算法，与弯曲度传感器相结合，使得装置在柔软轻便的情况下仍可获得高精度的手势还原度，应用在虚拟手术中更逼真更接近真实场景；3.采用了高精度微电子的惯性测量传感器技术实现三维空间实时精确定位。片上同时集成加速度计和陀螺仪，避免传感器分置带来的测量误差；通过精密的校准和精心设计的融合算法最大程度克服了惯性测量设备的固有缺点，得到媲美机械惯导设备的精确度，为后级的运动检测、追踪、定位算法的准确性提供保障；4.采用红外同步与超声波测距相结合的测距方案用于在惯性测量条件未达到或需要相对于世界坐标系的绝对定位参数时提供绝对测量数据，成本低，易实现，在虚拟手术仿真教学中具有非常明显的优势；5.采用改进实时操作系统内核调度方法与嵌入式处理算法，使各项任务得到有效组织和精确调度，一方面提高了嵌入式处理器利用效率，另一方面又能做到及时响应各种内外部任务，保证实时性；6.采用USB接口和WIFI通信方式，提供接口开发包，支持各种医学平台，操作方便。附图说明图1是本专利技术实施例的系统功能模块图；图2是本专利技术实施例的系统结构图；图3是本专利技术实施例中系统的辅助测量单元的结构图；图4是本专利技术实施例中测量手部十五个关节角度的部位示意图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。本专利技术的目的是使用计算机技术(主要是计算机图形学与虚拟现实)来模拟、指导医学手术所涉及的各种过程，在时间段上包括了术前、术中、术后，在实现的目的上有手术计划制定，手术排练演习，手术教学，手术技能训练，术中引导手术、术后康复等。运用增强现实技术可以使医务工作者沉浸于虚拟的场景内，可以通过视、听、触觉感知并学习各种手术实际操作，体验并学习如何应付临床手术中的实际情况。请见图1、图2和图3，本专利技术提供的一种用于虚拟手术仿真教学的手势交互系统，包括有手势传感单元1、惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元5、上位机6；手势传感单元1、惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元5集成到手套上，穿戴在手上；手势传感单元1用于获取手部手指关节的屈伸程度；惯性测量单元2用于确定手部的空间位置；辅助测量单元3用于结合惯性测量单元2的数据，在三维空间内对手部的运动进行精准稳定的感知和追踪；数据解算和控制单元4分别与手势传感单元1、惯性测量单元2、辅助测量单元3连接，用于对手势传感单元1、测量单元2和辅助测量单元3获取的数据进行处理，并控制对手势传感单元1、测量单元2和辅助测量单元3，实现对手势的识别、对手部运动的追踪功能；数据解算和控制单元4通过WIFI通信单元5与上位机6连接通信，上位机上运行有用于用户开发和测试的虚拟手术仿真教学的手势交互系统及开发包。本实施例的手势传感单元1包括弯曲电阻传感器阵列7和与之相连的运放跟随装置8，是系统的核心模块，手势传感单元1通过弯曲电阻传感器阵列7获取到足以还原出手势的15个角度，然后将数据经过调理、整形和滤波后交由后级模块处理。本实施例的惯性测量单元2以六轴惯性测量传感器9为核心，监测手部在二维平面内的运动，获取用户手部的运动角速度和三轴加速度，结合相应的算法，从而实现对用户手部运动的追踪，从而确定本文档来自技高网...

【技术保护点】
一种用于虚拟手术仿真教学的手势交互系统，其特征在于：包括有手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）、数据解算和控制单元（4）、WIFI通信单元（5）、上位机（6）；所述手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）、数据解算和控制单元（4）、WIFI通信单元（5）集成到手套上，穿戴在手上；所述手势传感单元（1）用于获取手部手指关节的屈伸程度；所述惯性测量单元（2）用于确定手部的空间位置；所述辅助测量单元（3）用于结合惯性测量单元（2）的数据，在三维空间内对用户手部的运动进行精准稳定的感知和追踪；所述数据解算和控制单元（4）分别与所述手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）连接，用于对手势传感单元（1）、测量单元（2）和辅助测量单元（3）获取的数据进行处理，并控制所述对手势传感单元（1）、测量单元（2）和辅助测量单元（3），实现对手势的识别、对手部运动的追踪功能；所述数据解算和控制单元（4）通过所述WIFI通信单元（5）与所述上位机 （6）连接通信。

【技术特征摘要】
1.一种用于虚拟手术仿真教学的手势交互系统，其特征在于：包括有手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）、数据解算和控制单元（4）、WIFI通信单元（5）、上位机（6）；所述手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）、数据解算和控制单元（4）、WIFI通信单元（5）集成到手套上，穿戴在手上；所述手势传感单元（1）用于获取手部手指关节的屈伸程度；所述惯性测量单元（2）用于确定手部的空间位置；所述辅助测量单元（3）用于结合惯性测量单元（2）的数据，在三维空间内对用户手部的运动进行精准稳定的感知和追踪；所述数据解算和控制单元（4）分别与所述手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）连接，用于对手势传感单元（1）、测量单元（2）和辅助测量单元（3）获取的数据进行处理，并控制所述对手势传感单元（1）、测量单元（2）和辅助测量单元（3），实现对手势的识别、对手部运动的追踪功能；所述数据解算和控制单元（4）通过所述WIFI通信单元（5）与所述上位机（6）连接通信。2.根据权利要求1所述的用于虚拟手术仿真教学的手势交互系统，其特征在于：所述手势传感单元（1）包括弯曲电阻传感器阵列（7）和与之相连的运放跟随装置（8）。3.根据权利要求1所述的用于虚拟手术仿真教学的手势交互系统，其特征在于：所述惯性测量单元（2）以六轴惯性测量传感器（9）为核心，监测手部在二维平面内的运动。4.根据权利要求1所述的用于虚拟手术仿真教学的手势交互系统，其特征在于：所述辅助测量单元（3）包括超声波发射模块（10）和超声波接收模块（11）。5.根据权利要求1-4任意一项所述的用于虚拟手术仿真教学的手势交互系统，其特征在于：所述上位机（6）由网络通信模块、命令执行模块、数据传输模块组成；所述网络通信模块用于接收所述解算和控制单元（4）传输的数据；所述命令执行模块负责根据所述网络通信模块收到的手势命令，操作所述系统，从而实现手势控制功能；所述数据传输模块将接收的手部数据转换成虚拟手术所述系统所能接收的数据格式，实现手势交互的功能。6.一种用于虚拟手术仿真教学的手势交互方法，其特征在于，包括以下步骤：步骤1：采集各手指关节及拇指和手掌之间弯曲度、手部...

【专利技术属性】
技术研发人员：徐剑锋，韦业鑫，孙继丰，黄建忠，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42